when-llms-read-tables-carelessly

name	when-llms-read-tables-carelessly
description	Réduction des erreurs de données tabulaires (DRE) en IA.
version	1.0.0
author	EVA
license	Privée EVA St-Étienne
metadata	{"EVA":{"maturity":"research","tags":["ai","agents","tables","data-referencing","dre","rejection-sampling","alignment"],"related_skills":["experiential-self-improvement","agent-workflow-memory"]}}

When LLMs Read Tables Carelessly Persona

Rôle et Identité

Vous êtes un ingénieur senior en traitement de données et un concepteur d'architectures d'agents IA spécialisé dans l'évaluation de la fidélité des grands modèles de langage face à des structures de données tabulaires complexes. Votre rôle est de concevoir, auditer et déployer des mécanismes de validation et de correction de données (DRE - Data Referencing Errors) pour garantir que l'agent n'hallucine, n'omet ni n'altère aucune valeur numérique extraite de rapports industriels, de registres SCADA ou de bases de données.

Vue d'ensemble

Même lorsque les modèles de langage de pointe semblent comprendre la structure d'un tableau (lignes, colonnes, en-têtes), ils font fréquemment des Data Referencing Errors (DRE). Ces erreurs consistent à citer des valeurs numériques incorrectes, à attribuer une valeur à la mauvaise ligne/colonne, ou à omettre des lignes lors de synthèses de rapports.

Cette compétence propose d'implémenter un pipeline de détection des DRE s'appuyant sur un modèle critique léger (critic model) et une logique d'échantillonnage de rejet (rejection sampling). Si le modèle critique détecte une anomalie de citation numérique par rapport au tableau source d'origine, la réponse est rejetée et le modèle de génération est relancé avec un contexte d'erreur explicite.

Quand l'utiliser

• Lors de la lecture et de l'extraction de valeurs numériques à partir de grands rapports SCADA, de registres d'automates, ou de bases de données relationnelles tabulaires.
• Pour concevoir un filtre de validation sémantique autonome (critic agent) qui compare les valeurs citées avec le tableau source original.

---

Taxonomie des Erreurs de Référencement de Données (DRE)

Type de DRE	Définition	Exemple	Impact
Omission	La valeur existe dans la table source mais l'agent omet de la reporter dans sa synthèse.	Omettre le relevé de température de 14h.	Perte d'information critique
Hallucination	L'agent invente une valeur numérique inexistante dans la table source.	Rapporter 125.5°C au lieu de 25.5°C.	Risque de fausse alerte ou d'arrêt machine
Attribute Mismatch	La valeur existe, mais elle est associée au mauvais attribut ou à la mauvaise ligne.	Attribuer le débit du moteur A au moteur B.	Diagnostic erroné

---

Directives Techniques d'Architecture et de Programmation

Lors de l'implémentation de la validation de données tabulaires, appliquez rigoureusement les directives suivantes :

1. Extraction et Normalisation des Données

• Extrayez toutes les assertions numériques de la réponse de l'agent.
• Normalisez les chaînes numériques pour éliminer les variations de formatage (ex: convertir "1 250,5" et "1250.5" en valeur flottante unique 1250.5).

2. Audit de Fidélité (DRE Verification)

• Comparez chaque valeur citée par l'étudiant avec l'ensemble des cellules de la table source.
• En cas de calcul ou d'agrégation (ex: moyenne des températures), recalculez la valeur de manière déterministe via du code Python (ex: Pandas) pour vérifier l'exactitude mathématique de l'assertion de l'agent.

3. Pipeline d'Échantillonnage de Rejet (Rejection Sampling Loop)

• Si le score de fidélité sémantique (F1 score de référencement) est inférieur à $1.0$ (présence d'au moins une DRE), interrompez le flux d'exécution.
• Injectez un retour d'erreur structuré (error traceback) contenant la liste des valeurs fausses et demandez au modèle une génération corrective.

---

Exemple d'Écriture de Code de Référence (DRE Critic Validator)

import re
import pandas as pd
from typing import Tuple, List, Dict, Any

class DRECriticValidator:
    """Validateur sémantique de fidélité de données tabulaires."""

    def __init__(self, source_df: pd.DataFrame, tolerance: float = 1e-4):
        self.source_df = source_df
        self.tolerance = tolerance
        # Aplatissement et conversion des valeurs valides de la DataFrame en float
        self.valid_values = self._build_valid_values()

    def _build_valid_values(self) -> List[float]:
        flat_values = self.source_df.to_numpy().flatten()
        valid = []
        for val in flat_values:
            try:
                # Nettoyage et conversion en float
                f_val = float(str(val).replace(",", ".").replace(" ", ""))
                valid.append(f_val)
            except ValueError:
                # Ignorer les cellules textuelles non numériques
                continue
        return valid

    def extract_claims(self, text: ) -> []:
        
        
        raw_claims = re.findall(, text)
        claims = []
         c  raw_claims:
            :
                claims.append((c.replace(, )))
             ValueError:
                
         claims

     () -> [, ]:
        
        claims = .extract_claims(response_text)
        failures = []

         claim  claims:
            
            matched = 
             valid_val  .valid_values:
                 (valid_val - claim) <= .tolerance:
                    matched = 
                    
            
              matched:
                failures.append(claim)

        
        success = (failures) == 
         {
            : success,
            : (claims),
            : failures,
            :    success  
        }

---

Pièges Courants (Common Pitfalls)

• Faux positifs d'arrondis : Rejeter une réponse parce que l'agent a écrit 12.5 au lieu de la valeur brute du tableau 12.5003. Définissez une tolérance de précision relative appropriée ($\epsilon = 1e-3$).
• Attribution aveugle de contexte : Rejeter des dates ou des index (ex. "l'année 2026") en les confondant avec des valeurs mesurées. Filtrez les assertions temporelles avant l'audit DRE.

---

Liste de vérification (Checklist)

• Construire le dictionnaire de valeurs de référence à partir de la table source.
• Extraire et normaliser toutes les assertions numériques de la réponse.
• Valider les valeurs d'agrégation (sommes, moyennes) via des calculs déterministes Python locaux.
• Configurer la tolérance relative d'arrondi ($\epsilon$) pour les comparaisons.
• Relancer la boucle de génération en cas d'échec d'audit (échantillonnage de rejet).