Vérifier qu'une IA n'invente pas ses citations et ses chiffres

#!/usr/bin/env bash
# ./verifier-reponse.sh source.txt "question" [nombre de passages, 3 par défaut]
# MOTEUR="codex exec --skip-git-repo-check" pour utiliser Codex
# REPONSE=fichier.txt : contrôle une réponse déjà écrite, sans interroger l'IA
source="$1"; question="$2"; n="${3:-3}"; moteur="${MOTEUR:-claude -p --model haiku}"
[ -f "$source" ] || { echo "Source introuvable : $source" >&2; exit 1; }
[ -n "$question" ] || [ -n "$REPONSE" ] || { echo "Il faut une question" >&2; exit 1; }
[ -n "$REPONSE" ] && n=1
export LC_ALL=C
# Texte de la source sur une seule ligne, apostrophes droites, nombres à l'anglaise
norme() { perl -CSD -0pe "s/[\x{2019}\x{2018}]/'/g; s/\s+/ /g; s/(?<=\d)[ \x{202f}\x{a0}](?=\d{3}\b)//g; s/(?<=\d),(?=\d)/./g" ; }
norme < "$source" > "${TMPDIR:-/tmp}/source-norme.$$"
sn="${TMPDIR:-/tmp}/source-norme.$$"

if [ -z "$REPONSE" ]; then
  consigne="Réponds à la question en t'appuyant UNIQUEMENT sur le texte ci-dessous.
Écris une affirmation par ligne. Termine chaque ligne par l'extrait exact qui
la prouve, copié mot pour mot, sous la forme : [extrait : \"...\"]
Si le texte ne dit pas la réponse, écris seulement : NON PRECISE.

Question : $question

Texte :
$(cat "$source")"
  for p in $(seq 1 "$n"); do
    $moteur "$consigne" < /dev/null > "${TMPDIR:-/tmp}/reponse.$$.$p" 2>/dev/null &
  done
fi
wait
for p in $(seq 1 "$n"); do
  [ -n "$REPONSE" ] && rep="$REPONSE" || rep="${TMPDIR:-/tmp}/reponse.$$.$p"
  echo; echo "== Passage $p : réponse =="; cat "$rep"; echo "-- contrôle --"
  pb=0
  # Contrôle 1 : chaque extrait cité existe dans la source
  perl -CSD -0ne 'while(/\[extrait\s*:\s*"([^"]*)"\]/g){print "$1\n"}' "$rep" |
  while IFS= read -r ex; do
    e="$(printf '%s' "$ex" | norme)"
    grep -qF -- "$e" "$sn" || echo "EXTRAIT INEXISTANT : $ex"
  done > "$rep.pb"
  # Contrôle 2 : chaque nombre de la réponse (hors extraits) est dans la source
  perl -CSD -pe 's/\[extrait\s*:\s*"[^"]*"\]//g' "$rep" | norme | grep -oE '[0-9]+(\.[0-9]+)?' |
  sort -u | while read -r nb; do
    grep -qE "(^|[^0-9.])$nb([^0-9]|\.[^0-9]|$)" "$sn" ||
      echo "NOMBRE ABSENT DE LA SOURCE : $nb (peut être un calcul : à refaire à la main)"
  done >> "$rep.pb"
  # Contrôle 3 : le sens. Pour chaque ligne, un mot d'un couple contraire (hausse/baisse...)
  # dans l'affirmation, et son contraire seulement dans l'extrait, est suspect.
  perl -CSD -ne '
    @c = ( [qw(hausse augment progress croiss monte gagn)],
           [qw(baiss diminu recul décroiss descend perd)] );
    while (/\[extrait\s*:\s*"([^"]*)"\]/g) { $ex .= " " . lc $1 }
    ($af = lc $_) =~ s/\[extrait\s*:\s*"[^"]*"\]//g; $ex = lc $ex;
    for $i (0,1) { $j = 1-$i;
      $a = grep { $af =~ /\b$_/ } @{$c[$i]}; $a2 = grep { $af =~ /\b$_/ } @{$c[$j]};
      $e = grep { $ex =~ /\b$_/ } @{$c[$j]}; $e2 = grep { $ex =~ /\b$_/ } @{$c[$i]};
      if ($a && !$a2 && $e && !$e2) { chomp; print "SENS PEUT-ETRE INVERSE : $_\n"; last } }
    $ex = ""' "$rep" >> "$rep.pb"
  grep -q "NON PRECISE" "$rep" && echo "L'IA dit que la source ne répond pas."
  [ -s "$rep.pb" ] && cat "$rep.pb" || echo "Aucun défaut trouvé."
  rm -f "$rep.pb"
done
rm -f "$sn" "${TMPDIR:-/tmp}"/reponse.$$.*