Rendre un LLM vérifiable en droit comptable français : ce que nous avons mesuré

Les grands modèles de langage répondent avec aisance aux questions de comptabilité, de fiscalité et d’audit. Cette aisance ne dit rien de la confiance qu’on peut accorder à la réponse. Dans ce domaine, une réponse dépend d’un texte, d’une version de ce texte et d’une date. Une réponse plausible fondée sur le mauvais article est un risque professionnel.

Nous nous sommes donc posé une question circonscrite : à quelles conditions un LLM donne-t-il une réponse fiable en droit comptable français, et à quel coût ? Nous avons défini fiable par deux propriétés mesurables. Une réponse est juste lorsqu’elle établit ce qu’attend un barème rédigé avant qu’aucun modèle ne réponde. Elle est vérifiable lorsque chaque texte qu’elle cite existe, dans la version en vigueur à la date des faits, et peut être ouvert par un lecteur.

Pour le mesurer, nous avons construit trois choses : un corpus de 113 105 textes réglementaires datés issus de sources publiques (Plan comptable général et règlements de l’ANC, doctrine fiscale du BOFiP, normes d’exercice professionnel, Code de commerce et Code général des impôts, IFRS adoptées par l’Union européenne) ; un agent muni de huit outils qui interroge ce corpus, ce que nous appelons le harness ; et un benchmark de 567 questions de praticiens aux citations vérifiées, complété de 763 questions d’annales et de 214 questions sur des pièces comptables réelles.

Trois résultats se dégagent.

Le harness rend les citations vérifiables, sans rien coûter en justesse. Avec le harness, 98 à 100 % des citations d’une réponse renvoient à un texte du corpus, quel que soit le modèle. Sans lui, qu’il s’agisse du modèle seul ou du modèle avec recherche web, c’est le cas de 57 à 75 % d’entre elles (66 à 78 % une fois relues une à une les citations non rattachées). Sur la note, le harness et une simple recherche web sont à égalité, et les combiner n’apporte rien. Le RAG appliqué au droit comptable ne rend pas le modèle plus intelligent : il rend sa réponse contrôlable.

Le modèle compte toujours, mais le prix au token est un mauvais indicateur. Sur treize modèles avec le même harness, les notes vont de 6,4 à 18,3 sur 20. Elles suivent le tarif catalogue au token, pas le coût mesuré par question, parce qu’un modèle faible consomme des tokens en boucle : le moins bien noté fait 16,5 appels d’outils par question. Le modèle le mieux noté coûte quatorze fois moins cher par question que le plus cher.

Les modèles bon marché deviennent utilisables. Deux modèles peu coûteux qui, seuls, obtiennent moins de 10/20 atteignent 15,6 et 16,3 avec le harness, pour 5 et 7 € les mille questions.

Une réserve, que nous énonçons clairement : une citation qui se retrouve dans le corpus n’est pas encore une citation qui étaye la réponse. Ce contrôle n’a pas été mesuré.

L’étude complète, avec tous les chiffres et un explorateur de l’ensemble des réponses notées, est ici : RAG pour le droit comptable français.