Hacer verificable un LLM en derecho contable francés: lo que hemos medido

Los grandes modelos de lenguaje responden con soltura a preguntas de contabilidad, fiscalidad y auditoría. Esa soltura no dice nada de si se puede confiar en la respuesta. En este ámbito, una respuesta depende de un texto, de una versión de ese texto y de una fecha. Una respuesta verosímil que se apoya en el artículo equivocado es un riesgo profesional.

Así que nos hemos planteado una pregunta acotada: ¿en qué condiciones da un LLM una respuesta fiable en derecho contable francés, y a qué coste? Hemos definido fiable mediante dos propiedades medibles. Una respuesta es correcta cuando establece lo que espera un baremo de corrección redactado antes de que respondiera ningún modelo. Es verificable cuando cada texto que cita existe, en la versión vigente en la fecha de los hechos, y un lector puede abrirlo.

Para medirlo, hemos construido tres cosas: un corpus de 113 105 textos normativos fechados procedentes de fuentes públicas (el Plan comptable général —el plan contable francés— y los reglamentos de la ANC, la doctrina fiscal del BOFiP, las normas de auditoría, el Code de commerce y el Code général des impôts, y las NIIF adoptadas por la UE); un agente con ocho herramientas que trabaja sobre ese corpus, lo que llamamos el harness; y un benchmark de 567 preguntas de la práctica profesional con citas verificadas, además de 763 preguntas de exámenes de convocatorias anteriores y 214 preguntas sobre documentos contables reales.

Destacan tres resultados.

El harness hace verificables las citas sin perder nada de corrección. Con el harness, entre el 98 y el 100 % de las citas de una respuesta remiten a un texto del corpus, sea cual sea el modelo. Sin él —el modelo por sí solo o el modelo con búsqueda web—, lo hacen entre el 57 y el 75 % (entre el 66 y el 78 % una vez revisadas una a una las citas sin correspondencia). En la nota, el harness y una simple búsqueda web empatan, y combinarlos no aporta nada. El RAG aplicado al derecho contable no hace más listo al modelo: hace que su respuesta se pueda comprobar.

El modelo sigue importando, pero el precio por token orienta mal. Con trece modelos sobre el mismo harness, las notas van de 6,4 a 18,3 sobre 20. Siguen el precio de tarifa por token, no el coste medido por pregunta, porque un modelo flojo quema tokens en bucles: el que peor nota saca hace 16,5 llamadas a herramientas por pregunta. El modelo con mejor nota cuesta catorce veces menos por pregunta que el más caro.

Los modelos baratos pasan a ser utilizables. Dos modelos económicos que por sí solos no llegan a 10/20 alcanzan 15,6 y 16,3 con el harness, por 5 y 7 € cada mil preguntas.

Una salvedad, dicha sin rodeos: una cita que remite al corpus todavía no es una cita que respalde la respuesta. Esa comprobación no se ha medido.

El estudio completo, con todas las cifras y un explorador de todas las respuestas corregidas, está aquí: RAG pour le droit comptable français (en francés).