Mode d'emploi · onglet Évaluation
| id | attendu | réponse du système | remarque |
|---|---|---|---|
| ✅ F1 | 25 voix pour | « … 25 membres ont voté pour… » | |
| ❌ T4 | 17 772 | « … en 2024 est de 16 433. » | manque : 17 772 |
| ❌ M2 | 13 585 | « … il n'est pas indiqué… » | abstention à tort · documents non retrouvés |
| ❌ I1 | transparence… | « … pas possible de répondre… » | abstention à tort |
… les 41 questions, se remplissant au fil des réponses, et le score par catégorie : Score : 17/41
T4 · bon document, mal lu
Le LLM donne la valeur de 2023.
M2 · document manqué
« Et en 2020 ? » seul ne dit pas quoi chercher.
I1 · abstention à tort
Le règlement est retrouvé, pas son article 50.
Catégories à cocher, puis Lancer l'évaluation
runs/ garde chaque évaluation ; data/questions.toml : ajoutez vos questions
Dans le terminal : uv run rag eval --only tableau,M2 -v