TP 2 · ce qui est attendu · chunker, search, prompt
chunker · chunk(doc)
Suivre doc.blocks : un passage par section, préfixé par son chemin ; tableaux en lignes complètes ; au plus MAX_CHARS.
Nombre de plaintes reçues par la CNIL… (1981-2025)
Année: Nombre de plaintes reçues | … | 2023: 16433 | 2024: 17772
search · __init__()
À la création de la recherche, une fois l'index construit : self.bm25 sur le texte des passages (index.chunks).
self.bm25.get_scores(tokenize(q)).shape
→ (3072,) : un score par passage
search · find(query, k)
CANDIDATES meilleurs en dense et en BM25, fusion RRF (rangs à partir de 1), les k meilleurs ; les deux scores dans details.
« Combien de plaintes la CNIL a-t-elle reçues en 2024 ? » → plaintes….csv#0 : 0,0325, dense 0,677, bm25 17,789
prompt · build(), source_label()
CITATIONS_PROMPT avec les sources numérotées : « [i] étiquette » (source_label), puis le texte du passage ; puis la conversation.
[1] Nombre de plaintes reçues par la CNIL, par année (1981-2025)
Année: Nombre de plaintes reçues | 1981: 136 | …
C'est réussi si l'évaluation donne environ 25/41 : identifiant 4/4, tableau 5/6, structure 2/2. Les suites de conversation échouent encore.