TP 2 · ce qui est fourni
Une ligne de tableau, avec son en-tête
serialize_row(["Pays", "2024", "2025"],
["Danemark", "28", "42"])
# 'Pays: Danemark | 2024: 28 | 2025: 42'
Des mots normalisés, pour BM25
q = "Que prévoit l'article 50 du règlement ?"
tokenize(q)
# ['prevoi', 'articl', '50', 'reglem']
Un classement BM25
from rank_bm25 import BM25Okapi
bm25 = BM25Okapi([tokenize(t) for t in textes])
bm25.get_scores(tokenize("amende 35 000 000"))
# [2.195, 0, 0] : un score par texte
Déjà là, à réutiliser
split_fixed(texte, MAX_CHARS) # TP 1
chunk.meta["title"] # pour l'étiquette
Hit(chunk, 0.0325,
details={"dense": 0.677, "bm25": 17.789})
Fusion RRF
score = Σ 1 / (RRF_K + rang)
premier en dense et premier en BM25 : 1/61 + 1/62 = 0,0325