TP 2 · ce qui est fourni

Les briques du TP 2

Une ligne de tableau, avec son en-tête

serialize_row(["Pays", "2024", "2025"],

              ["Danemark", "28", "42"])

# 'Pays: Danemark | 2024: 28 | 2025: 42'

Des mots normalisés, pour BM25

q = "Que prévoit l'article 50 du règlement ?"

tokenize(q)

# ['prevoi', 'articl', '50', 'reglem']

Un classement BM25

from rank_bm25 import BM25Okapi

bm25 = BM25Okapi([tokenize(t) for t in textes])

bm25.get_scores(tokenize("amende 35 000 000"))

# [2.195, 0, 0] : un score par texte

Déjà là, à réutiliser

split_fixed(texte, MAX_CHARS) # TP 1

chunk.meta["title"] # pour l'étiquette

Hit(chunk, 0.0325,

    details={"dense": 0.677, "bm25": 17.789})

Fusion RRF

score = Σ 1 / (RRF_K + rang)

premier en dense et premier en BM25 : 1/61 + 1/62 = 0,0325