Recherche lexicale

Le sens ne suffit pas : il faut aussi les mots exacts

Dense · embeddings

Compare des sens : « amende » trouve « sanction pécuniaire », une question en anglais trouve un texte en français.

Confond « article 50 » et « article 52 », un numéro de délibération et un autre.

Lexicale · BM25

Compte les mots communs, pondérés par leur rareté : « 2024-011 », « 50 », « SIREN » pèsent lourd.

Ignore les synonymes et les paraphrases ; dépend du découpage en mots.

tokenize("Que prévoit l'article 50 du règlement européen sur l'IA ?")

['prevoi', 'articl', '50', 'reglem', 'europe', 'ia']

minuscules, sans accents, sans mots-outils, mots tronqués à 6 lettres

score(q, d) = Σ IDF(t) · tf'(t, d)

IDF : un mot rare compte plus · tf' : saturé, normalisé par la longueur du passage