Recherche lexicale
Dense · embeddings
Compare des sens : « amende » trouve « sanction pécuniaire », une question en anglais trouve un texte en français.
Confond « article 50 » et « article 52 », un numéro de délibération et un autre.
Lexicale · BM25
Compte les mots communs, pondérés par leur rareté : « 2024-011 », « 50 », « SIREN » pèsent lourd.
Ignore les synonymes et les paraphrases ; dépend du découpage en mots.
tokenize("Que prévoit l'article 50 du règlement européen sur l'IA ?")
['prevoi', 'articl', '50', 'reglem', 'europe', 'ia']
minuscules, sans accents, sans mots-outils, mots tronqués à 6 lettres
score(q, d) = Σ IDF(t) · tf'(t, d)
IDF : un mot rare compte plus · tf' : saturé, normalisé par la longueur du passage