Mode d'emploi · rag/src/llm.py
# rewriter, router, sql, catalog : self.llm
llm = self.llm # adresse, modèle : config
llm.ask("Définis un embedding en une phrase.")
# 'Un embedding est une représentation vectorielle…'
CONSIGNE = "Tu réponds en une phrase, en français."
messages = [
{"role": "system", "content": CONSIGNE},
{"role": "user", "content": "Qu'est-ce que la CNIL ?"},
]
llm.chat(messages, max_tokens=80)
# "La CNIL est l'autorité administrative française
# chargée de veiller au respect des règles…"
for morceau in llm.stream(messages):
print(morceau, end="") # au fil de l'eau
méthode
renvoie
chat(messages)
la réponse (str)
stream(messages)
des morceaux de texte
ask(texte)
chat d'un seul message
json(messages, Modèle)
un objet Pydantic (TP 4)
Une conversation est une liste de messages : system pour la consigne, user et assistant pour les tours de parole.
Le pipeline renvoie le flux :
return Answer(
stream=self.llm.stream(messages),
sources=hits)