Mode d'emploi · rag/src/llm.py

Générer du texte avec la classe LLM

# rewriter, router, sql, catalog : self.llm

llm = self.llm # adresse, modèle : config

llm.ask("Définis un embedding en une phrase.")

# 'Un embedding est une représentation vectorielle…'

 

CONSIGNE = "Tu réponds en une phrase, en français."

messages = [

    {"role": "system", "content": CONSIGNE},

    {"role": "user", "content": "Qu'est-ce que la CNIL ?"},

]

llm.chat(messages, max_tokens=80)

# "La CNIL est l'autorité administrative française

#  chargée de veiller au respect des règles…"

 

for morceau in llm.stream(messages):

    print(morceau, end="") # au fil de l'eau

méthode

renvoie

chat(messages)

la réponse (str)

stream(messages)

des morceaux de texte

ask(texte)

chat d'un seul message

json(messages, Modèle)

un objet Pydantic (TP 4)

Une conversation est une liste de messages : system pour la consigne, user et assistant pour les tours de parole.

Le pipeline renvoie le flux :

return Answer(

    stream=self.llm.stream(messages),

    sources=hits)