Sortie structurée

Obliger le LLM à répondre dans un format

class Route(BaseModel):

    route: Literal["documents",

                   "donnees",

                   "catalogue",

                   "conversation"]

route = llm.json(messages, Route).route

Pydantic

→

schéma JSON

→

décodage contraint

Le serveur n'autorise que les tokens qui respectent le schéma : la réponse est toujours un JSON valide, et la route l'une des quatre valeurs.

Le prompt donne quelques exemples de chaque route, y compris les cas ambigus (« le catalogue compar:IA » est une donnée, pas la base).

Vécu pendant la préparation : en mode JSON contraint, notre serveur abîmait les accents (« Santé » devenait « Sant%C »). D'où des valeurs de route sans accent, et un SQL généré en texte libre.