Sortie structurée
class Route(BaseModel):
route: Literal["documents",
"donnees",
"catalogue",
"conversation"]
route = llm.json(messages, Route).route
Pydantic
→
schéma JSON
→
décodage contraint
Le serveur n'autorise que les tokens qui respectent le schéma : la réponse est toujours un JSON valide, et la route l'une des quatre valeurs.
Le prompt donne quelques exemples de chaque route, y compris les cas ambigus (« le catalogue compar:IA » est une donnée, pas la base).
Vécu pendant la préparation : en mode JSON contraint, notre serveur abîmait les accents (« Santé » devenait « Sant%C »). D'où des valeurs de route sans accent, et un SQL généré en texte libre.