Ce se strică când parsezi output-ul LLM în producție?

De obicei, presupunerile codului tău despre formatare, nu răspunsul modelului. Trei erori se repetă: JSON valid încadrat în delimitatori markdown pe care un parser strict îl respinge, legendele tokenilor din prompt copiate în output și validatori care tratează formatarea reparabilă ca fiind fatală. Validează strict, normalizează punctual și păstrează output-ul brut.

De ce JSON-ul valid de la un LLM nu se parsează?

Modelele încadrează adesea JSON-ul în delimitatori de cod markdown pentru lizibilitate, astfel încât un json.loads strict pe textul brut eșuează chiar dacă conținutul este valid. Elimină exact un singur delimitator exterior înainte de parsare, păstrează textul original pentru audit și respinge în continuare proza sau delimitatorii încadrați ca output cu adevărat invalid.

De ce modelul copiază legenda tokenilor din prompt în output?

Dacă un prompt explică un placeholder cu o legendă, cum ar fi un token urmat de un semn egal și o descriere, modelele uneori reproduc acel format în rezultat. Spune modelului clar că tokenii trebuie să fie singuri pe linia lor și elimină etichetele prefixate cu simboluri sau între paranteze când injectezi conținutul real.

Ce probleme de output ar trebui să respingă un validator și ce ar trebui să repare?

Respinge ce face output-ul structural greșit: câmpuri obligatorii lipsă, proză în loc de JSON, placeholderi rămași. Repară ce este cosmetic și sigur: un delimitator în jur, spații albe în exces, o etichetă decorativă. Decide pe reguli, documentează și înregistrează ce a fost reparat ca să poți observa schimbări în comportamentul modelului.

De ce să păstrezi output-ul brut al modelului?

Output-ul brut îți permite să distingi o problemă a modelului de o problemă de parsare. Când un răspuns este respins sau reparat, stochează textul original lângă rezultat. Debugging-ul începe astfel de la dovezi, nu de la presupuneri, și poți reface procesarea cu un parser fix fără să apelezi din nou modelul.

Publicat inițial la sakshamjain.codes/blog/llm-output-handling-bugs. Ai nevoie să construiesc asta? Vezi serviciile mele pe NexoRush sau contactează-mă.