Co się psuje, gdy analizujesz wynik LLM w produkcji?

Zazwyczaj to założenia twojego kodu dotyczące formatowania, a nie odpowiedź modelu. Powtarzają się trzy błędy: poprawny JSON opakowany w znaczniki markdown, które rygorystyczny parser odrzuca, legendy tokenów z promptu kopiowane do wyniku oraz walidatory traktujące naprawialne formatowanie jako krytyczny błąd. Waliduj rygorystycznie, normalizuj wąsko i zachowuj surowy wynik.

Dlaczego poprawny JSON z LLM nie chce się sparsować?

Modele często opakowują JSON w znaczniki kodu markdown dla czytelności, więc bezpośrednie użycie json.loads na surowym tekście kończy się niepowodzeniem, mimo że zawartość jest poprawna. Usuń dokładnie jeden zewnętrzny znacznik przed parsowaniem, zachowaj oryginalny tekst do audytu i odrzuć tekst lub zagnieżdżone znaczniki jako rzeczywiście niepoprawny wynik.

Dlaczego model kopiuje legendę tokenów z mojego promptu do wyniku?

Jeśli prompt wyjaśnia placeholder za pomocą legendy, np. tokena z znakiem równości i opisem, modele czasem powielają ten format w odpowiedzi. Powiedz modelowi wyraźnie, że tokeny stoją osobno w linii, a podczas wstrzykiwania rzeczywistej zawartości usuń symbole lub etykiety w nawiasach.

Które problemy z wynikiem walidator powinien odrzucać, a które naprawiać?

Odrzucaj to, co czyni wynik strukturalnie błędnym: brak wymaganych pól, tekst zamiast JSON, pozostałe placeholdery. Naprawiaj to, co jest kosmetyczne i bezpieczne: otaczające znaczniki, zbędne spacje, dekoracyjne etykiety. Decyduj według reguły, dokumentuj ją i loguj naprawy, by obserwować zmiany w zachowaniu modelu.

Dlaczego warto zachować surowy wynik modelu?

Surowy wynik pozwala odróżnić problem modelu od problemu parsowania. Gdy odpowiedź jest odrzucona lub naprawiona, przechowuj oryginalny tekst obok wyniku. Debugowanie zaczyna się wtedy od dowodów, a nie domysłów, i możesz odtworzyć je na poprawionym parserze bez ponownego wywoływania modelu.

Pierwotnie opublikowano na sakshamjain.codes/blog/llm-output-handling-bugs. Potrzebujesz takiego rozwiązania? Zobacz moje usługi na NexoRush lub napisz do mnie.