Долгое время интеграция больших языковых моделей в реальные продукты напоминала попытки договориться с гениальным, но абсолютно непредсказуемым стажером. Мы просили: «Верни только JSON, без лишнего текста, ключи в snake_case». Стажер кивал и выдавал: «Конечно, вот ваш JSON: \`\`\`json { .. } \`\`\` Удачи в использовании!».

Мы долго пытались обмануть вероятностную природу языковых моделей. Разработчики писали «мега-промпты» на тысячи токенов, с маниакальным упорством описывая каждое исключение, каждый краевой случай и жесткий формат JSON на выходе. Идея казалась логичной: чем точнее инструкция, тем лучше результат.