Бенчмарки лгут. Если посмотреть на результаты HumanEval или SWE-bench, разница между GPT-4o и Claude 3.5 Sonnet выглядит как статистическая погрешность. На бумаге обе модели решают алгоритмические задачи с вероятностью свыше 90%. На практике, когда вы загружаете в контекст легаси-класс на две тысячи строк и просите добавить неочевидную фичу, магия лидербордов рассеивается. Начинается суровая инженерия, где нейросети мыслят принципиально по-разному. Разрыв шаблонов очевиден: синтетические тесты…