Два месяца инженеры собирали кластер. Настроили Infiniband, подняли vLLM, оттюнинговали параметры KV-кэша, чтобы выжать максимум throughput. Запустили пилот для юридического департамента — систему автоматического анализа контрактов на базе открытой модели класса 70B. Через неделю ведущий юрист принес вердикт: «Ваша система путает пункты, забывает начало документа и периодически галлюцинирует ссылками на несуществующие законы. Я закинул тот же договор в ChatGPT, и он выдал идеальный драфт за…

Разработка приложений на базе больших языковых моделей (LLM) часто начинается с наивного подхода к формированию контекста. Разработчик берет системные бизнес-правила, склеивает их с пользовательским вводом и отправляет единой текстовой строкой в API. На этапе прототипа это работает. Но при выходе в продакшен такая архитектура неизбежно приводит к утечке критических данных, компрометации бизнес-логики и превращению бота в послушный инструмент злоумышленника.

Обычный DDoS — это скучно. Когда ботнет заливает ваш балансировщик мусорным TCP-трафиком, вы просто включаете проксирование через Cloudflare, настраиваете rate limit по IP-адресам, баните подозрительные ASN и идете пить кофе. L3/L4 атаки давно стали рутинной задачей инфраструктуры. Но в эпоху больших языковых моделей (LLM) появилась принципиально новая угроза. Она бьет не по процессору, не по сетевому интерфейсу и не по памяти. Она бьет напрямую по вашему банковскому счету.

Я отлично помню тот вечер, когда наша команда впервые выкатила фичу на базе LLM в продакшен. На стейджинге модель вела себя безупречно: отдавала валидный JSON, строго следовала системному промпту, не выдумывала несуществующие факты. Релиз прошел гладко. А через два дня в саппорт прилетел тикет. Бот выдал пользователю простыню откровенного бреда, проигнорировал все hard-лимиты и в конце добавил философскую цитату на латыни.

Представьте стандартный запрос в службу поддержки: «Удалите мой аккаунт и все связанные со мной данные». Десять лет назад разработчик писал `DELETE FROM users WHERE id = 42`, стирал пару файлов из S3, чистил кэш в Redis и спокойно закрывал тикет. Сегодня этот же запрос вызывает холодный пот у технических директоров и юристов. Если данные пользователя случайно попали в обучающую выборку вашей in-house нейросети, SQL-запросом проблему не решить.

Вчера мой пайплайн анализа пользовательских отзывов лег. Причина тривиальна — ошибка парсинга. Я полез в логи сервиса и вместо ожидаемого структурированного JSON увидел текстовую отбивку: «Я не могу помочь с этим запросом, так как он содержит агрессивную лексику». Пользователь просто матом крыл нашу кнопку оформления заказа, которая зависала на этапе оплаты. Нейросеть, вместо того чтобы извлечь суть проблемы (баг в UI на этапе чекаута), решила защитить мои чувства от ненормативной лексики.

Утро вторника началось с воя пейджера и письма от GitGuardian: «В вашем публичном репозитории обнаружен API-ключ». Следом прилетело уведомление от биллинга — за ночь неизвестные скрипты выжгли тысячу долларов на запросах к дорогим моделям. Причина банальна: разработчики выкатили новую фичу с ИИ-ассистентом и зашили ключ от RouterAPI прямо в React-приложение.

**Введение: Конфликт пользы и безопасности**

Ко мне регулярно приходят CTO и архитекторы из финтеха, ритейла и медтеха с одной и той же архитектурной задачей. Бюджет на интеграцию больших языковых моделей выделен, команда разработки собрана, бизнес-ценность понятна — будь то классификация клиентских обращений, разбор сложных юридических контрактов или автоматизация первой линии поддержки. Технически мы можем собрать прототип за выходные. Но проект намертво встает на этапе аудита в отделе информационной безопасности.

Вечер пятницы. Графики в Grafana ровные, деплой прошел штатно. Мы выкатили нового AI-агента — умную прослойку над базой знаний и биллингом. В логах появляется аномалия. Вместо расчета тарифа модель отдает пользователю простыню текста. Я открываю трейс и холодею. Агент слил наружу весь свой системный промпт, включая внутренние инструкции форматирования JSON и скрытые URL эндпоинтов внутренней инфраструктуры.