Первый запрос к LLM в моих проектах обычно выглядит одинаково: открываю блокнот с кодом, вставляю ключ API, вызываю модель через curl или короткий скрипт на Python и смотрю на ответ в консоли. Кажется, что до готового продукта осталось пару часов работы. На практике между таким прототипом и сервисом, который держит боевую нагрузку, лежит десяток однообразных доработок: очередь для долгих запросов, журнал того, что модель ответила и сколько это стоило, лимиты по токенам и запасной провайдер на случай отказа основного. LLM использовать в проекте получится без сюрпризов, если пройти этот путь по шагам, от прототипа до нагрузки, которая не падает под реальными пользователями.
Прототип: первый запрос к LLM в блокноте
На старте не нужна архитектура. Нужен ответ на вопрос, решает ли модель задачу вообще: понимает формулировку, держит нужный тон, не путается в данных, которые ей передают. Беру Python, обычный requests или SDK провайдера, дергаю API напрямую из скрипта, верчу системный промпт руками. Для чат-бота или помощника с базой знаний на этом этапе достаточно десятка тестовых диалогов и глазами свериться, отвечает ли модель так, как нужно бизнесу.
Если нужен рабочий пример быстрее, чем писать с нуля, у меня в библиотеке есть готовый ИИ-чатбот на Claude: там видно, как устроен запрос к модели, обработка ответа и передача истории диалога, можно отталкиваться от этой структуры вместо чистого листа.
На этом этапе я сознательно не добавляю очередь, журнал и лимиты. Их смысл появляется только тогда, когда прототип подтвердил идею и встаёт вопрос, сколько это будет стоить и что произойдёт, если API откажет посреди рабочего дня.
Что ломается при переходе на боевую нагрузку
Скрипт из блокнота вызывает модель синхронно: отправил запрос, подождал несколько секунд, получил ответ. Пока это ручной тест, ожидание не проблема. Как только тот же вызов встраивается в обработчик формы на сайте или в хендлер бота, вылезают конкретные вещи:
- PHP-обработчик формы или вебхука на обычном хостинге по умолчанию ограничен временем выполнения скрипта, и если модель отвечает дольше этого лимита, пользователь увидит ошибку сервера, хотя запрос к LLM всё ещё считается провайдером
- у провайдера бывают кратковременные отказы и ответы о перегрузке, и без повторных попыток каждый такой сбой долетает до пользователя как сломанный сайт или бот
- при росте числа обращений растёт и счёт за токены, а без учёта расходов узнаёшь об этом только при выставлении счёта
- без журнала запросов сложно разобрать жалобу в духе «бот ответил ерунду»: никто не может воспроизвести, что именно модель получила на вход
Таблица показывает, что меняется в подходе при переходе от теста к рабочей эксплуатации:
| Что учитывается | Прототип в блокноте | Боевая нагрузка |
|---|---|---|
| Обработка запроса | синхронно, ждём ответа в терминале | через очередь и фоновый обработчик |
| Ошибки API | скрипт падает, смотрю в консоль | повторные попытки и переключение на резервного провайдера |
| Стоимость | не считается | токены и расходы пишутся в журнал и сверяются с лимитом |
| Отладка | руками перечитываю переписку | журнал запросов и ответов в базе |
Очередь запросов: как использовать LLM без блокировки сайта
Очередь нужна ровно для одного: чтобы долгий вызов модели не держал в ожидании HTTP-запрос пользователя и не блокировал обработку следующих обращений. Что конкретно ставить, зависит от нагрузки и от того, что уже есть в проекте.
Небольшая нагрузка: очередь в MySQL и cron
Если сайт уже стоит на обычном хостинге с PHP и MySQL, для формы с генерацией ответа через LLM отдельный сервер не нужен. Форма пишет запрос в табличку-очередь с полями вроде текста запроса, статуса (pending, processing, done, error), числа попыток и времени создания, а cron-задание раз в минуту забирает необработанные строки, дёргает API и сохраняет результат.
Пользователь получает мгновенный ответ «запрос принят, результат придёт в личный кабинет через минуту», а сама генерация уходит из цикла обработки HTTP-запроса. Для формы обратной связи, генератора описаний товаров или разовой обработки заявки этого достаточно, и ничего сверх уже оплаченного хостинга покупать не нужно.
Бот и высокая частота обращений
Для Telegram-бота на aiogram синхронный вызов LLM внутри обработчика сообщения работает, пока пользователей немного: библиотека асинхронная, и один долгий ответ не блокирует остальных. Когда нагрузка растёт и нужно ограничивать число одновременных запросов к API, расставлять приоритеты или распределять работу между несколькими воркерами, есть смысл вынести очередь в отдельный брокер вроде Redis с воркером на Celery или RQ. Это уже отдельный сервер: его нужно поднять, обновлять и оплачивать каждый месяц, на общем хостинге сайта он не живёт, под него берут VPS.
Похожий результат для не самых больших потоков можно получить в n8n: HTTP Request нода дёргает LLM API, настройка ноды Retry On Fail повторяет запрос при сбое, а Error Workflow запускается при ошибке выполнения и отправляет уведомление, без своего кода под очередь и воркер. Такой сценарий я собираю как автоматизацию в n8n, если проекту не нужен полноценный бэкенд под эту задачу.
Бесплатный материал
🎁 Полезный скрипт в подарок
Подпишитесь на Telegram - пришлю готовый скрипт по этой теме.
Без спама. Отписка в 1 клик.
Журнал запросов: что писать в лог при работе с LLM API
Журнал нужен не ради отчётности, а чтобы отвечать на три вопроса: что именно ушло в модель, что она ответила и во сколько это обошлось. На каждый вызов пишу в базу время, id пользователя, провайдера и модель, число входных и выходных токенов, время ответа в миллисекундах, статус и результат: успех, ошибка или переключение на резервного провайдера.
Полный текст длинных запросов не всегда стоит хранить открытым текстом, особенно если в диалоге попадаются персональные данные, поэтому храню хеш запроса и короткий фрагмент ответа, а полную переписку отдельно и с ограниченным доступом. По этому журналу видно, какие промпты чаще всего приводят к ошибке или медленному ответу, какой пользователь генерирует основную часть расходов, и что конкретно ответила модель в конкретном диалоге, если клиент пришёл с претензией.
Контроль расхода токенов при использовании LLM
Без учёта расходов счёт за месяц становится сюрпризом, особенно если модель дёргается из публичной формы без авторизации: одна волна ботов-спамеров способна нагенерировать сотни запросов за ночь. Что закрывает это на практике:
- лимит запросов на пользователя или IP в сутки, на уровне очереди или прямо в обработчике формы
- агрегация токенов и стоимости из журнала по дням и по разделам сайта, чтобы видеть рост расходов раньше, чем придёт счёт от провайдера
- маршрутизация между моделями: для классификации обращения или короткого ответа хватает более лёгкой и быстрой модели, тяжёлая и дорогая нужна только там, где действительно требуется глубина рассуждения
- кеширование повторяющегося контекста: если в каждый запрос уходит один и тот же большой системный промпт или база знаний, часть провайдеров, включая Anthropic, поддерживает кеширование такого контекста между запросами, и это заметно снижает стоимость при частых обращениях
- обрезка или суммаризация истории диалога вместо того, чтобы с каждым сообщением заново отправлять всю переписку целиком
Запасной провайдер: что делать при отказе основной модели
Провайдер LLM, например Claude API, время от времени возвращает ошибку перегрузки или не отвечает вовсе, это случается с любым внешним API, и рассчитывать только на повторные попытки к одному и тому же провайдеру рискованно, если ответ бота или формы критичен для бизнеса. Рабочая схема: вызов модели идёт через свой слой-обёртку, а не разбросан по коду, у обёртки есть основной и резервный провайдер, и при ошибке сервера, таймауте или явном статусе перегрузки от основного идёт несколько попыток с растущей паузой между ними, а при исчерпании попыток происходит переключение на резервного. Какой провайдер обработал запрос, тоже пишется в журнал, чтобы потом свериться, не отличаются ли ответы резервной модели по тону или формату от основной, и стоит ли прогонять на ней критичные сценарии заранее, а не только в момент реального сбоя.
Ту же логику переключения можно собрать в n8n: у ноды с основным провайдером в настройке On Error выбирается Continue (using error output), и ветка ошибки уводит запрос на вторую HTTP Request ноду с резервным API, без отдельного бэкенда под эту задачу.
Модели и тарифы нейросетей быстро меняются, поэтому перед запуском я проверяю актуальные условия у провайдера.
Частые вопросы
Нужна ли очередь для маленького бота с десятком пользователей?
Нет. Пока нагрузка низкая и запросы идут не одновременно, синхронного вызова внутри обработчика достаточно. Очередь и фоновый воркер начинают окупаться, когда запросы к LLM пересекаются по времени и держат друг друга в ожидании.
Где хранить журнал запросов, если сайт собран на Tilda?
У Тильды есть собственный API и вебхуки на формы, но самой генерации ответов LLM и хранения журнала запросов там нет, это логика вашего бэкенда. Форма или блок на Tilda дёргает внешний обработчик через вебхук, а сам запрос к модели, журнал и лимиты живут на стороне этого обработчика и его базы.
Сколько стоит добавить резервного провайдера в уже работающий проект?
Зависит от того, как сейчас устроен вызов модели в коде. Если логика уже вынесена в отдельный слой, доработка небольшая, если вызовы API разбросаны по проекту, сначала нужно их собрать в одном месте. Оценить конкретную задачу можно на консультации от 3 000 ₽, а полная интеграция резервного провайдера в составе AI-интеграции у меня стоит от 50 000 ₽.
Что делать, если LLM отвечает медленно и это тормозит сайт?
Вынести вызов из обработчика формы в очередь или фоновый процесс, показывать пользователю промежуточный статус вместо зависшей страницы и не держать HTTP-соединение открытым на всё время генерации ответа. Для диалоговых сценариев вроде бота дополнительно помогает потоковая выдача ответа по частям вместо ожидания полного текста.