AI · 7 мин чтения

Как использовать LLM в своём проекте: от прототипа до боевой нагрузки

Первый запрос к LLM в моих проектах обычно выглядит одинаково: открываю блокнот с кодом, вставляю ключ API, вызываю модель через curl или короткий скрипт на Python и смотрю на ответ в консоли. Кажется, что до готового продукта осталось пару часов работы. На практике между таким прототипом и сервисом, который держит боевую нагрузку, лежит десяток однообразных доработок: очередь для долгих запросов, журнал того, что модель ответила и сколько это стоило, лимиты по токенам и запасной провайдер на случай отказа основного. LLM использовать в проекте получится без сюрпризов, если пройти этот путь по шагам, от прототипа до нагрузки, которая не падает под реальными пользователями.

Прототип: первый запрос к LLM в блокноте

На старте не нужна архитектура. Нужен ответ на вопрос, решает ли модель задачу вообще: понимает формулировку, держит нужный тон, не путается в данных, которые ей передают. Беру Python, обычный requests или SDK провайдера, дергаю API напрямую из скрипта, верчу системный промпт руками. Для чат-бота или помощника с базой знаний на этом этапе достаточно десятка тестовых диалогов и глазами свериться, отвечает ли модель так, как нужно бизнесу.

Если нужен рабочий пример быстрее, чем писать с нуля, у меня в библиотеке есть готовый ИИ-чатбот на Claude: там видно, как устроен запрос к модели, обработка ответа и передача истории диалога, можно отталкиваться от этой структуры вместо чистого листа.

На этом этапе я сознательно не добавляю очередь, журнал и лимиты. Их смысл появляется только тогда, когда прототип подтвердил идею и встаёт вопрос, сколько это будет стоить и что произойдёт, если API откажет посреди рабочего дня.

Что ломается при переходе на боевую нагрузку

Скрипт из блокнота вызывает модель синхронно: отправил запрос, подождал несколько секунд, получил ответ. Пока это ручной тест, ожидание не проблема. Как только тот же вызов встраивается в обработчик формы на сайте или в хендлер бота, вылезают конкретные вещи:

  • PHP-обработчик формы или вебхука на обычном хостинге по умолчанию ограничен временем выполнения скрипта, и если модель отвечает дольше этого лимита, пользователь увидит ошибку сервера, хотя запрос к LLM всё ещё считается провайдером
  • у провайдера бывают кратковременные отказы и ответы о перегрузке, и без повторных попыток каждый такой сбой долетает до пользователя как сломанный сайт или бот
  • при росте числа обращений растёт и счёт за токены, а без учёта расходов узнаёшь об этом только при выставлении счёта
  • без журнала запросов сложно разобрать жалобу в духе «бот ответил ерунду»: никто не может воспроизвести, что именно модель получила на вход

Таблица показывает, что меняется в подходе при переходе от теста к рабочей эксплуатации:

Что учитывается Прототип в блокноте Боевая нагрузка
Обработка запроса синхронно, ждём ответа в терминале через очередь и фоновый обработчик
Ошибки API скрипт падает, смотрю в консоль повторные попытки и переключение на резервного провайдера
Стоимость не считается токены и расходы пишутся в журнал и сверяются с лимитом
Отладка руками перечитываю переписку журнал запросов и ответов в базе

Очередь запросов: как использовать LLM без блокировки сайта

Очередь нужна ровно для одного: чтобы долгий вызов модели не держал в ожидании HTTP-запрос пользователя и не блокировал обработку следующих обращений. Что конкретно ставить, зависит от нагрузки и от того, что уже есть в проекте.

Небольшая нагрузка: очередь в MySQL и cron

Если сайт уже стоит на обычном хостинге с PHP и MySQL, для формы с генерацией ответа через LLM отдельный сервер не нужен. Форма пишет запрос в табличку-очередь с полями вроде текста запроса, статуса (pending, processing, done, error), числа попыток и времени создания, а cron-задание раз в минуту забирает необработанные строки, дёргает API и сохраняет результат.

Пользователь получает мгновенный ответ «запрос принят, результат придёт в личный кабинет через минуту», а сама генерация уходит из цикла обработки HTTP-запроса. Для формы обратной связи, генератора описаний товаров или разовой обработки заявки этого достаточно, и ничего сверх уже оплаченного хостинга покупать не нужно.

Бот и высокая частота обращений

Для Telegram-бота на aiogram синхронный вызов LLM внутри обработчика сообщения работает, пока пользователей немного: библиотека асинхронная, и один долгий ответ не блокирует остальных. Когда нагрузка растёт и нужно ограничивать число одновременных запросов к API, расставлять приоритеты или распределять работу между несколькими воркерами, есть смысл вынести очередь в отдельный брокер вроде Redis с воркером на Celery или RQ. Это уже отдельный сервер: его нужно поднять, обновлять и оплачивать каждый месяц, на общем хостинге сайта он не живёт, под него берут VPS.

Похожий результат для не самых больших потоков можно получить в n8n: HTTP Request нода дёргает LLM API, настройка ноды Retry On Fail повторяет запрос при сбое, а Error Workflow запускается при ошибке выполнения и отправляет уведомление, без своего кода под очередь и воркер. Такой сценарий я собираю как автоматизацию в n8n, если проекту не нужен полноценный бэкенд под эту задачу.

Бесплатный материал

🎁 Полезный скрипт в подарок

Подпишитесь на Telegram - пришлю готовый скрипт по этой теме.

Без спама. Отписка в 1 клик.

Журнал запросов: что писать в лог при работе с LLM API

Журнал нужен не ради отчётности, а чтобы отвечать на три вопроса: что именно ушло в модель, что она ответила и во сколько это обошлось. На каждый вызов пишу в базу время, id пользователя, провайдера и модель, число входных и выходных токенов, время ответа в миллисекундах, статус и результат: успех, ошибка или переключение на резервного провайдера.

Полный текст длинных запросов не всегда стоит хранить открытым текстом, особенно если в диалоге попадаются персональные данные, поэтому храню хеш запроса и короткий фрагмент ответа, а полную переписку отдельно и с ограниченным доступом. По этому журналу видно, какие промпты чаще всего приводят к ошибке или медленному ответу, какой пользователь генерирует основную часть расходов, и что конкретно ответила модель в конкретном диалоге, если клиент пришёл с претензией.

Контроль расхода токенов при использовании LLM

Без учёта расходов счёт за месяц становится сюрпризом, особенно если модель дёргается из публичной формы без авторизации: одна волна ботов-спамеров способна нагенерировать сотни запросов за ночь. Что закрывает это на практике:

  • лимит запросов на пользователя или IP в сутки, на уровне очереди или прямо в обработчике формы
  • агрегация токенов и стоимости из журнала по дням и по разделам сайта, чтобы видеть рост расходов раньше, чем придёт счёт от провайдера
  • маршрутизация между моделями: для классификации обращения или короткого ответа хватает более лёгкой и быстрой модели, тяжёлая и дорогая нужна только там, где действительно требуется глубина рассуждения
  • кеширование повторяющегося контекста: если в каждый запрос уходит один и тот же большой системный промпт или база знаний, часть провайдеров, включая Anthropic, поддерживает кеширование такого контекста между запросами, и это заметно снижает стоимость при частых обращениях
  • обрезка или суммаризация истории диалога вместо того, чтобы с каждым сообщением заново отправлять всю переписку целиком

Запасной провайдер: что делать при отказе основной модели

Провайдер LLM, например Claude API, время от времени возвращает ошибку перегрузки или не отвечает вовсе, это случается с любым внешним API, и рассчитывать только на повторные попытки к одному и тому же провайдеру рискованно, если ответ бота или формы критичен для бизнеса. Рабочая схема: вызов модели идёт через свой слой-обёртку, а не разбросан по коду, у обёртки есть основной и резервный провайдер, и при ошибке сервера, таймауте или явном статусе перегрузки от основного идёт несколько попыток с растущей паузой между ними, а при исчерпании попыток происходит переключение на резервного. Какой провайдер обработал запрос, тоже пишется в журнал, чтобы потом свериться, не отличаются ли ответы резервной модели по тону или формату от основной, и стоит ли прогонять на ней критичные сценарии заранее, а не только в момент реального сбоя.

Ту же логику переключения можно собрать в n8n: у ноды с основным провайдером в настройке On Error выбирается Continue (using error output), и ветка ошибки уводит запрос на вторую HTTP Request ноду с резервным API, без отдельного бэкенда под эту задачу.

Модели и тарифы нейросетей быстро меняются, поэтому перед запуском я проверяю актуальные условия у провайдера.

Частые вопросы

Нужна ли очередь для маленького бота с десятком пользователей?

Нет. Пока нагрузка низкая и запросы идут не одновременно, синхронного вызова внутри обработчика достаточно. Очередь и фоновый воркер начинают окупаться, когда запросы к LLM пересекаются по времени и держат друг друга в ожидании.

Где хранить журнал запросов, если сайт собран на Tilda?

У Тильды есть собственный API и вебхуки на формы, но самой генерации ответов LLM и хранения журнала запросов там нет, это логика вашего бэкенда. Форма или блок на Tilda дёргает внешний обработчик через вебхук, а сам запрос к модели, журнал и лимиты живут на стороне этого обработчика и его базы.

Сколько стоит добавить резервного провайдера в уже работающий проект?

Зависит от того, как сейчас устроен вызов модели в коде. Если логика уже вынесена в отдельный слой, доработка небольшая, если вызовы API разбросаны по проекту, сначала нужно их собрать в одном месте. Оценить конкретную задачу можно на консультации от 3 000 ₽, а полная интеграция резервного провайдера в составе AI-интеграции у меня стоит от 50 000 ₽.

Что делать, если LLM отвечает медленно и это тормозит сайт?

Вынести вызов из обработчика формы в очередь или фоновый процесс, показывать пользователю промежуточный статус вместо зависшей страницы и не держать HTTP-соединение открытым на всё время генерации ответа. Для диалоговых сценариев вроде бота дополнительно помогает потоковая выдача ответа по частям вместо ожидания полного текста.

Есть задача?

Обсудим вашу задачу

Оставьте заявку — обсудим объём работ и следующий шаг.

Продолжая пользование настоящим сайтом Вы выражаете своё согласие на обработку Ваших персональных данных (файлов куки) с использованием Yandex.Metrika.
Понятно