Serverless для ИИ: где полезен и где нужен другой слой
Приём запросов, очереди и фоновые задания: как разделить приложение по характеру нагрузки.
Что означает serverless
Приложение выполняется в среде провайдера, а команда меньше занимается отдельными серверами. Это не отменяет ограничения времени, памяти и сети. Модель оплаты и способ масштабирования зависят от продукта. Выбирайте функцию под конкретную операцию, а не под модное название архитектуры.
Хорошие задачи для функции
Проверить входной запрос, выдать разрешённую ссылку на загрузку, записать задание в очередь и вернуть идентификатор. Для небольшого ИИ-портала это удобный слой между браузером и сервисом модели. Секрет провайдера остаётся на сервере, а пользователь получает ограниченный результат.
Долгую работу вынесите из запроса
Разбор большого скана и обработка сотен документов могут не помещаться в ограничения функции. Передавайте работу исполнителю и храните состояние задания отдельно. Повторная доставка сообщения не должна создавать дубли документов или повторную оплату одной операции.
Решение по ограничениям
До выбора платформы заполните таблицу по её документации.
| Длительность | Отдельно CPU time, время ожидания и ограничения фоновой работы. |
| Память и размер | Максимальный запрос, ответ, файл и доступная RAM. |
| Сеть | Разрешённые протоколы, исходящие соединения и тайм-ауты. |
| Повторы | Поведение очереди, число попыток и обработка неуспеха. |
GPU-инференс — отдельный вопрос
Модель с собственными весами обычно требует среды с совместимым ускорителем и достаточной памятью. Обычная edge-функция может обращаться к такому серверу или управляемому API. Специализированные serverless GPU-сервисы оценивают отдельно: важны холодный старт, доступность GPU и оплата простоя.
Как проверить архитектуру
Прогоните один файл дважды с одинаковым идентификатором, оборвите соединение и повторите запрос. Убедитесь, что состояние задания можно восстановить, а пользователь видит понятную ошибку. Для успешного ответа сохраняйте происхождение данных и стоимость использованного внешнего вызова.
Отметка поможет найти непрочитанное.