Облачные вычисления / Функции / Edge

Serverless для ИИ: где полезен и где нужен другой слой

Приём запросов, очереди и фоновые задания: как разделить приложение по характеру нагрузки.

Что означает serverless

Приложение выполняется в среде провайдера, а команда меньше занимается отдельными серверами. Это не отменяет ограничения времени, памяти и сети. Модель оплаты и способ масштабирования зависят от продукта. Выбирайте функцию под конкретную операцию, а не под модное название архитектуры.

Хорошие задачи для функции

Проверить входной запрос, выдать разрешённую ссылку на загрузку, записать задание в очередь и вернуть идентификатор. Для небольшого ИИ-портала это удобный слой между браузером и сервисом модели. Секрет провайдера остаётся на сервере, а пользователь получает ограниченный результат.

Долгую работу вынесите из запроса

Разбор большого скана и обработка сотен документов могут не помещаться в ограничения функции. Передавайте работу исполнителю и храните состояние задания отдельно. Повторная доставка сообщения не должна создавать дубли документов или повторную оплату одной операции.

Решение по ограничениям

До выбора платформы заполните таблицу по её документации.

Справочная таблица
ДлительностьОтдельно CPU time, время ожидания и ограничения фоновой работы.
Память и размерМаксимальный запрос, ответ, файл и доступная RAM.
СетьРазрешённые протоколы, исходящие соединения и тайм-ауты.
ПовторыПоведение очереди, число попыток и обработка неуспеха.

GPU-инференс — отдельный вопрос

Модель с собственными весами обычно требует среды с совместимым ускорителем и достаточной памятью. Обычная edge-функция может обращаться к такому серверу или управляемому API. Специализированные serverless GPU-сервисы оценивают отдельно: важны холодный старт, доступность GPU и оплата простоя.

Как проверить архитектуру

Прогоните один файл дважды с одинаковым идентификатором, оборвите соединение и повторите запрос. Убедитесь, что состояние задания можно восстановить, а пользователь видит понятную ошибку. Для успешного ответа сохраняйте происхождение данных и стоимость использованного внешнего вызова.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Облачные вычисления
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть