Инфраструктура ИИ / GPU / vLLM

GPU в облаке для ИИ: память, контекст и цена результата

Как сравнить аренду ускорителя и API, не сводя выбор к числу гигабайт видеопамяти.

Сначала определите задачу

Обучение, дообучение, эмбеддинги и генерация ответа используют ускоритель по-разному. Для собственного сервера инференса укажите модель, длину входа, число одновременных пользователей и допустимое ожидание. Только после этого выбирайте GPU и программный стек.

Источник: vLLM: обслуживание запросов

Память весов — нижняя оценка

Приближённо объём параметров равен их количеству, умноженному на число бит представления и делённому на восемь. Для условных 8 млрд параметров и 4 бит это около 4 ГБ только на веса. Нужны также служебные структуры, буферы и KV-кеш; реальный формат добавляет накладные расходы.

Контекст меняет требования

Длинный запрос и параллельные диалоги увеличивают потребление памяти. Если короткий ответ работает, это не доказывает готовность обработки большой инструкции. Квантизация снижает расход ресурсов ценой возможных изменений качества; поддержку формата проверяйте для модели и ускорителя.

vLLM как слой обслуживания

vLLM предоставляет средства серверного запуска моделей и API. Для развёртывания нужны совместимые веса, драйверы и параметры. Начните с одного ускорителя и фиксированной контрольной нагрузки. Многокарточная схема добавляет требования к связям между GPU и операционной сложности.

Измеряйте полезную нагрузку

Сохраните модель, формат весов и параметры генерации. Измерьте время до первого токена, полное время, максимальную память и долю ошибок при выбранной параллельности. Не сравнивайте короткие запросы одного сервера с длинными документами другого.

Аренда против API

У своего GPU оплачивается и время простоя, если тариф не предусматривает другое. У API важны вход, выход, кеширование и дополнительные инструменты. Считайте стоимость принятого результата на своей выборке. Для редких задач простой ускорителя может перевесить экономию на отдельном запросе.

МАТЕРИАЛ ПРОЙДЕН?

Отметка поможет найти непрочитанное.

← Инфраструктура ИИ
Продолжить тему

Читайте дальше

Смотреть все
128 материалов · 18 направлений · Esc — закрыть