GPU в облаке для ИИ: память, контекст и цена результата
Как сравнить аренду ускорителя и API, не сводя выбор к числу гигабайт видеопамяти.
Сначала определите задачу
Обучение, дообучение, эмбеддинги и генерация ответа используют ускоритель по-разному. Для собственного сервера инференса укажите модель, длину входа, число одновременных пользователей и допустимое ожидание. Только после этого выбирайте GPU и программный стек.
Источник: vLLM: обслуживание запросов
Память весов — нижняя оценка
Приближённо объём параметров равен их количеству, умноженному на число бит представления и делённому на восемь. Для условных 8 млрд параметров и 4 бит это около 4 ГБ только на веса. Нужны также служебные структуры, буферы и KV-кеш; реальный формат добавляет накладные расходы.
Контекст меняет требования
Длинный запрос и параллельные диалоги увеличивают потребление памяти. Если короткий ответ работает, это не доказывает готовность обработки большой инструкции. Квантизация снижает расход ресурсов ценой возможных изменений качества; поддержку формата проверяйте для модели и ускорителя.
vLLM как слой обслуживания
vLLM предоставляет средства серверного запуска моделей и API. Для развёртывания нужны совместимые веса, драйверы и параметры. Начните с одного ускорителя и фиксированной контрольной нагрузки. Многокарточная схема добавляет требования к связям между GPU и операционной сложности.
Измеряйте полезную нагрузку
Сохраните модель, формат весов и параметры генерации. Измерьте время до первого токена, полное время, максимальную память и долю ошибок при выбранной параллельности. Не сравнивайте короткие запросы одного сервера с длинными документами другого.
Аренда против API
У своего GPU оплачивается и время простоя, если тариф не предусматривает другое. У API важны вход, выход, кеширование и дополнительные инструменты. Считайте стоимость принятого результата на своей выборке. Для редких задач простой ускорителя может перевесить экономию на отдельном запросе.
Отметка поможет найти непрочитанное.