Какой сервер нужен для запуска локальной AI-модели?

Выбор сервера для AI, который будет запускать локальную языковую модель, сводится к одному числу больше, чем к любому другому: сколько памяти нужно модели, чтобы находиться в ней во время ответа. Всё остальное (процессор, диск, сеть) важно, но именно память решает, запустится ли модель вообще. В этом руководстве даны конкретные расчёты, чтобы вы выбрали оборудование до покупки.

Главное правило: память

Веса модели должны помещаться в память. На видеокарте это VRAM; на сервере без GPU это системная RAM. Квантизация уменьшает веса, чтобы они помещались на более скромном оборудовании. Полезное практическое правило для 4-битных (Q4) моделей: примерно 0,6 ГБ памяти на каждый миллиард параметров, плюс запас на окно контекста.

• Модель 7B-8B, Q4: около 6-8 ГБ VRAM. Работает на одной начальной видеокарте или медленно на процессоре с 16 ГБ RAM.
• Модель 13B-14B, Q4: около 10-12 ГБ VRAM.
• Модель 30B-34B, Q4: около 20-24 ГБ VRAM.
• Модель 70B, Q4: около 40-48 ГБ VRAM, обычно две видеокарты по 24 ГБ.

Добавьте запас на окно контекста. Длинный контекст в 32 тысячи токенов может потребовать ещё несколько гигабайт поверх весов.

GPU или процессор?

Видеокарта не обязательна, но она полностью меняет впечатление. На процессоре модель 7B может выдавать несколько токенов в секунду: годится для фоновых задач, но мучительно для интерактивного диалога. Современная видеокарта с достаточным объёмом VRAM выдаёт десятки токенов в секунду. Если люди будут писать и ждать ответы, закладывайте видеокарту. Если вы только обрабатываете тексты пакетами или ночью, хватит мощного процессора и большого объёма RAM.

Остальная часть машины

• Системная RAM: не меньше размера модели, в идеале вдвое больше, даже если модель работает на GPU.
• Хранилище: NVMe SSD. Файлы моделей большие (4 ГБ для маленькой, 40 ГБ и более для крупной) и загружаются быстрее с быстрого диска.
• Процессор: важнее всего для инференса на CPU и для подачи данных в GPU. Помогают современные ядра с поддержкой AVX.
• Сеть: первая загрузка большая; сам инференс нагружает сеть слабо.

Как проверить возможности машины

На сервере с Linux подтвердите видеокарту и её память, затем через Ollama скачайте модель и следите за расходом памяти:

nvidia-smi                 # видеокарта и VRAM
free -h                    # системная RAM
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b    # скачать модель 8B
ollama run llama3.1:8b     # начать диалог
nvidia-smi                 # проверить VRAM во время ответа

Если nvidia-smi показывает, что модель помещается с запасом, можно перейти на модель побольше или на более длинный контекст. Если она выходит за пределы VRAM в системную RAM, ответы резко замедляются.

Какое решение CloudHosting подходит

Для экспериментов и небольших моделей 7B-8B разумно начать с хорошо укомплектованного VPS с достаточным объёмом RAM. Для интерактивной работы, более крупных моделей или нескольких пользователей одновременно выделенный физический сервер с видеокартой в нашем дата-центре в Риге обеспечивает предсказуемую производительность и полный контроль. Поскольку модель и ваши данные остаются на вашей собственной машине, размещённой в ЕС, вы сохраняете соответствие GDPR и NIS2 и полный суверенитет над данными, и это главная причина размещать модель у себя, а не обращаться к внешнему API. Если вы не хотите собирать всё самостоятельно, OpenClaw это наше решение для самостоятельно размещаемого AI, готовое к работе на таком оборудовании.

Практический вывод

Сначала рассчитайте память: 0,6 ГБ на миллиард параметров для Q4-модели, плюс запас на контекст. Сопоставьте это с VRAM, если нужна скорость, или с RAM, если можете подождать. Держите файлы на NVMe, RAM не меньше размера модели, и проверьте всё через ollama run и nvidia-smi, прежде чем наращивать масштаб.