Kāds serveris vajadzīgs lokāla AI modeļa darbināšanai?

Izvēloties serveri AI vajadzībām, kas darbinās lokālu valodas modeli, viss balstās uz vienu skaitli vairāk nekā jebkuru citu: cik daudz atmiņas modelim vajadzīgs, lai tas atrastos iekšā, kamēr atbild. Viss pārējais (procesors, disks, tīkls) ir svarīgs, bet tieši atmiņa izšķir, vai modelis vispār darbosies. Šajā rakstā ir konkrēti aprēķini, lai tu izvēlētos aparatūru pirms pirkuma.

Galvenais noteikums: atmiņa

Modeļa svariem jāietilpst atmiņā. Uz videokartes tā ir VRAM; uz servera bez GPU tā ir sistēmas RAM. Kvantizācija samazina svarus, lai tie ietilptu mazākā aparatūrā. Noderīgs īkšķa likums 4 bitu (Q4) modeļiem ir aptuveni 0,6 GB atmiņas uz katru miljardu parametru, plus rezerve konteksta logam.

• 7B-8B modelis, Q4: aptuveni 6-8 GB VRAM. Darbojas uz vienas ieejas līmeņa videokartes vai lēni uz procesora ar 16 GB RAM.
• 13B-14B modelis, Q4: aptuveni 10-12 GB VRAM.
• 30B-34B modelis, Q4: aptuveni 20-24 GB VRAM.
• 70B modelis, Q4: aptuveni 40-48 GB VRAM, parasti divas 24 GB videokartes.

Pievieno rezervi konteksta logam. Garš 32k marķieru konteksts var pieprasīt vēl vairākus gigabaitus papildus svariem.

GPU vai procesors?

Videokarte nav obligāta, taču tā pilnībā maina pieredzi. Uz procesora 7B modelis var saražot dažus marķierus sekundē: derīgi fona uzdevumiem, bet nogurdinoši interaktīvai sarunai. Moderna videokarte ar pietiekamu VRAM saražo desmitiem marķieru sekundē. Ja cilvēki rakstīs un gaidīs atbildes, plāno videokarti. Ja tikai apstrādā tekstu naktī vai pakās, pietiek ar spēcīgu procesoru un daudz RAM.

Pārējā mašīna

• Sistēmas RAM: vismaz modeļa izmērā, ideālā gadījumā divkārši, pat ja modelis darbojas uz GPU.
• Krātuve: NVMe SSD. Modeļu faili ir lieli (4 GB mazam, 40 GB vai vairāk lielam) un ielādējas ātrāk no ātra diska.
• Procesors: vissvarīgākais procesora inferencei un GPU barošanai. Palīdz moderni kodoli ar AVX atbalstu.
• Tīkls: pirmā lejupielāde ir liela; pati inference tīklu noslogo maz.

Kā pārbaudīt mašīnas iespējas

Uz Linux servera apstiprini videokarti un tās atmiņu, tad ar Ollama lejupielādē modeli un vēro atmiņas patēriņu:

nvidia-smi                 # videokarte un VRAM
free -h                    # sistēmas RAM
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1:8b    # lejupielādē 8B modeli
ollama run llama3.1:8b     # sāc sarunu
nvidia-smi                 # pārbaudi VRAM atbildes laikā

Ja nvidia-smi rāda, ka modelis ietilpst ar rezervi, vari pāriet uz lielāku modeli vai garāku kontekstu. Ja tas pārplūst sistēmas RAM, atbildes strauji palēninās.

Kurš CloudHosting risinājums der

Eksperimentiem un maziem 7B-8B modeļiem labi aprīkots VPS ar pietiekamu RAM ir saprātīgs sākums. Interaktīvai lietošanai, lielākiem modeļiem vai vairākiem lietotājiem vienlaikus dedicēts fizisks serveris ar videokarti mūsu Rīgas datu centrā nodrošina paredzamu veiktspēju un pilnu kontroli. Tā kā modelis un tavi dati paliek uz tavas pašas ES mitinātās mašīnas, tu saglabā GDPR un NIS2 atbilstību un pilnu datu suverenitāti, un tas ir galvenais iemesls izvietot pašam, nevis izmantot ārēju API. Ja nevēlies pats salikt visu kaudzi, OpenClaw ir mūsu pašmitinātais AI risinājums, kas ir gatavs darbam uz šādas aparatūras.

Praktiskais secinājums

Vispirms aprēķini atmiņu: 0,6 GB uz miljardu parametru Q4 modelim, plus rezerve kontekstam. Pieskaņo to VRAM, ja vajag ātrumu, vai RAM, ja vari pagaidīt. Failus liec uz NVMe, RAM tur vismaz modeļa izmērā un pārbaudi ar ollama run un nvidia-smi, pirms palielini apjomu.