AI serveri: privāts mākslīgais intelekts uz tavas aparatūras

Jā, tieši tam tas ir domāts. Rēķini, līgumi, personāla un medicīnas dokumenti tiek apstrādāti uz iekārtas, kas pieder tev, tāpēc personas dati netiek nodoti trešās puses AI pakalpojumam un pašam modelim nav vajadzīgs atsevišķs apstrādes līgums. Apstrāde paliek tavā GDPR perimetrā, un NIS2 piegādātāju saraksts nekļūst garāks. Viens godīgs piebildums: tu joprojām esi datu pārzinis, tāpēc iekšējie piekļuves noteikumi paliek tavā atbildībā. Ieviešanā ietilpst API atslēgas, audita žurnāls un pieprasījumu limiti, tāpēc vari dokumentēt, kurš, kad un ko modelim jautājis. Ja šaubies par konkrētu dokumentu veidu, uzraksti atbalstam, un izrunāsim to pirms ieviešanas.

128 GB VRAM bez problēmām darbina Llama 3.3 70B pilnā precizitātē, tas nozīmē, ka modelis strādā bez kvalitātes zuduma, ko rada kvantizācija. Mazāki lokālie modeļi, piemēram, Qwen vai Mistral, ietilpst ar lielu rezervi, un vieglāku modeli vari izvēlēties tad, ja ātrums tev ir svarīgāks par maksimālo atbilžu dziļumu. Modeļus izvietojam uz vLLM vai llama.cpp, tāpēc viena modeļa nomaiņa pret citu ir ikdienišķa darbība. Pārvaldītajā plānā modeļus atjaunojam reizi ceturksnī, ienesot tādus laidienus kā Llama 4 vai Qwen 3, tiklīdz tie iznāk. Ja nezini, kurš modelis der tavam darbam, uzraksti atbalstam, un piemeklēsim to kopā.

Jā. Serviss piedāvā standarta chat-completions API tavā LAN vai VPN, tāpēc bibliotēkas, SDK un spraudņi, kas būvēti OpenAI galapunktiem, strādā, nomainot tikai bāzes URL un API atslēgu. Esošās integrācijas turpina darboties bez izmaiņām kodā, un tieši tāpēc mēs turamies pie šī standarta. Galapunkts ir sasniedzams tikai tava tīkla iekšpusē, nevis no publiskā interneta, un katrai lietotnei var izsniegt savu atslēgu. Papildus API tu saņem čata saskarni darbiniekiem, kuri vienkārši grib uzdot jautājumus pārlūkā. Ja tavā rīku komplektā ir kāds kritisks rīks, nosauc to atbalstam, un mēs pārbaudīsim tā darbību pirms ieviešanas.

Jā. Pēc izvēles pieejamais RAG savieno modeli ar tavām zināšanām. Dokumenti no tādiem avotiem kā SharePoint tiek pārvērsti embeddings un glabāti Qdrant vai pgvector uz tās pašas iekārtas, tāpēc arī indekss neatstāj tavu tīklu. Kad kāds uzdod jautājumu, sistēma atrod atbilstošās vietas dokumentos, un modelis atbild no tām, nevis minot. Pārvaldītajā plānā indekss tiek pārbūvēts katru nakti, tāpēc vakardienas labojumi parādās atbildēs, un mēs pieskaņojam meklēšanu, kad satura kļūst vairāk. Godīgi jāsaka: atbilžu kvalitāte ir atkarīga no tā, cik sakārtoti ir paši dokumenti. Prasot cenas piedāvājumu, uzskaiti savus avotus, un mēs apstiprināsim, ko var pieslēgt.

Iekārtai ir divas iespējamās mājas. Tā var stāvēt pie tevis birojā, kur darbinieki to sasniedz pa LAN un darbība nav atkarīga no interneta pieslēguma, vai arī to var izvietot mūsu pašu Tier 3+ datu centrā Rīgā, kur komanda pieslēdzas caur VPN. Abos gadījumos aparatūra ir tavs īpašums, un viss, kas uz tās glabājas, modeļi, indeksi un žurnāli ieskaitot, pieder tev. Tā kā kaste pieder tev, vari sākt birojā un vēlāk pārcelt to uz datu centru vai otrādi. Piegāde Rīgas robežās ir iekļauta pirkumā, citur piegādi saskaņojam atsevišķi, tāpēc, prasot cenu, piemini savu atrašanās vietu.

Nē, pārvaldītais plāns nav obligāts. Jau ieviešana vien nodod tev pilnvērtīgu, nostiprinātu servisu ar rezerves kopiju un atkopšanas plānu, un no pirmās dienas vari to uzturēt pats. Tikai godīgi izvērtē, ko tas nozīmē: kādam tavā pusē tad jāseko GPU slodzei un aizkavei, jāliek OS un CUDA atjauninājumi un pašam jāatjauno modeļi. Pārvaldītais plāns no 500 EUR mēnesī noņem tieši šo darbu un dod klāt 4 inženiera stundas katru mēnesi izmaiņām un pieprasījumiem. Vari arī sākt saviem spēkiem un pieslēgt plānu vēlāk, ja uzturēšana izrādās par smagu; pietiek uzrakstīt atbalstam, un to ieslēgsim.

Domā par cenu kā par trim daļām. Pirmā ir aparatūra, vienreizējs pirkums; aktuālās iekārtu cenas redzamas šajā lapā un norādītas bez 21% PVN. Otrā ir ieviešana par 5000 EUR vienreizēji, kas ietver izvietošanu, drošības nostiprināšanu un API ar čata saskarni palaišanu darbā. Trešā ir pārvaldītais plāns pēc izvēles, sākot no 500 EUR mēnesī. Maksas par tokeniem nav, tāpēc ikmēneša izmaksas neaug, kad pievieno jaunus lietotājus vai komanda sāk lietot servisu intensīvi. Ja piemērots serveris tev jau pieder, lētākais ceļš var būt paātrinātāja karte atsevišķi. Precīzu summu tavam gadījumam saņemsi, pieprasot piedāvājumu, un mēs to izklāstīsim pa pozīcijām.

Viena GB10 iekārta ar 128 GB VRAM apkalpo 10 līdz 20 vienlaicīgus lietotājus ar Llama 3.3 70B pilnā precizitātē. Vienlaicīgi nozīmē cilvēkus, kas sūta pieprasījumus vienā un tajā pašā brīdī, tāpēc kopējais kontu skaits var būt krietni lielāks: parastā birojā vienlaikus čato tikai daļa darbinieku. Ja pīķa slodze tev ir svarīgāka par maksimālo atbilžu kvalitāti, mazāks modelis atstāj vairāk rezerves. Kad komanda vienu kasti patiešām pāraug, NVIDIA GB10 iekārta atbalsta klasterēšanu, tāpēc jaudu palielina, pievienojot mezglus, nevis mainot nopirkto. Slodzes novērtēšanas sarunā pasaki darbinieku skaitu un gaidāmo lietojumu, un mēs ieteiksim piemērotu konfigurāciju.

Modeļu darbināšanā atšķirības nav: abas iekārtas ir būvētas uz viena un tā paša GB10 Blackwell čipa ar 128 GB VRAM, tāpēc inferences ātrums un modeļi, kas tajās ietilpst, ir vienādi. Atšķirības ir visā pārējā ap čipu. NVIDIA iekārtai ir 4 TB NVMe krātuve un klastera atbalsts, ASUS Ascent GX10 ir 1 TB un tikai viens mezgls. Praksē krātuve kļūst svarīga, kad uz kastes glabā vairākus modeļus un augošu RAG indeksu, bet klastera atbalsts der tikai tad, ja vēlāk plāno pievienot mezglus. Stabilai nelielai komandai ASUS iekārta kalpo tikpat labi. Ieviešana un pārvaldītais plāns abām ir vienādi, un piegāde Rīgā ir iekļauta abos gadījumos.