AI serveri: privāts mākslīgais intelekts uz tavas aparatūras

CloudHosting privātais GPT apstrādā rēķinus, līgumus, personāla un medicīnas dokumentus uz aparatūras, kas pieder tev, tavā birojā vai Rīgas datu centrā, tāpēc personas dati netiek nodoti trešās puses AI pakalpojumam. Ja iekārta stāv tavā birojā, pašam modelim atsevišķs apstrādes līgums nav vajadzīgs; ja tā izvietota mūsu Rīgas datu centrā, mitināšanā esam tavs apstrādātājs un parakstām ar tevi datu apstrādes līgumu. Abos gadījumos apstrāde paliek ES, un NIS2 piegādātāju saraksts paliek īss. Tu joprojām esi datu pārzinis, tāpēc iekšējie piekļuves noteikumi paliek tavā atbildībā: ieviešanā ietilpst API atslēgas, audita žurnāls un pieprasījumu limiti, tāpēc vari dokumentēt, kurš, kad un ko modelim jautājis.

CloudHosting AI serveris ar 128 GB vienotās atmiņas darbina Llama 3.3 70B FP8 kvantizācijā, kas atbildes notur tuvu oriģinālajam modelim, vai 4 bitu kvantizācijā, ja gribi ātrākas atbildes un vairāk vietas gariem dokumentiem. 70B modeļa pilnās precizitātes svari aizņem ap 141 GB un vienā iekārtā neietilpst. Mazāki lokālie modeļi, piemēram, Qwen vai Mistral, ietilpst ar lielu rezervi un atbild jūtami ātrāk, tāpēc tos parasti izvēlas, ja kasti vienlaikus lieto daudz cilvēku. Modeļi darbojas uz vLLM vai llama.cpp, tāpēc to nomaiņa ir ikdienišķa, un pārvaldītajā plānā tos atjaunojam reizi ceturksnī, ienesot tādus laidienus kā Llama 4 vai Qwen 3. Ja nezini, kurš modelis der, piemeklēsim to kopā.

CloudHosting privātais GPT piedāvā standarta OpenAI chat-completions API tavā LAN vai VPN, tāpēc bibliotēkas, SDK un spraudņi, kas būvēti OpenAI galapunktiem, strādā, nomainot tikai bāzes URL un API atslēgu. Esošās integrācijas turpina darboties bez izmaiņām kodā, un tieši tāpēc mēs turamies pie šī standarta. Galapunkts ir sasniedzams tikai tava tīkla iekšpusē, nevis no publiskā interneta, un katrai lietotnei var izsniegt savu atslēgu. Papildus API tu saņem čata saskarni darbiniekiem, kuri vienkārši grib uzdot jautājumus pārlūkā. Ja tavā rīku komplektā ir kāds kritisks rīks, nosauc to atbalstam, un mēs pārbaudīsim tā darbību pirms ieviešanas.

CloudHosting pēc izvēles pieejamais RAG ļauj privātajam modelim atbildēt no taviem iekšējiem dokumentiem: avoti, piemēram, SharePoint, tiek indeksēti Qdrant vai pgvector uz tās pašas iekārtas, tāpēc arī indekss neatstāj tavu tīklu. Kad kāds uzdod jautājumu, sistēma atrod atbilstošās vietas dokumentos, un modelis atbild no tām, nevis minot. Pārvaldītajā plānā indekss tiek pārbūvēts katru nakti, tāpēc vakardienas labojumi parādās atbildēs, un mēs pieskaņojam meklēšanu, kad satura kļūst vairāk. Godīgi jāsaka: atbilžu kvalitāte ir atkarīga no tā, cik sakārtoti ir paši dokumenti. Prasot cenas piedāvājumu, uzskaiti savus avotus, un mēs apstiprināsim, ko var pieslēgt.

CloudHosting AI serveris atrodas vai nu tavā birojā, kur to sasniedz pa LAN, vai Tier 3+ datu centrā Rīgā, ko CloudHosting uztur pats, un tur komanda pieslēdzas caur VPN. Birojā darbība nav atkarīga no interneta pieslēguma. Abos gadījumos aparatūra ir tavs īpašums, un viss, kas uz tās glabājas, modeļi, indeksi un žurnāli ieskaitot, pieder tev. Tā kā kaste pieder tev, vari sākt birojā un vēlāk pārcelt to uz datu centru vai otrādi. Piegāde Rīgas robežās ir iekļauta pirkumā, citur piegādi saskaņojam atsevišķi, tāpēc, prasot cenu, piemini savu atrašanās vietu.

CloudHosting pārvaldītais plāns AI serveriem nav obligāts un maksā no 500 EUR mēnesī; jau ieviešana vien nodod tev pilnvērtīgu, nostiprinātu servisu ar rezerves kopiju un atkopšanas plānu, ko no pirmās dienas vari uzturēt pats. Tikai godīgi izvērtē, ko tas nozīmē: kādam tavā pusē tad jāseko GPU slodzei un aizkavei, jāliek OS un CUDA atjauninājumi un pašam jāatjauno modeļi. Pārvaldītais plāns noņem tieši šo darbu un dod klāt 4 inženiera stundas katru mēnesi izmaiņām un pieprasījumiem. Vari arī sākt saviem spēkiem un pieslēgt plānu vēlāk, ja uzturēšana izrādās par smagu; pietiek uzrakstīt atbalstam, un to ieslēgsim.

CloudHosting privātā GPT servera cena sastāv no trim daļām: aparatūra kā vienreizējs pirkums par šajā lapā redzamo cenu, ieviešana no 5000 EUR vienreizēji un pārvaldītais plāns pēc izvēles no 500 EUR mēnesī, visas cenas bez PVN. Ieviešana ietver izvietošanu, drošības nostiprināšanu un API ar čata saskarni palaišanu darbā. Maksas par tokeniem nav, tāpēc ikmēneša izmaksas neaug, kad pievieno jaunus lietotājus vai komanda sāk lietot servisu intensīvi. Ja piemērots serveris tev jau pieder, lētākais ceļš var būt paātrinātāja karte atsevišķi. Precīzu summu tavam gadījumam saņemsi, pieprasot piedāvājumu, un mēs to izklāstīsim pa pozīcijām.

Viens CloudHosting AI serveris uz NVIDIA GB10 čipa ar 128 GB atmiņas apkalpo nelielu grupu ar 70B modeli vai vairāk cilvēku vienlaikus ar vidēja izmēra modeli, un NVIDIA GB10 iekārtu var savienot ar otru, kad komanda to pāraug. Viena fiksēta skaitļa nav, jo tas atkarīgs no modeļa, konteksta garuma un tā, kā komanda strādā. Vienlaicīgi nozīmē cilvēkus, kas sūta pieprasījumus vienā un tajā pašā brīdī, un parastā birojā vienlaikus čato tikai daļa darbinieku, tāpēc kopējais kontu skaits var būt krietni lielāks. 70B modelis der grupai, kurai atbilžu dziļums ir svarīgāks par ātrumu, bet vidēja izmēra modelis atbild ātrāk. Slodzes novērtēšanas sarunā pasaki darbinieku skaitu un gaidāmo lietojumu, un mēs ieteiksim modeli un konfigurāciju.

Abi CloudHosting piedāvātie AI serveri, NVIDIA GB10 un ASUS Ascent GX10, modeļus darbina vienādi uz tā paša GB10 Blackwell čipa ar 128 GB vienotās atmiņas, un tie atšķiras ar krātuvi, 4 TB pret 1 TB NVMe, un klastera atbalstu. Inferences ātrums un modeļi, kas tajos ietilpst, ir vienādi. NVIDIA iekārta atbalsta klasterus, ASUS iekārta strādā tikai kā viens mezgls. Praksē krātuve kļūst svarīga, kad uz kastes glabā vairākus modeļus un augošu RAG indeksu, bet klastera atbalsts der tikai tad, ja vēlāk plāno pievienot mezglus. Stabilai nelielai komandai ASUS iekārta kalpo tikpat labi. Ieviešana un pārvaldītais plāns abām ir vienādi, un piegāde Rīgā ir iekļauta abos gadījumos.

Tavs līgums par AI serveri ir ar CloudHosting SIA, Latvijas IT infrastruktūras uzņēmumu, kas darbojas kopš 2016. gada un pats uztur savu Tier 3+ datu centru Rīgā. Nopirktā aparatūra kļūst par tavu īpašumu, bet ieviešanu un pārvaldīto plānu rēķinā izraksta tas pats uzņēmums. Rēķinus izrakstām un apmaksā eiro: Latvijas uzņēmumiem piemēro 21% PVN, ES uzņēmumiem ar derīgu PVN numuru rēķinu izraksta ar apgriezto maksāšanu, bet uzņēmumiem ārpus ES bez PVN. Ja iekārta izvietota mūsu datu centrā, kā apstrādātājs parakstām ar tevi datu apstrādes līgumu. Piemēro Latvijas tiesības.

CloudHosting inženieri atbild latviski, angliski un krieviski darba dienās no 9:00 līdz 17:00 pēc Rīgas laika, un pārvaldītais plāns pievieno uzraudzību 24/7 GPU slodzei, VRAM, rindai un aizkavei. Ieviešanu, slodzes novērtēšanas sarunu un jautājumus pēc palaišanas kārto viena un tā pati komanda, pa pieteikumu, e-pastu vai tālruni. Bez pārvaldītā plāna iekārtu uzturi pats: uz jautājumiem atbildam darba laikā, bet kasti uzrauga tava puse. Ar pārvaldīto plānu mēs arī ikmēneša apkopes logā liekam OS un CUDA atjauninājumus, reizi ceturksnī atjaunojam modeļus, katru nakti pārindeksējam RAG un dodam 4 inženiera stundas mēnesī.

Ar CloudHosting AI serveri aparatūra pilnībā pieder tev, tāpēc aiziešana nozīmē paņemt iekārtu līdzi: modeļi, indeksi, žurnāli un dokumenti uz tās paliek tavi. Pašai kastei nav ne maksas par tokeniem, ne abonementa. Pārvaldītais plāns beidzas, kad pārstāj apmaksāt tā nākamo rēķinu; lai to izbeigtu priekšlaicīgi, jau apmaksāta perioda vidū, raksti uz info@cloudhosting.lv 20 dienas iepriekš. Ja iekārta izvietota mūsu Rīgas datu centrā, pēc vienošanās to nododam atpakaļ tev. Tā kā serviss balstās uz atvērtiem rīkiem, vLLM vai llama.cpp, Qdrant vai pgvector un ar OpenAI saderīgu API, tā uzturēšanu var pārņemt jebkurš, ko izvēlēsies.