NVIDIA GPU serveru noma pēc pieprasījuma: HGX B300, B200 un H200

CloudHosting SIA, Latvijas hostinga uzņēmums, pēc pieprasījuma nodrošina fiziskos NVIDIA HGX B300 serverus klientiem Eiropā un visā pasaulē. B300 jaudu noliktavā neturam: to sagādājam tavam projektam, un atrašanās vietu, piegādes datumu, līguma termiņu un cenu par GPU stundu saskaņojam pirms parakstīšanas. Serveri darbojas Eiropas datu centrā, kas izvēlēts atbilstoši projekta jaudas un dzesēšanas vajadzībām, sākot no viena 8 GPU mezgla līdz lieliem klasteriem un statnes mēroga sistēmām ar šķidruma dzesēšanu. Valsti un datu centru ierakstām līgumā pirms parakstīšanas, un tu saņem root piekļuvi dedicētai aparatūrai, ko neizmanto neviens cits klients.

CloudHosting B300 nomas cenu piedāvājumu gatavo katram projektam atsevišķi, par GPU stundu vai par mezglu mēnesī, eiro, un cenrādi nepublicē; tāpat tiek aprēķināta B200, H200 un H100 GPU noma un GPU klasteru noma. Cena ir atkarīga no līguma termiņa, mezglu skaita, vajadzīgā piegādes datuma, atrašanās vietas un tās elektroenerģijas izmaksām, tīkla starp mezgliem, krātuves, maksājumu grafika un no tā, cik lielu darbības daļu pārvaldām mēs. Ilgāks termiņš un lielāks apjoms parasti samazina cenu par GPU stundu. Lai saņemtu rakstisku piedāvājumu, atsūti GPU modeli un skaitu, termiņu, vēlamo atrašanās vietu un sākuma datumu, vajadzīgo tīklu un krātuvi un norādi, vai vēlies, lai serverus pārvaldām mēs. Atbildēsim ar variantiem, un katrā būs atrašanās vieta, piegādes datums un cena.

B300 (Blackwell Ultra) ir vairāk atmiņas un ātrāks tīkls nekā B200, bet NVLink paaudze abiem ir vienāda. Katram B300 GPU ir līdz 288 GB HBM3e atmiņas, B200 ir 180 GB, un NVIDIA DGX sistēmās katrs B300 GPU saņem 800 Gb/s ConnectX-8 NIC, bet B200 400 Gb/s ConnectX-7. Abiem katram GPU ir 1.8 TB/s piektās paaudzes NVLink. NVIDIA norāda, ka 8 GPU HGX B300 sistēmas blīvā (dense) FP4 veiktspēja ir 108 PFLOPS, bet HGX B200 sistēmas 72 PFLOPS; retinātajā (sparse) FP4 režīmā maksimums abām ir 144 PFLOPS. B300 FP64 veiktspēja ir krasi samazināta, tāpēc dubultās precizitātes HPC darbiem labāk der B200. DGX B300 patērē aptuveni 14 kW, DGX B200 aptuveni 14.3 kW.

Lieliem modeļiem jā: B300 ir aptuveni divreiz vairāk atmiņas vienam GPU un jaunāka arhitektūra, taču H200 joprojām labi der daudzām slodzēm. B300 GPU ir līdz 288 GB HBM3e ar joslas platumu līdz 8 TB/s, bet H200 ir 141 GB ar 4.8 TB/s. B300 ir arī piektās paaudzes NVLink ar 1.8 TB/s katram GPU, divreiz vairāk nekā H200 900 GB/s. H200 patērē līdz 700 W vienam GPU, un DGX H200 sistēma maksimāli 10.2 kW, tāpēc vienam mezglam vajag mazāk barošanas un dzesēšanas. Ja tavs modelis un pakete (batch) ietilpst 141 GB vienā GPU, H200 ar pārbaudīto Hopper programmatūru var būt praktiskākā izvēle. Piedāvājumu sagatavojam abiem.

HGX B300 ir NVIDIA platforma ar astoņiem Blackwell Ultra SXM GPU uz vienas pamatplates, uz kuras serveru ražotāji būvē savus serverus, bet DGX B300 ir pašas NVIDIA pilna 10U sistēma ar tiem pašiem astoņiem GPU. Abās katram GPU ir līdz 288 GB HBM3e un 1.8 TB/s piektās paaudzes NVLink, tāpēc vienā 8 GPU mezglā pēc NVIDIA datiem ir aptuveni 2.1 TB GPU atmiņas. Atšķiras pārējais serveris: HGX B300 serveros korpusu, procesorus, atmiņu, krātuvi un dzesēšanu izvēlas ražotājs, un ir gan gaisa, gan šķidruma dzesēšanas versijas, bet DGX B300 ir ar gaisa dzesēšanu, diviem Intel Xeon 6776P procesoriem un pēc NVIDIA datiem patērē aptuveni 14 kW. CloudHosting piedāvājumā precīzs servera ražotājs un modelis ir nosaukts pirms parakstīšanas.

HGX B300 ir 8 GPU servera mezgls, bet GB300 NVL72 ir pilna statne ar šķidruma dzesēšanu, kas apvieno 72 Blackwell Ultra GPU un 36 NVIDIA Grace CPU vienā NVLink domēnā. Abos ir tas pats Blackwell Ultra GPU ar līdz 288 GB HBM3e un 1.8 TB/s NVLink katram GPU. HGX B300 mezglā NVLink savieno 8 GPU, un lielāki uzdevumi iet caur tīklu starp mezgliem; GB300 NVL72 statnē pēc NVIDIA datiem visi 72 GPU ir vienā 130 TB/s NVLink domēnā ar 20 TB GPU atmiņas. Atšķirība ir barošanā un dzesēšanā: DGX B300 mezgls patērē aptuveni 14 kW, bet GB300 NVL72 statne aptuveni 120 kW, un tai vajag šķidruma dzesēšanu. Minimālais pasūtījums ir viens 8 GPU mezgls HGX B300 gadījumā un viena pilna statne GB300 NVL72 gadījumā.

Katram NVIDIA B300 (Blackwell Ultra) GPU ir līdz 288 GB HBM3e atmiņas ar joslas platumu līdz 8 TB/s. Tāpēc 8 GPU HGX B300 vai DGX B300 sistēmā ir vairāk nekā 2 TB GPU atmiņas; NVIDIA HGX un DGX B300 lapās kopapjoms norādīts aptuveni 2.1 TB. Salīdzinājumam: B200 ir 180 GB vienam GPU un 1440 GB 8 GPU sistēmā, bet H200 ir 141 GB vienam GPU un 1128 GB sistēmā. GB300 NVL72 statnei NVIDIA norāda 20 TB GPU atmiņas uz 72 GPU, un visi tie ir vienā NVLink domēnā. Tieši atmiņa vienam GPU nosaka, cik liels modelis un cik garš konteksts ietilpst vienā mezglā.

Pēc NVIDIA datiem 8 GPU NVIDIA DGX B300 sistēma patērē aptuveni 14 kW, un tā ir ar gaisa dzesēšanu 10U korpusā. Citu ražotāju serveri ar HGX B300 plati atšķiras atkarībā no modeļa: NVIDIA norāda līdz 1400 W vienam Blackwell Ultra čipam, un ražotāju HGX B300 sistēmās katrs GPU strādā ar līdz 1100 W, gaisa vai šķidruma dzesēšanas versijās. Statnes mēroga sistēmai GB300 NVL72 vajag aptuveni 120 kW uz statni un šķidruma dzesēšanu. Tas ir krietni vairāk, nekā paredzēts parastai serveru statnei, tāpēc barošana un dzesēšana nosaka, kur B300 instalācija var darboties. Datu centru un jaudas budžetu rakstiski apstiprinām pirms parakstīšanas.

CloudHosting minimālais pasūtījums PCIe GPU, piemēram, L40S, RTX PRO 6000 Blackwell Server Edition vai H100 NVL, ir viena karte. SXM platformām, piemēram, HGX B300, HGX B200, HGX H200 vai H100 SXM, tas ir viens 8 GPU mezgls, bet GB300 NVL72 gadījumā viena pilna statne. Minimālais līguma termiņš ir 12 mēneši; garākus un vairāku gadu termiņus saskaņojam katram projektam un ierakstām līgumā kopā ar norēķinu vienību un maksājumu grafiku. Rēķinus izrakstām par GPU stundu vai par mezglu mēnesī, eiro. Termiņš ietekmē gan cenu, gan piegādes iespējas, tāpēc laikus pasaki, cik ilgi tev jauda būs vajadzīga.

CloudHosting GPU serveru piegāde aizņem no dažām nedēļām līdz vairākiem mēnešiem, un rakstisku piegādes datumu tu saņem pirms parakstīšanas. Noliktavā neko neturam, tāpēc datums ir atkarīgs no platformas, no NVIDIA un serveru ražotāju piegādēm pieprasījuma brīdī, no mezglu skaita un no tā, vai izvēlētajā datu centrā barošana un dzesēšana jau ir sagatavota. Platformas ar lielu pieprasījumu, piemēram, jauni HGX B300 klasteri vai GB300 NVL72 statnes, parasti prasa ilgāku laiku nekā PCIe konfigurācijas. Mēs nesolām jaudu, kurai nevaram nosaukt datumu: piegādes datums tavā piedāvājumā ir tāds, ko varam pamatot ar apstiprinātu aparatūras piegādi un apstiprinātu datu centru, un tas tiek ierakstīts līgumā.

Ilgām apmācībām un stabilai inferencei parasti jā: tu saņem visu fizisko serveri bez virtualizācijas slāņa, visus tā GPU, pilnu NVLink topoloģiju starp tiem un root piekļuvi. Uzdevumi ar vairākiem GPU uzvedas prognozējami, jo mezglā nestrādā neviens cits klients, un tu pats uzstādi operētājsistēmu, draiveri, CUDA versiju, konteineru vidi un plānotāju. Kompromiss ir tāds, ka jauda līguma termiņa laikā ir fiksēta: klusā nedēļā to nevar samazināt līdz nullei, un programmatūru uzturi pats, ja vien neesam saskaņojuši pārvaldības apjomu. Mākoņa GPU instances der īsiem eksperimentiem un svārstīgai slodzei; fiziskais serveris der ilgstošam darbam, kur vajag visu mezglu.

Viena 8 GPU mezgla iekšpusē nevajag ne vienu, ne otru: GPU sazinās pa NVLink, un tīkls kļūst svarīgs tikai tad, kad uzdevums aptver vairākus mezglus. Vairāku mezglu apmācībā tīkls starp mezgliem pārnes kolektīvo datplūsmu, piemēram, NCCL all-reduce, tāpēc tam jābūt ātram un bez bloķēšanas (non-blocking). NVIDIA šajās platformās atbalsta gan InfiniBand, gan Ethernet ar RoCE, un tās B300 atsauces sistēmās katram GPU ir ConnectX-8 NIC ar ātrumu līdz 800 Gb/s, kas strādā abos režīmos. InfiniBand ir iedibināta izvēle lieliem apmācību klasteriem; Ethernet labi der, ja tas atbilst tavam esošajam tīklam un rīkiem. Tīklu projektējam katram projektam tavam mezglu skaitam, topoloģijai un krātuves datplūsmai un iekļaujam to piedāvājumā.

Jā, savus GPU serverus vari novietot pie CloudHosting, izmantojot serveru izvietošanas pakalpojumu, bet vispirms pārbaudām, vai tiem pietiek jaudas. Standarta izvietošana mūsu Tier 3+ datu centrā Rīgā der serveriem ar parastu jaudas budžetu. 8 GPU sistēma, piemēram, DGX B300, viena pati var patērēt aptuveni 14 kW, tāpēc blīviem GPU serveriem vispirms pārbaudām pieejamo barošanu un dzesēšanu un izvietojumu saskaņojam katram projektam. Nosauc servera modeli, vienību skaitu un nominālo jaudu, un mēs rakstiski apstiprināsim, kur un kā aparatūru var uzstādīt. Savus serverus vari arī apvienot ar GPU jaudu, ko nomā pie mums, vienā līgumā.

Tavs līgums ir ar CloudHosting SIA, Latvijas uzņēmumu, kas darbojas kopš 2016. gada, saskaņā ar ES tiesībām un ar rēķiniem eiro. Valsti un datu centru, kurā darbosies tavi serveri, ierakstām līgumā pirms parakstīšanas, tāpēc tu precīzi zini, kur atrodas tavi dati. Tavi serveri darbojas Eiropas datu centrā, ko izvēlamies pēc jaudas un dzesēšanas, kas vajadzīga taviem GPU, un ņemam vērā tavas vēlmes attiecībā uz valsti. GDPR vajadzībām pēc pieprasījuma parakstām datu apstrādes līgumu. Fiziskajā serverī tev ir root piekļuve, un tu kontrolē, kas uz serveriem darbojas un kur nonāk dati.

CloudHosting uzraudzība un incidentu risināšana notiek 24/7, un mūsu inženieri atbild darba dienās no 9:00 līdz 17:00 pēc Rīgas laika, latviski, angliski un krieviski. Root piekļuve serveriem tev ir vienmēr. Pēc pieprasījuma piegādājam serverus ar uzstādītu operētājsistēmu, NVIDIA draiveri un CUDA, pievienojam uzraudzību un kārtojam aparatūras nomaiņu, bet orķestrēšanu, piemēram, Kubernetes vai Slurm, saskaņojam katram projektam atsevišķi. Kā tiek nomainīti bojāti GPU, diski, barošanas bloki un citas detaļas, ir atkarīgs no tavas platformas un atrašanās vietas, tāpēc to norādām piedāvājumā un saskaņojam pirms parakstīšanas. Laikus pasaki, kuras darbības daļas vēlies uzticēt mums, jo pārvaldības apjoms ietekmē cenu.

Jā, pieņemam pieprasījumus NVIDIA Vera Rubin sistēmām, un piegāde ir atkarīga no tā, cik NVIDIA piešķir. Vera Rubin ir NVIDIA platforma, kas seko Blackwell Ultra; NVIDIA sāka sērijveida piegādes 2026. gadā, un pieejamais apjoms joprojām ir ierobežots, tāpēc lielākajai daļai pircēju termiņi ir neskaidri. Pastāsti, kura konfigurācija tevi interesē, cik mezglu vai statņu vajag un kādā laika posmā, un mēs pateiksim, ko un kad varam apstiprināt. Piegādes datumu nesolām, kamēr nevaram to apstiprināt rakstiski. Ja jauda vajadzīga ātrāk, varam sagatavot piedāvājumu HGX B300, HGX B200 vai GB300 NVL72 pagaidu risinājumam un plānot pāreju uz Vera Rubin, tiklīdz to var piegādāt.