chladenie clusteru vodou

Všetko o vodnom chladení a riešenie problémov ...
melo
Nový používateľ
Nový používateľ
Príspevky: 2
Dátum registrácie: St 26. Máj, 2021, 12:38

chladenie clusteru vodou

Príspevok od používateľa melo »

Zdravím osadenstvo,
chcel by som sa poradiť s nasledovnou úvahou - máme v robote počítačový výpočtový cluster (9 nodov) a chcel by som ho prerobiť na vodné chladenie, ale s tým, že chladič by sa nachádzal vonku na balkóne (aby nebola potrebná klima - keď je to teplo už raz v tej vode...). A keďže nechcem prevŕtať stenu množstvom dier, tak som uvažoval nad spojením trubiek z počítačov do jednej, potom vonku niekoľko potvor štýlu MORA3 (resp. možno obdoba od Alphacool-u (cena)) a naspäť obdobným spôsobom a postupne rozdeliť odvody. Každý stroj pripojený cez rýchlospojky, keby ho bolo potrebné odpojiť pri servisovaní, nech to nie je potrebné celé odstaviť a vypustiť.
Čo sa týka čerpadla, tak som rozmýšľal aj nad nejakým veľkým spoločným pre celý systém, ale neviem, či by neboli veľké rozdiely v prietoku (niektoré stroje majú jednu GPU, niektoré 2, CPU AMD aj Intel), tak pre bezpečnosť momentálne skôr uvažujem nad samostatnými pumpami (D5? - podľa tunajších odporúčaní).
A ešte som uvažoval - aby sa znížila možnosť rastu rias (a možnosť širšej trubky), tak použiť aspoň na to spoločné vedenie niečo na spôsob aluplastu, čo používajú vodári na pitnú aj TÚV vodu. Či sa z toho môže niečo uvoľňovať a zanášať bloky?
Aspoň takto nateraz rámcovo... Alebo je to celé úplná blbosť?
Vďaka za názor.
Používateľov profilový obrázok
SKiLEX
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 5222
Dátum registrácie: Po 09. Mar, 2015, 16:13
Bydlisko: KE

Re: chladenie clusteru vodou

Príspevok od používateľa SKiLEX »

Nie zeby som sa do toho vyznal ale:
1. Pride mi to ako privelky punk aj na domace pouzitie, nie to este firemne... Kvoli spolahlivosti
2. Ako vyriesis aby to nezamrzlo/nerosilo v zime
PC: Ryzen 5600x, Gigabyte B450i aorus pro wifi, Crucial Ballistix 2x8GB 3200mHz, Asus dual 6700xt, Corsair RM750x, FD meshify 2 compact lite, AOC Q3279VWFD8
Zvuk: Panasonic SC-PMX80, ATH M50x
NTB: Thinkpad X270, Probook 440 G7
Používateľov profilový obrázok
Miso122
Používateľ
Používateľ
Príspevky: 1928
Dátum registrácie: St 27. Nov, 2019, 21:36
Bydlisko: BA

Re: chladenie clusteru vodou

Príspevok od používateľa Miso122 »

Do firmy absolutne uletene riesenie, nezrealizovatelne v realnych podmienkach (spolahlivost ako je pisane vyssie, taketo custom riesenia nie su absoultne vhodne na business use-case, nakolko k tomu nie je ziadny servis alebo zaruka)
ITX >>> ATX
melo
Nový používateľ
Nový používateľ
Príspevky: 2
Dátum registrácie: St 26. Máj, 2021, 12:38

Re: chladenie clusteru vodou

Príspevok od používateľa melo »

ono je to HPC cluster, ktorý je zaťažený viac-menej stále na 100%, takže predpokladám, že by malo stačiť stiahnuť otáčky ventilátorov a tých niekoľko (3-4) kW tepla by malo dostatočne zabrániť zamrznutiu. A nie, nejde o kryptomeny a pod.
Čo sa týka spoľahlivosti, nie je to vec, ktorá je zásadná, aby bežala na 24/7, keď by to niekedy na chvíľu vypadlo, tak je to trochu nepríjemné, ale len o to, že sa to spočíta neskôr (a prípadne trochu spočíta už spočítané, čo bolo od posledného "checkpointu"). Takže toto ma nejak veľmi netrápi.
Viac skôr už prípadná voda - nie len skondenzovaná, ale aj dážď a pod. (IP68 ventilátory majú celkom "zaujímavú" cenu a výmena vzduchu tam z princípu musí prebiehať).
Používateľov profilový obrázok
PROMETHEUS
Používateľ
Používateľ
Príspevky: 2065
Dátum registrácie: Ne 23. Jan, 2005, 20:00
Bydlisko: Banska Bystrica

Re: chladenie clusteru vodou

Príspevok od používateľa PROMETHEUS »

linus ma par videi na youtube ako chladili 5 pc naraz a radiatori mali vonku na stene domu. trochu starsie video ale zaujimave
https://www.youtube.com/watch?v=b8bLtg9 ... Z4t1_xFunu
MB: MSI X570 Tomahawk CPU: Ryzen 5900X RAM: BL2K8G36C16U4BL 4x8GB 3733MHz 16-18-18-35 GPU: Gigabyte RTX 3080 Gaming OC Waterforce Monitor: LG Ultragear 27GL83A-B SSD: WD Black SN850 1TB, SN750 500GB, 4x1TB Samsung EVO CASE: Lian Li O11 Dynamic XL PSU: EVGA 850W G2 Klavesnica, mys: Logitech G915 TKL + Logitech G903 Chladenie: CPU block: EK Quantum Velocity D-RGB Rads: EK SE360mm + EK XE360mm Fans: 9x Noctua NF-A12x25 PWM Pump: EK QUANTUM KINETIC TBE 200 D5 PWM D-RGB
Pietro sk
Používateľ
Používateľ
Príspevky: 2554
Dátum registrácie: Ut 28. Dec, 2010, 13:25
Bydlisko: il

Re: chladenie clusteru vodou

Príspevok od používateľa Pietro sk »

melo napísal: St 16. Jún, 2021, 23:03 máme v robote počítačový výpočtový cluster (9 nodov) a chcel by som ho prerobiť na vodné chladenie, ale s tým, že chladič by sa nachádzal vonku na balkóne (aby nebola potrebná klima - keď je to teplo už raz v tej vode...).
zda sa ti draha klimatizovana serverovna (standard), ale vtakoviny, komplikacie, downtime, a mozne "vodopady" sa ti zdaju lacnejsie ??
ak ten klaster je vyskladany zo server zeleza jaxepatri, toto je mimo misu. to budes pilkovat vrtat do skrin ? co chladenie zvysku?
spravna nemrzka (nie ofarbena voda) je nutnost, aj kvoli ochrany korozii. plati to co pri autach, v intervaloch sa to musi menit..
Spoiler: ukázať
5800x ..b550aorus_pro 180€...6800xt stock 670€..nh-u12 am4...viper steel 32GB 4400... R.A.T. 6+
3600-16 1T 32GB#1800IF# curve per core -28max #PBO-175# <95W <65°c
ag241qx; seagate 600pro; firecuda520..
Používateľov profilový obrázok
Jerry
Administrátor
Administrátor
Príspevky: 2731
Dátum registrácie: Ut 22. Feb, 2005, 20:00
Bydlisko: Trenčín

Re: chladenie clusteru vodou

Príspevok od používateľa Jerry »

Presne ako píše @Pietro sk nešpekuluj nad komplikovaným riešením, kúp tam jednu klímu, dve diery von, vstup výstup jednotka vonku a máš po starosti. Chápem, že to myslíš dobre, ale zbytočne si narobíš toľko komplikácii, že to nakoniec budeš ľutovať. Tadiaľto cesta nevedie, ako experiment, ktorý slúži na nepodstatne veci a odstávka môže byt hoci kedy - áno, nie je problém. Ale na firemne riešenie, ktoré musí spoľahlivo fungovať 24/7 je toto absolútne mimo ...
Spoiler: ukázať
Intel i7 11700 • Asus ROG Strix RTX 3080 OC • Gigabyte B560 AORUS PRO AX • 32GB DDR4 HyperX Predator • 1 TB M.2 WD SN850 • Corsair RM850 (2018) • Creative I-Trigue L3800 • Win 11 • Dell Gaming S2721 DGF • Logitech G513 + G403
Používateľov profilový obrázok
Chris
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 5169
Dátum registrácie: Pi 13. Jan, 2006, 02:00
Bydlisko: Bratislava

Re: chladenie clusteru vodou

Príspevok od používateľa Chris »

Cisty blud, ktory nebude nikdy fungovat.
Pred 2 rokmi som bol vo wien pozerat viacero instalacii jednej technologii, kde boli uzavrete racky a specialne medzi rackove alebo bocne alebo tusim 4U klimy.

Co sme pozerali tak to bolo v malom setupe dost efektivne.
Low cost riesenie by bolo kupit hermeticky uzatvaratelny rack a rackovu klimu.
Nakoniec sme sa rozhodli pre ine riesenie ale to skrz velkost a chladiaci vykon 35+25kW.

Pripadne pozri este chladenie servery ponorene v oleji v jednom malom DC v CZ. Ale tam musis riesit ine problemy.
Master of PaloAlto NGFWs, Cisco ASAs
Používateľov profilový obrázok
Chris
Pokročilý používateľ
Pokročilý používateľ
Príspevky: 5169
Dátum registrácie: Pi 13. Jan, 2006, 02:00
Bydlisko: Bratislava

Re: chladenie clusteru vodou

Príspevok od používateľa Chris »

Master of PaloAlto NGFWs, Cisco ASAs

Návrat na "Vodné chladenie"