První pokusy proběhly už před třemi lety, kdy technici spíš z legrace ponořili jeden server do malé olejové vany. Nikdo tomu příliš nevěřil, koupili jsme si sud transformátorového oleje a prostě jsme to zkusili. Server takhle běžel dva a půl roku bez jediného zádrhele. Když jsme ho vyndali, vypadal jako nový, jen se víc leskl jako naleštěný, říká Grill.

Na olejovém chlazení je podle Grilla nejlepší to, že je velmi jednoduché to vymyslet a navíc je vše velmi snadné na provoz. Většinou jsme od ostatních slyšeli, že to nebude fungovat a nejde to. My hledáme naopak cesty, jak to může jít. Během třech let jsme dospěli k tomu, že to jde.

Servery skutečně „plavou“ v oleji – jsou ponořeny ve vaně a kompletně zaplavené včetně disků, pamětí, SSD, napájení a síťových prvků. Už řešíme, jak budeme utápět i optické switche, se vším tím si hrajeme. Problémem by mohly být disky, které mají obvykle vyrovnávací ventil a olej by do nich mohl proniknout. Zkoušeli jsme je dávat do pytlíků nebo ventily ucpat, ale nakonec jsme skončili u disků s héliovou atmosférou, které jsou uzavřené a olej jim nevadí. S SSD samozřejmě není problém vůbec, ty běžně utápíme, jak jsou, vysvětluje Grill.

Pro experimentování s olejem se společnost WEDOS rozhodla přibližně před třemi lety. Za tu dobu vyzkoušeli několik variant a nakonec se rozhodli pro světově unikátní řešení – datacentrum kompletně chlazené olejem. Myslím, že se nám to nakonec vyplatí. Za tři roky se nám na úsporách nové datacentrum zaplatí a za pět let se nám vrátí i investice vložené do všech technologií uvnitř.

Velmi rychle se ukázalo, že to je zajímavá cesta. Postupně jsme se tomu začali věnovat víc, hledali jsme správný olej, jak řešit kabeláž a propoje, jak si hrát s materiály a podobně. Zajímavou kapitolou jsou podle Grilla také různé impregnace. Existuje možnost celý server nastříkat impregnační látkou a po vyndání z oleje jej můžete jinou látkou odmastit.

Druhá verze už vážně

Poté vznikla druhá verze, která už byla plně automatizovaná, byla celá v plastu a měla dva redundantní okruhy. Uvnitř leží rack na 18 U, máme dva výměníky a 700 litrů oleje. Používáme čtyři čerpadla, všechno je zdvojené, aby bylo možné to servisovat za provozu.

Toto řešení funguje dobře, servery jsou v něm uložené tři čtvrtě roku a neobjevil se žádný problém. Vše je řízené počítačem a plně automatizované.

Třetí generace do produkce

Současná produkční verze už je z nerezu. Používáme nerez kvůli bezpečnosti jak z hlediska požáru, tak úniku oleje, popisuje Josef Grill. Díky výměníku umístěnému přímo v olejové vaně se navíc podařilo ušetřit jeden okruh, což znamená další uspořenou energii.

Řešení je připraveno na servery HP Moonshot, do jejichž šasi se zasouvají malé karty se samotnými servery. V jedné vaně pak může být až 45 serverů, 2880 GB RAM, 720 procesorových vláken a 90 TB diskové kapacity. Takový box může dávat až 4500 W tepla. Do běžného racku se jich vejde devět, což dává přibližně 40 KW odpadního tepla. To nejste schopni klasickým vzduchovým chlazením zvládnout, říká Grill. My říkáme, že uchladíme cokoliv, co nám HP dodá.

Testování dnes probíhá při teplotě 56 °C, při které vše bez problémů funguje. Pocitově se olej chová jinak než voda. Na dotyk je hodně teplý, ale na rozdíl od takto teplé vody vás to nespálí. Je to prostě jen hodně teplé, vysvětluje Grill. Olej má poměrně velkou tepelnou setrvačnost, protože je ho ve vaně poměrně hodně a zahřívá se postupně celý objem. Je to tedy jakási přirozená redundance pro případ výpadku okruhu.

Uchladit se podle Grilla dá prakticky cokoliv, záleží jen na rychlosti oběhu chladicího oleje. V jedné takové vaně uchladíme klidně 20 KW tepla. Spíš teď neexistuje žádný server, který by dokázal víc tepla vygenerovat.

Ventilátory musí ven

Josef Grill také upozorňuje na to, že v utopených serverech nesmí být ventilátory. Ony by se v oleji vlastně pořádně netočily a byly by k ničemu. Musíme je proto vyndat před tím, než server ponoříme.

To přináší také nezanedbatelnou úsporu na příkonu samotných ventilátorů. Těch je například ve zmíněných serverech HP šest a dva další na zdroji. Ventilátor má příkon až 28 W a když je server zatížený, tak jednou naplno. Jeden server tak může mít přes 200 W příkonu jen na ventilátorech.

Protože jsou ventilátory zbytečné, není je potřeba ani kupovat. Každý stojí asi 500 Kč, takže na pořizovací ceně serveru ušetříme 4000 Kč. Firma si nechala od HP dodat i speciální várku zdrojů, které dorazily bez ventilátorů a s upraveným firmwarem.

Hledání správného oleje

Určitým procesem prošel také použitý olej, který musí kromě dobrých provozních vlastností splňovat také například bezpečnostní parametry. Nakonec používáme jeden olej, který má příznivý poměr cena/parametry a k tomu vynikající trvanlivost – až desítky let. Jedná se o olej, který není toxický, což bylo taky hledisko při výběru. Tento olej se podle Grilla používá například ve farmaceutickém průmyslu. Při jeho výběru byla zvažována hořlavost (a tím bezpečnost), přenos tepla (a tím chladicí výkon), izolační vlastnosti (a tím bezpečnost provozu) a v neposlední řadě i zápach (a tím práci obsluhy) a třeba i barva (a tím zajímavější pro návštěvníky).

Navíc se jedná o olej, který je obecně dobře dostupný u distributorů skladem a cenově příznivý – cena je dle množství v desetikorunách za litr. Byl to vývoj. Včetně studování materiálů a různých podkladů z celého světa. Teoreticky by mělo být možné použít řepkový nebo olivový olej, které ale nemají příliš dlouhou trvanlivost. Oba bohužel žluknou a tak ztrácejí rychle parametry.

O konkrétní typ oleje se zatím Josef Grill podělit nechce. Přiznám se, že zvažujeme, zda budeme celý náš produkt chránit nebo ne. Rozhodneme to do konce měsíce. Pak bude pravděpodobně typ oleje zveřejněn – jako součást ochrany nebo naopak pro široké použití.

Nové datacentrum celé v oleji

Firma začala v říjnu loňského roku stavět v Hluboké nad Vltavou další datacentrum, které by mělo být otevřeno letos v listopadu. Bude výjimečné tím, že bude stoprocentně chlazené olejem. Včetně serverů, disků a všech souvisejících technologií. Vše bude plavat v olejové lázni.

Firma přitom vůbec při stavbě nepočítá s tím, že by bylo použito jiné chlazení – vše je připraveno na olej. Původně jsme předpokládali, že budeme chladit hlavně vzduchem a sem tam něco olejem. Postupně jsme se dostali k variantě půl na půl a nakonec jsme všechno přehodnotili a skončili jen u oleje, říká Grill. Nakonec i motor-generátory budou umístěny uvnitř budovy a budou chlazeny stejným způsobem. Generátory nebudou utopené, ale jejich chladiče budou napojené na stejný okruh a k chlazení budou používat stejný olej.

Z budovy bude vidět jen kancelářská část, celá serverovna bude schovaná ve svahu. Zatím řešíme především legislativní otázky, povolení a podobně. Děláme vše proto, aby nám to vyšlo. Původní datacentrum je bývalý kryt civilní obrany z roku 1976, nová budova bude mít podobné ražení – celá bude odlita z železobetonu, místy bude mít šířku přes metr.

Celkem bude v serverovně 480 m2 místa pro servery a technologie a dalších 515 m2 pro zázemí a kancelářské prostory. Očekáváme, že dosáhneme PUE 1,03. V současné době máme se vzduchovým chlazením 1,17. Do nového datacentra se teoreticky vejde až 560 van se servery Moonshot. To bychom tam mohli přestěhovat celou Českou republiku a ještě bychom měli rezervy.

Co je to PUE? PUE (Power Usage Effectiveness) neboli česky Indikátor energetické efektivity ukazuje, kolik ze spotřebované energie datacentra je využito IT vybavením a kolik zkonzumují podpůrné systémy. Jde jednoduše o poměr těchto dvou hodnot. Ideální PUE by bylo 1,0 a v takové situaci by byla veškerá energie používána pro provoz samotných serverů a síťových prvků. V praxi je ale nutné veškeré zařízení chladit, což přináší další energetické náklady. Obvykle se tedy PUE pohybuje mezi 1,1 až 1,5.

Další zajímavou výhodou je, že odpadní teplo nepůjde do atmosféry, ale bude se využívat k vyhřívání nedalekého koupaliště. Budeme vyhřívat bazén a tím si chladit servery, takže se budeme vzájemně doplňovat. Proto jsme také zvolili lokalitu blízko koupaliště, kde je 1200 kubíků vody na chlazení.



Josef Grill, WEDOS Pořizovací náklady

Celý provoz zajišťují běžná topenářská čerpadla, která jsou velmi spolehlivá, úsporná, velmi levná a dlouhodobě otestovaná. Maže se rovnou z okruhu, takže pokud ho nezavzdušníte, tak se prakticky nemůže zničit. Proti nákladům na klimatizační jednotky je pořízení takových čerpadel extrémně levné.

Z bezpečnostního hlediska je prý všechno vyřešené, hasiči potvrdili, že je možné mít v budově 120 000 litrů oleje. Technicky jsme si s tím poradili tak, že to nevadí hasičům ani životnímu prostředí.

Kam dál?

Firma by ráda ještě zvýšila využitelnost plochy v datacentru, pravděpodobně tak, že bude možné do regálů uložit tři nebo čtyři vany nad sebe. Dostat se k jednotlivým serverům není problém, protože jsou to vlastně velmi malé karty. Pokud by bylo potřeba vytáhnout celé šasi, použil by se vysokozdvižný vozík. Tím by se server v případě nutnosti z vany vyzvedl, nechal okapat a převezl do servisní místnosti.

Další výzvou je sledování fyzikálně-chemických vlastností oleje a jejich změn v čase. Možná někdy zlákáme někoho, kdo by nám to otestoval a udělal na tom diplomku.



Josef Grill, WEDOS Provozní náklady

Také je tu otázka ochrany know-how, zda má smysl nebo je lepší vše otevřít a uvolnit pro další využití. Asi to spíš otevřeme, ať si to kdokoliv zkopíruje a pomáhá to vylepšovat. Když se k nám někdo přidá, bude jednodušší dohoda s výrobci serverů a komponent. S výrobci se v současné době dohaduje, jak u serverů v oleji řešit záruky a servis.