Wkrótce nie będzie można chłodzić procesorów, procesorów graficznych i innych akceleratorów, takich jak FPGA, przy użyciu samego przepływu powietrza.Tak twierdzą inżynierowie z firmy Microsoft, która zaledwie w zeszłym rokupowiedziany chłodzenie cieczą nie było praktycznie praktyczne w centrach danych.
„To, co staramy się tutaj zrobić, to przygotować naszą branżę na nadejście chipów chłodzonych cieczą” - powiedział Husam Alissa, starszy inżynier z zespołu rozwoju Data Center Advance firmy Microsoft, podczas prezentacji podczas majowego szczytu OCP Global Summit. wirtualnie.„Będą wymagały chłodzenia cieczą.Dlatego naszym wysiłkiem jest dostosowanie się do OCP i usprawnienie adaptacji do chłodzenia cieczą ”.
OCP, czyli Open Compute Project, to wysiłek Facebooka, Goldman Sachs i kilku innych, zapoczątkowany w 2011 r., Mający na celu zmaganie się z kontrolą nad sposobem projektowania i wyceny sprzętu i infrastruktury centrum danych z dala od firm, które w tamtym czasie były na rynku ” obecni ”(tacy jak Dell, HP czy Cisco) i przyzwyczaili się do podejmowania decyzji.
Microsoft był tylko jednym z wielu uczestników OCP Summit - współautorów podprojektu OCP Advanced Cooling Solutions (ACS) - którym udało się przekształcić swoje chłodzone cieczą projekty z czegoś podobnego do Projektu Mercury, zanim było bezpiecznie wystrzeliwanie astronautów na więcej jak Apollo po trzech lub czterech udanych przyłożeniach.Od 2016 roku Microsoft pracuje nadProjekt Olympus, próba udoskonalenia obudowy i współczynników kształtu serwerów zbudowanych dla chmury hiperskalowej, takiej jak Azure.
Teraz liderzy OCP, tacy jak Microsoft i Facebook oraz inni członkowie podgrupy ACS, koncentrują się na nowych sposobach utrzymania stabilności termicznej procesorów, akceleratorów i komponentów pamięci masowej.
Przyszłość na wyciągnięcie ręki
„Hybrydowe chłodzenie cieczą” modernizuje zazwyczaj systemy chłodzone powietrzem z dodatkami, które dostarczają płyny (w tym H2O, ale ostatnio także nowe klasy produkowanych płynów, pierwotnie stworzone z myślą o zmniejszeniu palności) bezpośrednio przez elastyczne rury i na uszczelnione obudowy wokół chipów silikonowych.Jeśli to, co opisała Alissa, wkrótce się spełni, nowa klasa elastycznych przewodów ciepłych i zimnych, wykorzystujących połączenia typu „ślepy partner” (bezpłciowe, jedno zatrzaskowe), zostanie poprowadzona równolegle do kabli Ethernet i elektrycznych.
Po stronie wejściowej obwodu będzie płyn dielektryczny - nie woda, a nie olej mineralny.Zostanie wyprowadzony rurami do obudowy otaczającej krytyczne komponenty - być może średniej wielkości pudełko na płytę główną, być może tylko małe pudełko z biżuterią na pojedyncze chipy.Tam płyn zacznie wrzeć.Następnie wychodząca strona obwodu odprowadzi parę do obudowy, która wychwytuje ciepło, ponownie skrapla parę z powrotem w płyn i ponownie rozpocznie cały proces.
Stojaki serwerowe już zapewniają cyrkulację powietrza.Okazuje się, że nie jest praktyczne wyobrażanie sobie przekształcenia ich w urządzenia, które zamiast tego rozprowadzają wodę.Dopóki nie pójdziesz drogą pełnego zanurzenia, przepływ powietrza i przepływ płynu muszą współistnieć.Inżynierowie wnoszący wkład w OCP szukają wydajności, sposobów, w których oba przepływy będą korzystne, a nie przeszkadzać sobie nawzajem: „wspomagane powietrzem chłodzenie cieczą” (AALC).
Stoją przed zegarem, który słyszą tykanie, ale nie widzą.Ostrzeżenie Alissy z Microsoftu nie wydaje się już kwestionowane: wkrótce pojawią się chipy, których nie można chłodzić powietrzem.Gdyby nie doszło do pandemii, łatwiej byłoby oszacować czas ich nadejścia.
Jak powiedział uczestnikom OCP Phillip Tuma, specjalista ds. Rozwoju aplikacji z działu Electronics Materials Solutions Division firmy 3M, pojawiające się bogactwo metod chłodzenia cieczą można sortować według czterech cech (w sumie teoretycznie 31 odmian):
- Tryb wymiany ciepła.System jednofazowy opiera się na czynnikach naturalnych, takich jak fakt, że ciepło wzrasta, aby usunąć ciepło z obszaru, podczas gdy system dwufazowy zwykle integruje mechanizm, który dzieli przepływ cieczy na wlot i wylot.
- Tryb konwekcji.W układzie dwufazowym określa to, czy impuls do przepływu płynu jest mechanizmem aktywnym, takim jak pompa, czy biernym, takim jak zimna płyta.
- Metoda powstrzymywania.W systemie pełnego zanurzenia (znajdź nasze najnowsze nurkowanie głębokie - Ha! - o zanurzeniututaj), wszystkie serwery lub obudowy serwerów w klastrze są umieszczone w jednym zbiorniku.Alternatywnie pojedynczy serwer można zamknąć w szczelnej obudowie.Lub, w schemacie AALC, szczelna pół-skorupa może obejmować pojedynczy układ scalony, wyposażony w pasywny radiator lub pokryty rodzajem ceramiki (nie srebrnej pasty), która sprzyja wrzeniu, podobnie jak powierzchnia ulicy w upalny letni dzień .
- Chemia płynów.Płyn węglowodorowy jest jak olej mineralny, ale jest wysoce rafinowany i oczyszczony.Natomiast płyn fluorowęglowodorowy jest wytwarzany, jak środek zmniejszający palność, i nie zachowuje się jak olej.Obie klasy mają niższą temperaturę wrzenia niż woda i obie wymagają ciągłego filtrowania w celu usunięcia zanieczyszczeń, takich jak woda w akwarium.
Metan jest węglowodorem i jak wie każdy posiadający grill na świeżym powietrzu, jest wysoce łatwopalny.W temperaturze pokojowej jest to gaz, który dyskwalifikuje go do stosowania w zanurzeniu.To, co sprawia, że węglowodory używane do produkcji olejów chłodzących są bezpieczniejsze niż metan lub heksan (po prostu „palne”), powiedział Tuma, to liczba atomów węgla wynosząca 10 lub więcej.„Idąc stamtąd w końcu napotkasz oleje, które są po prostu zbyt lepkie, aby można je było pompować i przydatne do zanurzenia” - zauważył.
Studium przypadku
Aby hybrydowe systemy AACS były certyfikowane w środowiskach centrów danych, będą musiały zostać sklasyfikowane.W tym celu inżynier Intela Jessica Gullbrand zaproponowała dość prosty schemat.Zaczyna się od „hybrydowej podstawowej” konfiguracji chłodzenia komponentów: przede wszystkim wprowadzenia zimnych płyt z wodą do chłodzonej powietrzem ramy, stykających się tylko z komponentami o dużej mocy, takimi jak GPU lub CPU.Model „hybrydowy pośredni” dodaje styk zimnej płyty do modułów DIMM.W tym miejscu przepływ powietrza zaczyna być znacznie zmniejszony, ostrzegł Gullbrand, i gdzie metoda chłodzenia cieczą musi kompensować, aby była skuteczna.
Zimne płyty stykające się z innym sprzętem, takim jak macierze pamięci masowej, kwalifikowałyby system jako „zaawansowany hybrydowy”.Gdy przepływ powietrza jest całkowicie ograniczony lub nie odgrywa już roli w chłodzeniu, systemu nie można sklasyfikować jako „hybrydowy”.Szafy mogą być klasyfikowane oddzielnie, zgodnie z wkładem Intela w propozycje, w zależności od tego, czy zawierają wymienniki ciepła z przodu czy z tyłu.
Ile z tego schematu klasyfikacji będzie dotyczyło inżynierów centrum danych i specjalistów ds. Certyfikacji, a ile specjalistów ds. Zarządzania ryzykiem?Czy na przykład rzeczoznawcy ubezpieczeniowi mogliby przeliczyć ryzyko przy użyciu różnych nowych zmiennych, takich jak prawdopodobieństwo wycieku?
Zadaliśmy pytanie firmie Intel Gullbrand.„Nie określiliśmy w dokumentach [wymagań] konkretnie, co należy odnotować w związku z zarządzaniem ryzykiem” - odpowiedziała.„Wspomnieliśmy o kilku kwestiach, które należy wziąć pod uwagę.Co robisz, na przykład, gdy masz wypadek lub wyciek?Jeśli dojdzie do wycieku, jak sobie z tym poradzisz?Oczywiście, aby wdrożyć te procesy, zanim coś się wydarzy ”.
Tak więc w końcowych dokumentach wymagań OCP dotyczących komponentów takich jak zimne płyty może znaleźć się sekcja zarządzania ryzykiem, „aby upewnić się, że ludzie przemyśleli rozwiązania” - powiedział Gullbrand.
Hybrydowy podstawowy i średniozaawansowany
Najprostsza konfiguracja chłodzenia hybrydowego, zgodnie z przewidywaniami inżynierów centrów danych Microsoft i Facebook, zaczyna się od zamontowania wymiennika ciepła (HX) z tyłu szafy.Jest to przykręcany komponent, który obejmuje serię pięciu wentylatorów 280 mm generujących przepływ powietrza do 4800 stóp sześciennych na minutę (CFM).Obejmuje również monitory temperatury i ciśnienia powietrza oraz czujniki pokładowe.
Jak wyjaśniła Alissa, zbiornik i jednostka pompująca (RPU) zastępują niektóre elementy przepływu powietrza w szafie, często te zainstalowane na dole.Jest oddzielony od HX, dzięki czemu cały system jest bardziej modułowy i łatwiejszy w konserwacji i naprawie.Alternatywnie, jeśli jest miejsce, HX można zainstalować w samej szafie.
„Dlatego część tego rozwiązania zawierająca ciecz-powietrze staje się elastyczna i może być zoptymalizowana pod kątem wydajności lub zastosowania końcowego” - powiedziała Alissa.„A RPU, będący centrum rozwiązania, można znormalizować i zoptymalizować, a także zaprojektować pod kątem interoperacyjności, aby umożliwić wielu dostawcom rozwiązań obsługę tego produktu”.
Inżynierowie z Calgary CoolIT Systemssą w dużej mierze odpowiedzialni za projekt RPU, który, według dyrektora firmy Cam Turner ds. rozwiązań hiperskalowych, został opracowany na podstawie studium przypadku dotyczącego szafowej jednostki dystrybucji chłodzenia ciecz-ciecz (CDU) CHX80.Tam stojak został schłodzony przy użyciu różnych zimnych płyt, które stykają się bezpośrednio z gorącymi komponentami i są napełniane cieczą poprzez dodanie zamkniętej pętli cieczy.
W nowym studium przypadku (przedstawionym powyżej) ciepło pochłonięte przez zimne płyty było odprowadzane przez HX po przejściu przez prąd powietrza dostarczany do innych elementów systemu w normalny sposób.Model CHX80 został po raz pierwszy zoptymalizowany pod kątem najwęższego 19-calowego stojaka OCP Open Rack, z opcjonalnym mocowaniem płyty adaptera dla większych rozmiarów.
„Aby wspierać interoperacyjność między dostawcami, wymagana jest standaryzacja interfejsów elektrycznych i cieczowych” - wyjaśnił Turner, mówiąc coś, co za trzy lata może być oczywiste.„Obejmuje to nie tylko typ złącza, ale także lokalizacje, aby upewnić się, że nie dochodzi do kolizji z żadnymi innymi komponentami w systemie, a kiedy wymieniasz komponenty, nie brakuje kabla lub długości rury”.
To wciąż regał chłodzony powietrzem, więc wymyślenie sposobu modernizacji istniejącej szafy nie jest takie trudne.Ciecz może być zwykłą wodą, chociaż nie musi pochodzić bezpośrednio z zakładu wodociągowego.Mimo to, powiedział Fernandes uczestnikom, ciecz robi różnicę.
„Obszerne testy tej konfiguracji na poziomie szafy z użyciem sań GPU wykazały [że] przy danym natężeniu przepływu powietrza to rozwiązanie do chłodzenia cieczą w zamkniętej pętli zapewnia wiele obietnic w postaci wsparcia o 50% wyższego zużycia energii w porównaniu z oryginalnym powietrzem. chłodzone rozwiązanie ”- powiedział inżynier termalny Facebooka John Fernandes.„Jednak dalsze ulepszanie komponentów chłodzących może jeszcze bardziej zwiększyć te prognozy”.
Hybrid Advanced
Demonstracja, która mogła wyważyć drzwi całej konferencji OCP (wraz z wszelkimi wbudowanymi wymiennikami ciepła), została przeprowadzona za pomocą filmu wideo firmy ZutaCore.
Projekt, opracowany we współpracy z producentem regałów Rittal, obejmuje wyposażenie tylnych drzwi HX w dwufazowy system infuzji cieczy, który pompuje płyn dielektryczny przez rurkę wlotową 4 mm do komory bezpośrednio nad chipem, którego radiator został usunięty.Tam płyn wyraźnie wrze, a pęcherzyki pary odprowadzają ciepło przewodem wylotowym o średnicy 6 mm do kolektora dystrybucji czynnika chłodniczego.Stamtąd para przechodzi do jednostki oddawania ciepła (HRU).
„HRU zawiera wentylatory, które wydmuchują zimne powietrze z korytarza przez skraplacz, zmuszając parę do oddania ciepła i skroplenia z powrotem w ciecz” - wyjaśnił dyrektor ds. Zarządzania produktem w ZutaCore, Timothy Shedd.„Pompa następnie wyciąga tę ciecz i wypycha ją z powrotem do parowników, gdzie cykl zaczyna się od nowa”.
W centrum projektu ZutaCore znajduje się część (na zdjęciu powyżej), która zastępuje radiator chipa.Nazywa się to „Parownikiem o wzmocnionej nukleacji” lub ENE.Chłodna ciecz jest pompowana do komory, w której ciepło z wiórów doprowadza je do wrzenia.Ta para jest wciągana przez parowniki do skraplacza chłodzonego powietrzem.Ponieważ komora jest tak mała, a przepływ jest tak stały, Rittal twierdzi, że przepływ cieczy wynoszący zaledwie 140 mm na minutę może zapewnić chłodzenie 400 W.
To pomiary, takie jak ten, zmuszają inżynierów i naukowców do porzucenia miernika, za pomocą którego branża obecnie ocenia moc serwerów i centrum danych, w kontekście tego, co jest potrzebne do ich ochłodzenia.
„To środowisko jest zupełnie inne niż środowisko chłodzone powietrzem” - powiedział Jimil Shah, inżynier ds. Rozwoju aplikacji w firmie 3M, której niezliczone produkty obejmują płyny chłodzące.„W przypadku chłodzenia powietrzem będziesz mówić o gęstości szaf na metr kwadratowy.Ale tutaj mówimy o kilowatach na litr ”.
Jeśli taka prognoza pojawi się, gdy chłodzenie cieczą stanie się nieuniknione (przynajmniej według obliczeń Microsoftu i Facebooka), oto nasza nowa podstawa, dzięki uprzejmości Rittal i ZutaCore: 0,35 kW / litr.To znaczy, gdyby nukleacja - nowe słowo określające język centrów danych - mogła wszystko ochłodzić.