SURFsara maakte in februari bekend dat de uitbreiding deels uit Intel-processors van de Broadwell-generatie gaat bestaan en dat de rekenkracht moet toenemen van theoretisch 1,559Pflops tot 1,8Pflops. Dat blijkt echter maar een voorbeeld van wat zou kunnen; de opdracht is nog niet precies ingevuld.

Toch kan Meiland al wel iets meer vertellen. "In feite gebeurt er niet veel anders dan bij eerdere uitbreidingen. We plaatsen een eiland bij. We hebben nu twee switches, daar komt een derde bij om alles met elkaar in verbinding te houden. Waar de uitbreiding precies uit gaat bestaan weten we nog niet. SARA heeft een budget vastgesteld, maar de vrijheid behouden om te kiezen of het iets met Broadwell gaat doen, iets met Intels Xeon Phi Knights Landing-accelerators of dat het Nvidia Pascal-gpu's gaat toepassen."

Atos kan deze onderdelen bieden met zijn Bull Sequana-platform. Dat is het platform waarop nieuwe generaties supercomputers van het bedrijf gebaseerd zijn en waarmee Atos de race naar exascale-computing inzet. Fabrikanten zijn in deze strijd beland met het streven het eerste cluster te bouwen dat een exaflops, oftewel een miljard miljard flops, aan rekenkracht biedt.

Bull Sequana X1000 met aan weerszijden twee kabinetten met plek voor 144 compute nodes en in het midden een switch-kabinet. Onderaan zitten de hydraulische modules voor vloeibare koeling.

Onderdeel van Sequana, en dus van de upgrade van Cartesius, is verder de komst van Infiniband EDR. Infiniband is een standaard van het bedrijf Mellanox voor de communicatie tussen de onderdelen van een supercomputer. Dankzij de hoge doorvoersnelheid en de lage latency is het de meestgebruikte interconnectstandaard voor hpc-systemen wereldwijd. Cartesius gebruikt nu nog Infiniband FDR, met een bandbreedte van 56Gbit/s, opgebouwd uit vier kanalen van 14Gbit/s. Cartesius gebruikt actieve glasvezelkabels met aan het uiteinde een omzetting van glas naar koper waarbij elektronica is geïntegreerd. Dat maakt de kabels duur; ze kosten honderden euro's per stuk. "De integratie garandeert dat de aansluiting optimaal en de latency laag is", noemt Meiland als reden voor de keuze.

Met de overstap naar Infiniband EDR neemt de bandbreedte toe tot 100Gbit/s. Met die bandbreedte is Cartesius voorbereid op de toekomst, maar de echte winst zit volgens de Atos Bull-medewerker in de latency, de tijd die het kost om van de ene naar de andere computer te komen.

"Om stukjes data van een harde schijf te halen zou 11,5 dagen duren" "De verbindingen tussen de onderdelen zijn kritisch. Die zorgen ervoor dat je genoeg data aan je cpu en alu kan blijven voeden om door te rekenen. De interconnectie is wat het tot een supercomputer maakt", zegt Meiland. Hij rekent voor: "Een 1GHz-cpu doet er 1 klokcycle over om zijn eigen registers te benaderen; data uit L1-cache halen doet hij in 2 cycles. Vertalen we dat naar menselijke schaal, dan zou het, zeg, 1 seconde zijn. Bij L2-cache duurt het bij die schaal 2 seconden en data uit het geheugen halen duurt dan 3,2 minuut. Om stukjes data van een harde schijf te halen zou dan 11,5 dagen duren. Je kunt natuurlijk overstappen naar flashgeheugen, dan breng je het terug tot een dag."

Oranje spaghetti

Meiland maakt nu de overstap naar de interconnect. "Op het moment dat je een verbinding hebt en iets uit het geheugen van een andere computer gaat pakken, doe je daar met een 1Gbit/s-koperlijn 3,3 uur over. Dat is heel wat minder dan 11 dagen, maar het kost nog altijd heel wat meer tijd dan het benaderen van het eigen geheugen. Met 10Gbit/s op koper breng je dat aardig terug, naar 50 minuten. Met Infiniband FDR zit je op ongeveer 12 minuten en dan kom je ergens; dan is het nog maar vier keer zo lang als uit het eigen geheugen. Met EDR zitten we straks op ongeveer 8 minuten."

Aan de achterkant van ieder chassis komen 18 glaskabels uit de geïntegreerde Infiniband-switch. In het chassis zitten daar ook nog eens 18 servers op aangesloten. In totaal heeft een Infiniband-switch dus 36 aansluitingen. Die 36 is niet zomaar gekozen, claimt Meiland. "Je kunt daar met je topologie heel veel kanten mee uit; je kunt de touwtjes verdelen over 2, 3, enzovoort. Het maakt je flexibel." Per 18 horizontaal komen ze uit de Level-1 Infiniband-switch, waarna ze naar de Level-2-switches geleid worden en daar verticaal over verdeeld worden. Ook die kruisverbanden hebben een reden. "We praten vanaf een van de nodes met een van de switches en willen naar een andere node. Met die kruisverbanden verdeel je de load over de volgende 18 switches. De reden daarvoor is dat we statistisch gezien geen bottleneck creëren."

Het levert op sommige plekken een enorme oranje spaghetti aan kabels op, aangevuld met de reguliere ethernetkabels die gebruikt kunnen worden voor de overige communicatie met de machines. Kabels worden bovenlangs in goten geleid. Te zien is dat kabelmanagement met glas ondanks de hoeveelheid een stuk eenvoudiger moet zijn dan met koper. Het gpu-eiland van Cartesius werkt nog met zwarte koperen kabels, die een stuk dikker en minder flexibel zijn.