Emerald Rapids

[mocad_tom]

Klar wird Emerald Rapids in Intel 7 gefertigt.

Meiner Meinung nach wird das aber ein recht deutliches Effizienz-Plus und damit auch ein Leistungs-Plus geben.


Und man versucht schon eine Blaupause für zukünftige Chips.

https://twitter.com/p1cturedump/status/1643933303282585600

So wie bei Hopper H100 und jetzt auch bei Emerald Rapids wird es in der vertikalen Mittellinie und horizontalen Mittellinie keine komplexen Strukturen in den Layern Fin/Gate/M0 geben.

Dann die nächsten gröberen Layer, dort können wieder Strukturen belichtet werden. Beim 65nm-Prozess haben wir schon mal 700mm2 chips gesehen.
Aber in den Strukturgrößen von Layer Fin/Gate/M0 geht es nicht mehr so große Dies zu belichten - aber ab Layer M1 wird der Intel 4 Prozess größere Strukturen haben als der Intel 7 Prozess.

Das war auch der Grund, warum man damals mit Foveros so haussieren gegangen ist.
Dr Frederick Chen hat in dieser Hinsicht zwei total interessante Artikel geschrieben:
https://www.linkedin.com/feed/update/urn:li:share:7039119154385219584

https://twitter.com/DrFrederickChen/status/1631309413725396992


Wir werden in den nächsten 2-3 Jahren weniger von Foveros hören.
In Emerald Rapids hat man versucht eine EMIB-Verbindung weg zu rationalisieren, weil EMIB auch Energie frisst.
Man hat es ersetzt durch eine Art "On-Die EMIB".

Man hat sehr wohl 4 Segmente auf dem Chip, diese werden in den kleinsten 3 Layern eigens belichtet. Man bekommt bei EUV und bei EUV-High-NA immer kleinere belichtbare Größen. Man umgeht dies, dass man den Die in Segmente schneidet.

Man bekommt bei den Design-Decisions jetzt auch widersprechende Zielrichtungen. In der Mitte eines Segments kann man schöner Belichten.
Aber dann konzentriert man auch die Hitze in die Mitte.

Auch bei der großen Intel GPU und bei Habana Gaudi 3 werden wir eine Umorientierung in diese Richtung sehen(deshalb starb Ponte Vecchio).

[mocad_tom]

Sapphire Rapids MCC hat auch 770mm2

https://twitter.com/DaveAltavilla/status/1574917591197396992

Lasst uns dort mal die Segment-Achsen suchen.
Sie müssen nicht zwingend durch den Mittelpunkt gehen.

Skyjuice/Angstronomics hatte zwar schon mal einen MCC Mockup selbst gebastelt, aber ein richtiger Die shot wäre da schon mal hilfreich.

Hier mal etwas hingestümpert:
https://twitter.com/p1cturedump/status/1643949875371933697

Und hier nochmal er Angstronomics Artikel
https://www.angstronomics.com/p/monolithic-sapphire-rapids

>This makes it Intel’s largest die ever!
>
>2010 Tukwila: 699 mm²
>2016 Knights Landing: 683 mm²
>2017 Skylake-XCC: 678 mm²
>2023 Sapphire Rapids-MCC: 770 mm²

[y33H@]

Intel zeigt nicht mal (delidded) MCC-Packages, von daher wird's auch keinen Die-Shot geben ... das (öffentliche) Diagramm kommt der Realität aber halbwegs nahe:

83385

Emerald Rapids als XCC hat aber einen etwas anderen Aufbau ...

[mocad_tom]

https://twitter.com/p1cturedump/status/1644072566020100097

Ich denke man kann auf dem Die-shot erkennen, mal ist das Mesh etwas dicker, mal ist das Mesh etwas schmaler.

Dort wo die Linie dicker ist, dort sind diese Übergangszonen.

Im Blockdiagramm kann man es nicht sehen, aber auf einem wirklichen Foto.

[mocad_tom]

Der 144-Core Sierra Forest ist eigentlich auch eine relativ klare Sache.

Die E-Core sind immer in Cluster von 4.

144 / 4 = ein Mesh mit 36 Ports für die CPUs und noch ein paar Ports für Memory-Controller, CPU-Interconnect.....

Bei Sierra Forest wird an einen großen monolithischen Die noch mit EMIB ein IO-Die angehängt, nix großartig mit Foveros.

Und sogar der Memory-Controller wird direkt auf dem CPU-Die sitzen.

Der komplette Wahnsinn, wie schnell eine komplette Produkt-Pipeline umgekrempelt werden kann.

[y33H@]

Die Aussagen zu SFR sind nicht durchgehend korrekt.

[mocad_tom]

Okay es werden zwei IO-Die drangehängt.

https://videocardz.com/newz/intel-birch-stream-platform-details-for-future-granite-rapids-and-sierra-forest-cpus-leak-out

Warum packen die QAT in den IO-Die?

Profitiert das nicht von einer kleineren Fertigungsstruktur?

[y33H@]

Modularität bzw Parität von SFR und GNR.

[CrazyIvan]

@mocad_tom

Danke für den Thread. Ich nehme an, der verlinkte Twitter-Account ist Deiner?
Ich bin auch ziemlich baff, das SRF nach bisheriger Kenntnislage nur aus genau einem Compute-Tile bestehen wird.
Und GNR erbt im Grunde die Nachteile von SPR, nur in leicht abgeschwächter Form.

Allgemein wundert es mich, wie lange Intel noch auf diesem toten Pferd seiner Topologie rumreiten möchte, bevor sie vielleicht doch mal auf den klar überlegenen Ansatz von AMD wechseln wollen.

[y33H@]

Welche Nachteile von SPR erbt GNR? Und ja, von SPR zu GNR zu DMR wird spannend ...

[mboeller]

Emerald Rapids XCC
2 dies of Intel 7, about 770mm² each!

Pic:
https://twitter.com/SkyJuice60/status/1641118330345115648?cxt=HHwWgMDSqaWbtsYtAAAA

[mocad_tom]

@CrazyIvan
Gerade dieses 30-Port bis 40-Port Mesh finde ich eigentlich ziemlich cool.
Im Sapphire Rapids-MCC läuft das auch mit recht guten Taktraten und es ist energieeffizient.

Sapphire Rapids-XCC ist ineffizienter als Sapphire Rapids-MCC, weil man die Kommunikation durch die EMIB-Brücken durchschleppen muss (das verbrät Energie ohne großartigen Gegenwert).

Der Gewinner des aktuellen Rennens ist mMn nVidia, weil sie konsequent die vergangenen Jahre darauf verwendet haben monolithische Dies zu basteln(eben mit dieser 4-Segment-Technik).

Dieser 4-Segment Ansatz ist ziemlich clever und wird sich mit einem 9-Segment-Chip nicht so einfach wiederholen lassen (ein 16-Segment-Chip würde dann wieder gehen - aber ich weiß nicht - Bauchweh).

Ich glaube der/ein Grund warum Raja gehen musste war, weil er (und vllt. Jim Keller) Intel diese Suppe eingebrockt haben.

Ich sehe im Instinct MI300 eine Sackgasse und das scheitern von Foveros ist ein Grund warum Falcon-Shores-CPU+GPU gerade noch nicht kommt.

AMD hat Infinity-Fabrics auch ausgeritten bis zum Ende. Aktuell verbrennt die Kommunikation durch das Package hindurch ganz schön Energie.
Der 3D-Cache ist nett, aber er sollte unten drunter und nicht oben drauf.
Das sind gerade technische Schulden bei AMD.

Falcon-Shore-CPU+GPU hat man sterben lassen, weil es wichtiger ist starke Interconnects/Close-Coupled-Interconnects zwischen den GPUs zu haben und starke Interconnects zwischen den CPUs (ccNUMA).

Die Kommunikation zwischen CPU und GPU ist ziemlich schön gekapselt/formalisiert und kann fast schon "schmal ausfallen" (siehe die Vorträge von nVidia zu Hopper+Grace).

Ich denke zwar, dass es Mehrwert geben kann, wenn man CPU+GPU stärker zusammenverbandelt, aber derzeit ist das die Schnittstelle, die am stiefmütterlichsten behandelt wird.

@mboeller
Der totale Wahnsinn oder?
auf dem Emerald Rapids-Die hat man fast genau so viele Kerne wie auf dem Sapphire-Rapids-MCC-Die (34 Kerne bei SPR-MCC, 32 Kerne bei Emerald)

Und trotzdem ist auf Emerald insgesamt 160MB-L3Cache drauf und auf SPR-MCC ist nur insgesamt 63,75MB-L3-Cache drauf.
Bei beinahe gleicher Die-Größe.
Wie können die da so viel Cache draufpacken?

Die beiden Emerald-Die via EMIB-zusammengepappt sind so groß und "parken so blöd", da kann man daneben keinen HBM mehr hinpacken(das geht schon von der Stellfläche her nicht mehr).

Ganz ehrlich - Emerald wird ein ähnlich schöner Effizienz-Sprung wie von Alder-Lake auf Raptor Lake.

[basix]

Wieso soll MI300 eine Sackgasse sein? Hier hat man doch gerade das von dir verlangte gemacht, nämlich SRAM unter den Compute Chiplets gestacked. Und via 2.5D Stacking auf einem Interposer sind dann die Chiplet to Chiplet Links so Energieeffizient wie es halt geht. Und wenn das ganze dann ~150W für PCIe, SRAM + 6TB/s HBM Bandbreite verbrät, ist das jetzt kein Dealbreaker. Das Ding wird für 700-800W gebaut werden, womit das meiste Energiebudget für die Compute Chiplets übrig bleibt.

Was bei EPYC insgesamt viel Energie verbrennt sind IFOP-Links, DDR5-PHY und PCIe 5.0 PHY. Das ist sozusagen die "Grundlast" von EPYC. Deswegen geht man von 280W auf 400W hoch, das prozentual mehr für die Cores übrig bleibt. Das sieht bei Intel aber nicht viel anders aus. DDR5 und PCIe 5.0 haben sie auch und ihr Mesh-Netzwerk säuft ebenfalls ganz gut.

[CrazyIvan]

Welche Nachteile von SPR erbt GNR? Und ja, von SPR zu GNR zu DMR wird spannend ...
Im Grunde genommen stehen alle relevanten Aspekte hier:
https://chipsandcheese.com/2023/03/12/a-peek-at-sapphire-rapids/

Der einzige Fortschritt bei GNR gegenüber SPR ist IMHO, dass man wenigstens nur ein compute tile auflegen muss - ist doch so, oder?

Einige Punkte, auf die der C'n'C-Artikel möglicherweise nicht so deutlich eingeht:

Auch GNR ist im Gegensatz zu EPYC seit Rome immer noch nicht flexibel skalierbar.
Man benötigt 2 Die-Typen für gerade mal 4 tiles. AMD hat ebenfalls 2 Die-Typen für bis zu 13 Die-SKUs.
400mm2 Dies bei Intel vs. 80mm2 Dies bei AMD sind gerade im Vergleich zu Milan deutlich teurer zu fertigen. Hinzu kommt noch 4x EMIB - bei GNR ebenfalls. Mit Sicherheit deutlich teurer als IFoP.
Diesen ganzen Aufwand betreibt man für ein sehr breites D2D Interface und einen großen, unified L3. Nur leider kommt davon in der Praxis so gut wie nichts an - völlig falscher Fokus.
Noch nicht einmal bei der Effizienz kann man trotz EMIB punkten, weil trotz deutlich besserer pJ/bit einfach viel mehr Daten transferiert werden müssen.

Technisch ist SPR und sicher auch GNR wahnsinnig interessant - nur leider ohne relevanten Praxisnutzen - da ist AMDs Ansatz schlicht und ergreifend überlegen.

[CrazyIvan]

@mocad_tom
Viele der von Dir angeführten Punkte finde ich eigenartig.
Was soll an Infinity Links ausgeritten sein? Das geht gerade erst los, ist deutlich günstiger zu fertigen als EMIB, hat nahezu die gleiche Energieeffizienz und nahezu die gleiche Dichte (Bandbreite pro mm Beachfront). Aus Kostensicht ist es logischerweise auch jedem sillikonbasierten Interposer überlegen, bei kaum schlechteren Charakteristika.
3D-Cache ist genial für cachesensible Workloads. Ohne den ganzen Ziehauf von Intel betreiben zu müssen, hat man bei überschaubaren Mehrkosten ein deutliches Upgrade im Angebot.
Du bist Fan monolithischer Dies, okay, verstanden. Aber das Reticle Limit ist Realität und es sinkt mit High NA von ca. 800mm2 auf die Hälfte. Intel ist am oberen Ende bzgl. der Fläche - und das weißt Du ja auch.
Und dass Deine kolportierte Segmentierung dem Abhilfe schafft, soll sich erst einmal zeigen. Ist das das, was man gemeinhin als Die-Stitching bezeichnet?

MI300 ist für sehr spezifische Workloads konzipiert, bei denen die breite Kommunikation zwischen CPU und GPU und vor allem der gemeinsame RAM eine signifikante Rolle spielt - und genau da wird er vermutlich glänzen.
In jedem Fall ist es das technisch spannendste Produkt des Jahres - vor allem auch, weil immer noch nicht klar ist, welchen Interconnect man wohl an welcher Stelle verwenden wird. Aber selbst die genaue Implementierung der 24 Zen4(c?) Kerne ist noch eine Unbekannte.

[mocad_tom]

ccNUMA-Systeme macht man, um ohne groß überlegen zu müssen ein schön geebnetes Spielfeld zu haben.

Das Mesh bei Intel war aufwendig - gleichzeitig kauft man sich aber eine "gutmütige" Architektur ein.

Timothy Prickett Morgan von the nextplatform hat aber an Sapphire Rapids kritisiert, dass es "overengineered" ist.

Dinge, die auch eine geschickte Programmierung lösen kann, will Intel in Hardware lösen.

Ich glaube aber, dass sich die "Extra-Meile" nun doch auszahlt.


https://www.amd.com/system/files/documents/58004-epyc-9004-tg-cloud-datacenter.pdf

https://docs.olcf.ornl.gov/systems/frontier_user_guide.html

AMD zeigt in der Doku, wie man IOD in eigene NUMA-Segmente zersägt.
Und dabei haben sie auch noch einen Schönheitsfehler eingeheimst.
Ein NUMA-Segment hat dann 3 Memory-Channel.
Nun ist es aber so, dass Anwendungen gerne Dual oder Quad haben - ihnen geboten wird aber etwas krummes.

Für Frontier das gleiche. Die CPU im Sockel wurde NUMA-Segmentiert.
Für Linpack macht das auch wirklich Sinn - da bekomme ich einen hohen Score.
Und dann kommen komplexere Aufgaben und dann stehen diese Segmente wieder im Weg.

Bei Netflix das gleiche - die Rohleistung ist cool, aber wehe du lässt zu viel über das I/O-Die laufen.
http://nabstreamingsummit.com/wp-content/uploads/2022/05/2022-Streaming-Summit-Netflix.pdf

Bei drei Dokumente lässt sich jetzt dann ein Muster erkennen?

Und warum sagt nvidia:
Wir nehmen Sapphire Rapids
https://www.golem.de/news/nvidia-dgx-h100-ich-habe-sapphire-rapids-als-cpu-gewaehlt-2206-165934.html

Das hängt genau damit zusammen -> die Extra-Meile beim Mesh.

Man kann mit SPR ein 2-Sockel-System bauen und das liefert auch ordentlich ab - und das liefert nach aussen auch genug PCIe und das ist auch als ccNUMA konfiguriert.

Wenn bei AMD alles so toll wäre, dann würde man nicht solche Vorgaben bei der Konfiguration machen.

[amdfanuwe]

AMD zeigt in der Doku, wie man IOD in eigene NUMA-Segmente zersägt.
Und dabei haben sie auch noch einen Schönheitsfehler eingeheimst.
Ein NUMA-Segment hat dann 3 Memory-Channel.
Nun ist es aber so, dass Anwendungen gerne Dual oder Quad haben - ihnen geboten wird aber etwas krummes.


Verstehe dein Problem nicht.
Bis vor ein paar Jahren gab es 28 Core pro CPU bei Intel.
In einem 8 Socket System gab es ebenso viel NUMA- Segmente wie man sie jetzt bei AMD in einem Dual-Socket System einstellen kann.
Müssen sich die Programmierer nicht umgewöhnen.

Zudem interessieren Anwendungen nicht die Anzahl der MC.
Ist Sache des MC das Interleaving zu handeln und die Daten schnell genug bereit zu stellen.

[CrazyIvan]

@mocad_tom
Dein Punkt mit dem MC ist wohl eher nur ein Problem für Menschen mit einem Faible für 2er Potenzen ;)

Wie amdfanuwe schon schrieb, ist die Anzahl Kerne pro Sockel neben der alles überschattenden Kennzahl Leistung/w/Platz deutlich auf AMDs Seite.

Versteht mich nicht falsch - aus mir spricht auch etwas Enttäuschung:
2020/21 hatte ich angenommen, dass SPR für Intel der große Rebound im DC werden würde. Allein schon den EMIB-Einsatz hatte ich im Vergleich zu IFoP als großen technischen Vorteil gedeutet.
Nun bin ich aber Laie und simuliere das nicht bis zum Erbrechen in Laboren durch. Und SPR, ebenso wie auch GNR und SRF, werden workloadspezifisch auch deutliche Vorteile besitzen.

Aber eigentlich ist Intel's Anspruch, den Löwenanteil des DC-TAM zu bedienen - und da sehe ich sie mit den genannten Produkten nicht. Das wird Intel noch auf Jahre bitter mit Marktanteilsverlusten bezahlen.
Vielleicht schlagen ja Intel4, Intel3, 20A und 18A ein wie die Bombe - aber auch dazu fehlt mir der Glaube.

Ich hoffe nur, dass man Pat Gelsinger nicht voreilig vor die Tür setzt - einen besseren für den Job wird man jedenfalls nicht finden.

[konkretor]

Diese NUMA Segmentierung bei SRP ist ziemlich nervig insbesondere beim Xeon Max mit XCC.


Gerade in der Virtualisierung bricht dir halt wirklich die Performance weg sollte die VM nicht in den NUMA Node passen. Jetzt noch die NUMA kleiner machen, macht einem nur mehr Ärger. Mit KVM hab ich noch keine gute Lösung gefunden, wenn zwar rechnerisch genug RAM/CPU Leistung da ist aber die VM von der Größe so sind das sie eben nicht in NUMA reinpassen.

Die ganzen Beschleuniger helfen dir vielleicht bei 5G etc aber wenn du reine Rechenleistung für Compiler brauchst hilft nur IPC.

So wie ich das mitbekommen habe will Intel eigentlich weg von 8 Sockel Systemen und selbst 4 Sockel Systeme sind zwar weiter geplant aber nicht mehr so gewollt.

Hauptaugenmerk gilt 2 Sockel Systeme.

[CrazyIvan]

@konkretor
Dachte, dass man bei SPR die Wahl zwischen UMA und NUMA hat, ist gerade der Gag? Oder wird bei ersterem und krummen VMs nur alles noch viel schlimmer?

[Skysnake]

Wenn deine Anwendung egal ob VM oder sonst was, die viel Memory Bandbreite und wenig Latenz braucht über die Grenze einer NUMA Domain geht kostet das immer Leistung. In dem Fall ist es sinnigerweise die Numa Domain größer zu machen und etwas von der Maximalperformance zu verlieren.

Tripple Channel hat im Vergleich zu Quad aber nur dahingehend einen Nachteil weniger maximale Bandreite in der NUMA Domain zu haben.

Mit nicht zweierpotenzen hat man aber den Vorteil das man bei großen steifen eher kein Cache trashing verursacht und man auch weniger Gefahr läuft nur einen Memory Channel zu benutzen.

[konkretor]

Wenn du 28/24 Kerne auf einem Sockel hast und deine VM 32 Kerne dann geht es schon nicht mehr auf.

Die VM werden immer dicker und größer. Dann mußt dich entscheiden entweder weniger Auslastung was mit mehr Hardware erschlagen werden kann. Das kostet dich aber Geld und die Verwaltung der Server. Oder weniger Performance für die VM die nicht in die NUMA Domain passen.


Ja UMA geht auch noch siehe hier Abschnitt
Uniform Memory Access Domain


https://www.intel.com/content/www/us/en/developer/articles/technical/fourth-generation-xeon-scalable-family-overview.html

Mal sehen wie dort NUMA aussehen wird bei Emerald

[CrazyIvan]

Ich glaube, wir schreiben ein wenig an einander vorbei ;)
Ich meine die Möglichkeit SPR als kleinere Cluster zu konfigurieren, so wie das C'n'C getestet hat (Abschnitt Latency with different configurations): https://chipsandcheese.com/2023/03/12/a-peek-at-sapphire-rapids/

Nach meinem Verständnis bedeutet das, dass jedes Tile nur seinen lokalen L3 verwendet, was dessen Latenz deutlich senkt (weil eben nicht mehr der kleinste gemeinsame Nenner gilt).
Meine Frage war, ob das für Deinen Use Case womöglich besser wäre, oder ob dann VMs mit max. 14 15 Kernen wiederum zu klein wären?

/edit:
Und ja, das dürfte bei EMR und fortfolgenden Dank nur 2 Tiles vorteilhafter sein - aber dann ist man halt direkt im Reticle Limit bei High-NA-EUV.

/edit2:
Habe jetzt den von Dir verlinkten Intel Artikel gelesen. Was ich meine wird dort als Sub-NUMA-Clustering bezeichnet. Auf VMs im speziellen wird nicht eingegangen.

[mocad_tom]

Leider macht sich keiner mehr wirklich die Arbeit und bohrt da rein - Clamchowder / Chipsandcheese analysiert ganz gut.

Aber wirklich herausragend war Andrei Frumusanu

https://www.anandtech.com/show/16594/intel-3rd-gen-xeon-scalable-review/4

Hier mal eine Stunde über nur dieser Seite drüberbrüten - es lohnt sich wirklich.

Man sieht immer wieder neues.

Diesen Test hätte ich wirklich gerne mit Sapphire Rapids und Genoa gesehen.
Leider macht Frumusanu das nicht mehr bei anandtech.

[CrazyIvan]

Ja, leider macht Andrei das nicht nur bei AT nicht mehr, sondern so ganz gar nicht mehr. Ist IIRC wohl auch in der Halbleiterbranche untergekommen - bei irgendeiner ARM oder RISC-V Bude (war es gar QC)?

[y33H@]

Nuvia.

[CrazyIvan]

Ahja, AKA QC ;)
Kann mir gut vorstellen, dass er da sowas wie Performance/Efficiency-Engineer sein könnte. Damit hatte er sich ja bei AT vor allem im Rahmen der Mobile-SoC-Reviews hervorgetan. Er war auch die Haupt-Inspiration für mein eigenes kleines Hobby-Projekt.

Vielleicht lässt er uns ja auch selbst ein wenig teilhaben - treibt sich ja von Zeit zu Zeit ebenfalls hier rum.

[dildo4u]

Dual Chip Layout von Emerald Rapids

https://wccftech.com/intel-5th-gen-xeon-emerald-rapids-features-dual-chiplet-layout-more-cache-more-expensive-than-sapphire-rapids/

[memory_stick]

wiso nicht direkt die originalquelle zitieren? Die Die/Package analyse ist auch frei verfügbar, nur der Cost breakdown ist hinter der paywall.
https://open.substack.com/pub/semianalysis/p/intel-emerald-rapids-backtracks-on?utm_source=direct&utm_campaign=post&utm_medium=web

[00-Schneider]

Sind das nur Server-CPUs oder kommt da mit viel Cache ala´ X3D auch was für den Gamer in der Richtung von Intel?

[basix]

Es kommt bald eine Single Die Variante als HEDT CPU. Oder ist das ein Single Die Sapphire Rapids Ableger und nicht Emerald Rapids?

[Locuza]

Falls ein EMR MCC-Ableger kommt, sollte dieser sehr nahe am aktuellen SPR-MCC liegen.
Der 5 MB LLC scheint nämlich XCC exklusiv zu sein:
https://twitter.com/SquashBionic/status/1641131921857220608

[KarlKastor]

Macht nicht viel Sinn, nen weiteren Die zu bringen, der dann kaum anders aussieht.
Wie sollte denn ein MCC im Vergleich zu einem HCC Die aussehen?

Bei SPR sah das noch anders aus.


Edit: Ok, zumindest IO wäre dann im Vergleich zu SPR-MCC etwas mager.

[mocad_tom]

Neben Meteor Lake wurde heute auch Emerald Rapids gestartet

https://www.servethehome.com/5th-gen-intel-xeon-scalable-emerald-rapids-resets-servers-by-intel/5/


Phoronix auch schon tests

https://www.phoronix.com/review/intel-xeon-platinum-8592/2

[dildo4u]

KQYort4XIfI

[mocad_tom]

Elon Musk hat ja diesen xAI Training Cluster mit 100.000 H100 Beschleuniger hingestellt.

Da wurden halt auch 25.000 Emerald Rapids reinverkauft.

[mocad_tom]

https://x.com/PGelsinger/status/1861895581523661098

Am 27.11. schreibt Pat Gelsinger

And here’s a pic from my visit! Thanks for the time!

Er weiß da schon, was am 2. Dezember verkündet wird.

[y33H@]

Er bedankt sich beim xAI für deren Zeit ...