Wie verteilt man 1000 Gigabit und mehr?

[=Floi=]

Hi
Ich hätte mal eine frage zur technik hinter twitch, YT und den großen streaming anbietern. Wie verteilt man denn bitteschön 1000gbit und mehr live?

Die großen streamer auf twitch haben teilweise 70000 zuschauer und bei YT fallen bei manchen channels die leute auch über die videos her. Nehme ich dann 10-20mbit, so komme ich auf absurd hohe bandbreiten. Lohnt es sich für twitch da wichlich 100 sever für einen streamer stehen zu haben?!

Was kann man mit einem server realistisch übertragen? 40gbit über 4x10gbit karten? Gibt es da spezielle technik?
Machen das die großen überhaupt selbst oder ist da noch ein anderer anbieter dazwischen?

[Maorga]

Da die Information dahinter gleich ist, muss der Twitch Server nur ein Paket herausschicken, um tausende User zu erreichen, welche alle das Gleiche sehen.

[Simon Wright]

Stichwort ist Multicast wenn ich nicht irre

https://de.wikipedia.org/wiki/Multicast

EDIT
Bei YT und den On-Demand Anbietern natürlich nicht. Das ist schon aufwändiger, vor allem bei den Datenmengen.

https://de.wikipedia.org/wiki/Content_Delivery_Network

[Corny]

Zu Netflix gab es kürzlich Informationen, die liefern 400Gbit/s je Server aus: https://www.hardwareluxx.de/index.php/news/hardware/prozessoren/57128-netflix-liefert-400-gbit-s-pro-server-aus-amd-epyc-ist-ampere-und-intel-ueberlegen.html
Hier der direkte Link zur Präsentation: https://people.freebsd.org/~gallatin/talks/euro2021.pdf

Netflix verteilt zwar kein Live-Video, aber vielleicht beantwortet das bereits einen Teil deiner Fragen.

[Joe]

Die haben afaik auch Unterverteiler.
So kann sich z.B. die Telekom ne Kiste in den Knotenpunkt stellen auf der eine spezielle Netflix Serverlösung läuft.

Wenn jetzt ein Telekom Kunde Netflix glotzt kommt das nicht aus Amazon AWS Rechenzentrum sondern direkt von der Festplatte aus dem Telekom Speicher.

Win/Win für Netflix und die Telekom.

[Geldmann3]

Die haben im Prinzip Server auf der ganzen Welt, fast jedem Land stehen, die sich alle miteinander synchronisieren. Nehme an, anhand von Statistiken cachen sie Videos, welche in einem Land / auf einem Kontinent häufig angeschaut werden auf Server nahe diesen Orten. Innerhalb eines Rechenzentrums werden dann dynamisch weitere Instanzen von Servern hochgefahren, welche die entsprechenden Videos bereitstellen können. Je höher die Wahrscheinlichkeit ist, dass ein Video an einem Ort geschaut wird, desto näher wird es beim Nutzer gespeichert.

Netflix beispielsweise soll selten sogar in großen Häusern selbst Server in den Kellern stehen haben, welche die Inhalte cachen, denn sicher möchte man versuchen, Daten immer so lokal wie möglich zu halten, um Bandbreite zu sparen.

Im Prinzip kann man es sich vorstellen, wie eine große CPU.

Dein Rechner hat einen Cache (Register), eventuell steht in Deinem Haus / Deinem Stadtteil ein Cache (Level 1 Cache), das lokale Rechenzentrum ist ein Cache (Level 2 Cache), ein weiteres großes Rechenzentrum im Land ist ein Cache (Level 3 Cache) und irgendwo auf dem Kontinent steht dann eventuell noch eine Art ,,Hauptserver".
Viele sehr selten abgerufenen Inhalte werden sicher gar nicht erst in die Caches geladen.

Netflix verwendet z.b. AWS mit seinen Containern, Servern, Rechenzentren, Availibilty Zones und Regionen.
Ähnlich wird auch Google es mit eigenen Servern machen.

Die Hardware der einzelnen Server ist durchaus sehr beeindruckend, jedoch nicht der Schlüssel zur Performance.
Wichtig ist eher, dass alles skalierbar ist.
Sodass jederzeit dynamisch an unterschiedlichen Orten weitere Instanzen hoch und runtergefahren werden können.

Eventuell wird ein Video daher mal von nur einem Server an die unterschiedlichen Nutzer ausgeliefert, mal von 1000.

[Corny]

Netflix verwendet z.b. AWS mit seinen Containern, Servern, Rechenzentren, Availibilty Zones und Regionen.
Ähnlich wird auch Google es mit eigenen Servern machen.

Die Hardware der einzelnen Server ist durchaus sehr beeindruckend, jedoch nicht der Schlüssel zur Performance.
Wichtig ist eher, dass alles skalierbar ist.
Sodass jederzeit dynamisch an unterschiedlichen Orten weitere Instanzen hoch und runtergefahren werden können.



Schau dir mal den Link zur Präsentation an, den ich gepostet habe. Dei sind viel näher an der Hardware als du denkst.

Dachte auch erst, das läuft über die üblichen Hyperscaler, aber Netflix optimiert Hard- und Software bis ins allerletzte Detail - das geht nicht mal eben, wenn man (virtuelle) Server bei AWS anmietet.

[Geldmann3]

Wow, die haben ja echt extrem optimiert.

[PatkIllA]

Gibt es eigentlich mehr zur Effizienz von Multisockelsystem?
Den Folien nach vermeidet Netflix vermeidet es tunlichst irgendwas zwischen den NUMA Nodes ausgetauscht werden muss. Bei Netflix geht es ja nicht nur um RAM sondern auch im SSDs und Netzwerk, die ja mittlerweile auch am Prozessor hängen.

Mir leuchtet noch nicht ganz ein, warum man da nicht einfach ein paar mehr Einzelsockelsystem nimmt.
Die werden doch bestimmt eine Infrastruktur haben wo man bei Bedarf eine weiter Kiste einbinden kann.

Mir fällt nur Platzbedarf ein und ein paar Workloads, die sehr viel Rechenpower und Synchronisation untereinander erfordern.

[Simon Moon]

Was kann man mit einem server realistisch übertragen? 40gbit über 4x10gbit karten? Gibt es da spezielle technik?
Machen das die großen überhaupt selbst oder ist da noch ein anderer anbieter dazwischen?

Ein Server mit 4x 10Gb bringt dir da ja nichts - auch wenn du damit den Stream auf einer Leitung 1000x parallel durchjagen kannst, du kannst mit dem Ethernetkabel trotzdem nur ein physisches Geraet ansprechen und musst den Stream irgendwo aufteilen damit er zum Zuschauer ans Modem kommt. Da kannst du den Stream auch genauso gut einmal durchjagen und erst dann aufteilen, wenn die Route sich verzweigt. Das kann dann auch ein Switch, ist der sendet einfach dieselben Daten auf verschiedenen Ports weiter. Irgendwo wos dann passt wird der Stream skaliert und gecachet und der Endpunkt packt dann noch TLS oben drueber und sendets zu dir. Vereinfacht gesagt.

Netflix ist dann natuerlich eine andere Sache als ein Livestream. Dort streamt jeder Zuschauer was anderes und zu unterschiedlichen Zeiten. Entsprechend willst du natuerlich, dass ein Server so viel wie moeglich ausliefern kann - 4x 10Gbit ist da dann Kleinkram fuer Heimanwender. Hier werden richtige Brocken gezeigt:
https://www.youtube.com/c/ServeTheHomeVideo/videos
Z.b. sowas wie der Dell S5232F-ON (https://www.youtube.com/watch?v=l79UkhT9OVI) mit 32x 100GbE.



Stichwort ist Multicast wenn ich nicht irre

https://de.wikipedia.org/wiki/Multicast

EDIT
Bei YT und den On-Demand Anbietern natürlich nicht. Das ist schon aufwändiger, vor allem bei den Datenmengen.

https://de.wikipedia.org/wiki/Content_Delivery_Network

Multicast ist schon ein gutes Stichwort, auch CDNs arbeiten ja mit IP Paketen. Mit Multicast wird dabei der Livestream verteilt ohne die Daten entweder fuer jeden Zuschauer extra senden zu muessen (Anycast oder Unicast) oder das Netwerk zu verstopfen indem man es einfach wahllos ueberallhin sendet. Darueber berechnen dann Protokolle wie BGP / OSPF was nun die schnellste Route zum Ziel ist bzw. speichert diese Routen auch.

[Birdman]

Dachte das sei hier vielleicht noch interessant für den einen oder andern.
Wir haben diese Woche einen zweiten Netflix Cache bekommen (stellen den in einen zweiten PoP von uns) und die Specs zu dem sind wie folgt:

https://dexter.birdman.ch/screens/misc/nixflix.png


Ausgelegt ist dieser Server für eine Bandbreite von ~36Gbps
Ich nehme an es gibt von Netflix auch noch grössere (und kleinere) Systeme, welche Sie je nach Bedarf und Forecast bei den ISPs reinstellen. (welche nach einem solchen Cache nachfragen)

[lumines]

Die haben afaik auch Unterverteiler.
So kann sich z.B. die Telekom ne Kiste in den Knotenpunkt stellen auf der eine spezielle Netflix Serverlösung läuft.

Wenn jetzt ein Telekom Kunde Netflix glotzt kommt das nicht aus Amazon AWS Rechenzentrum sondern direkt von der Festplatte aus dem Telekom Speicher.

Win/Win für Netflix und die Telekom.

Das macht übrigens nicht nur Netflix so. Bei einem Internetprovider hatte ich einmal eine niedrigere Latenz zu diversen Google-Diensten als zu den DNS-Resolvern des selben Providers. Nach der Latenz zu urteilen (ping von meinem Rechner zu den Diensten: ca. 2ms) müssen die Server wirklich extrem providernah aufgestellt gewesen sein. Sogar für eine direkt beim Provider betriebene Appliance fand ich das schon beeindruckend schnell. Was auch immer dort betrieben / gecachet wurde, war natürlich unglaublich schnell und zuverlässig.

Aus Providersicht ist das aber vermutlich nicht immer ein klarer Win/Win. Jeder Provider, der zum jeweiligen Dienst konkurrierende Dienste anbietet, hat vermutlich weniger Interesse die Qualität der Konkurrenz zu verbessern.