Die Zukunft des Verkehrs - Autonomes Fahren - der Diskussionsthread

[Milchkanne]

Mythos;13328225']Bei Level 5 darf die Maschine nicht nur sagen "Nö, mach ich nicht", sondern sie *muss* sogar in der Lage sein, zu erkennen dass eine sichere Fahrt nicht mehr möglich ist.

Und wo wird die Grenze gezogen? Darf ich mich LV5 zertifizieren, wenn das Auto nicht mehr fährt bei:

- Glatteis
- Nebel
- starker Neuschnee
- starker Regen
- leichter Regen + Dunkelheit
- Waldbrand (https://www.youtube.com/watch?v=AfsKw9fxMLA) nebenan

Es muss mit fast all diesen Situationen wenigstens gut klarkommen, so gut ist die Wettervorhersage ja doch nicht. Es muss ja auch sonst im Vorfeld wissen, wo evtl. schon geräumt ist. Gerade auf der Autobahn kann man ja nicht mal eben rechts ranfahren.

Es sei denn es sagt wieder relativ weitreichend "Nö, das könnte evtl. schiefgehen". Kann es dann noch "in allen Situationen (https://www.sae.org/blog/sae-j3016-update)" fahren?

[MasterElwood]

Und wo wird die Grenze gezogen? Darf ich mich LV5 zertifizieren, wenn das Auto nicht mehr fährt bei:

- Glatteis
- Nebel
- starker Neuschnee
- starker Regen
- leichter Regen + Dunkelheit
- Waldbrand (https://www.youtube.com/watch?v=AfsKw9fxMLA) nebenan

Es muss mit fast all diesen Situationen wenigstens gut klarkommen, so gut ist die Wettervorhersage ja doch nicht. Es muss ja auch sonst im Vorfeld wissen, wo evtl. schon geräumt ist. Gerade auf der Autobahn kann man ja nicht mal eben rechts ranfahren.

Es sei denn es sagt wieder relativ weitreichend "Nö, das könnte evtl. schiefgehen". Kann es dann noch "in allen Situationen (https://www.sae.org/blog/sae-j3016-update)" fahren?

Level 5 muss nur so fahren können, wie ein Mensch auch. Wenns Wetter so schlecht ist dass Menschen auf der Autobahn nur 50 fahren können - dann muss L5 auch nicht besser fahren. Wenn so viel Nebel ist dass man Schrittgeschwindigkeit fahren muss - wird auch L5 nur Schrittgeschwindigkeit fahren. Und wenn garnix geht im Moment - wird auch L5 warten bis es wieder sicher ist. Ganz einfach.

[Milchkanne]

Level 5 muss nur so fahren können, wie ein Mensch auch. Wenns Wetter so schlecht ist dass Menschen auf der Autobahn nur 50 fahren können - dann muss L5 auch nicht besser fahren. Wenn so viel Nebel ist dass man Schrittgeschwindigkeit fahren muss - wird auch L5 nur Schrittgeschwindigkeit fahren. Und wenn garnix geht im Moment - wird auch L5 warten bis es wieder sicher ist. Ganz einfach.

Jetzt sind Menschen dabei sehr unterschiedlich. Muddi traut sich bei Schnee nie raus. Ich nehm dann immer gerne das Auto mit Heckantrieb, weil das mehr Spaß macht. Wer ist da der Benchmark?

[MasterElwood]

Jetzt sind Menschen dabei sehr unterschiedlich. Muddi traut sich bei Schnee nie raus. Ich nehm dann immer gerne das Auto mit Heckantrieb, weil das mehr Spaß macht. Wer ist da der Benchmark?

Sollte für den Gesetzgeber eigentlich leicht zu bestimmen sein was "sicher" ist anhand von Sachen wie Sichtweite, Bremsweg usw.

[Joe]

Ihr denkt viel zu kompliziert. Das Auto fährt einfach nicht, wenn die Chance mit den Umweltbedingungen nicht klar zu kommen zu groß ist.

Das Auto muss das ja nicht mal selbst entscheiden.
Wie schwer ist es wohl für einen Flottenbetreiber einen Geo Fence zu ziehen und den Dienst auszusetzen wenn da überschwemmt ist oder Schnee Chaos?

Es wird genau wie beim Menschen auch immer eine Grenze geben in der das Fahrzeug sicher navigieren kann. Ich bin sogar relativ zuversichtlich, dass in der Praxis die autonomen Autos in wenigen Jahren nach Massenadaption den Menschen in dem Punkt überholen.
Der Unterschied ist nur: Menschen fahren auch, wenn Sie es nicht tun sollen weil die Umweltbedingungen Sie überfordern. Wenn alle rational handeln würden hätten wir nicht bei jedem Schneesturm hunderte Autos im Graben oder in Blechhaufen zusammen gepfercht. Da ist es doch völlig offensichtlich, dass jemand seine eigenen Fahrkünste wieder falsch eingeschätzt hat.

[[MK2]Mythos]

Von Autopilot zu FSD - ein Bericht der das ganze nochmal schön zusammenfasst, die Ereignisse dokumentiert und mit ehemaligen Tesla Ingenieuren spricht.

l_GwECeCnV4

[Joe]

Wayme vs FSD

Im beschleunigten Video sieht man finde ich ganz gut wie viel Smoother FSD ist wenn man aufs Lenkrad schaut. Vor 2 Jahren sah FSD noch sehr ähnlich wie Waymo aus.

1dtCcyXFUwM

[Milchkanne]

Mythos;13329861']Von Autopilot zu FSD - ein Bericht der das ganze nochmal schön zusammenfasst, die Ereignisse dokumentiert und mit ehemaligen Tesla Ingenieuren spricht.

https://youtu.be/l_GwECeCnV4

Das erste mal seit langem, dass ich mal wieder eine Stunde eine Doku geschaut habe. Da wundert mich weniger, dass Thunderf00t mit seinem Format so beliebt ist. Die erste halbe Stunde denkt man, die bauschen den Unfall von 2016 wirklich eine Stunde lang auf. Dann kommen wenigstens noch ein paar weitere Beispiele.

Die Kritik an unlauterer Werbung und fehlender Fahrerüberwachung finde ich gerechtfertigt. Aber die Fahrerüberwachung wird doch inzwischen per Innenraumkamera gemacht oder? Das finde ich einen wesentlichen Vortschritt und fehlt mir zu einer neutralen Berichterstattung. Wenn ich danach suche, ist das Feature jetzt ~2 Jahre aktiv. Das hätte alle gezeigten Unfälle vermieden und es bleibt "nur" noch die unlautere Werbung, die ich schlimm finde.

Klar bringt das die Toten nicht wieder, aber Innraum-Fahrerüberwachung halte ich für das wichtigste Feature, wenn man Laien ein "vollautonomes" L2 System geben will.

[Trap]

Das finde ich einen wesentlichen Vortschritt und fehlt mir zu einer neutralen Berichterstattung.
Hattest du an irgendeiner Stelle des Bericht den Eindruck, dass eine neutrale Berichterstattung das Ziel ist? Wenn ja, wo?

[Trap]

Waymo, Cruise und Tesla im direkten Vergleich entlang einer Fahrstrecke in San Francisco
6xUmZXoqaDQ

[Digidi]

Oh man Danke für das Video aber da sind kaum menschen als Fußgänger unterwegs. Der Test ist für die Tonne.

[Trap]

Hast du auf deinen Autofahrten mit mehr Fußgängern zu tun als im Video?

[Digidi]

Du warst wohl noch nie in einer großen Grostadt oder bist da durchgefahren. Das Szenario im Video ist totaler Bullshit.

[Godmode]

Es gibt genug FSD-Beta Videos wo das Auto mit vielen Fußgängern konfrontiert ist.

[ChaosTM]

Wayme vs FSD

Im beschleunigten Video sieht man finde ich ganz gut wie viel Smoother FSD ist wenn man aufs Lenkrad schaut. Vor 2 Jahren sah FSD noch sehr ähnlich wie Waymo aus.

https://youtu.be/1dtCcyXFUwM




solche Videos sind lieb, aber alles über Level 3 ist noch sehr weit entfernt

[Trap]

Wieviel weniger Fahrer als jetzt braucht das Waymo Auto um mehr als Level 3 zu werden?

[ChaosTM]

again..

(Fully) Autonomes Fahren (Level 5) ist immer noch ein Jahrzehnt oder einen AI Sprung entfernt

[Joe]

Das sollte ordentlich impact haben

https://pbs.twimg.com/media/FzKxoPVacAEA_wZ?format=jpg&name=large

[Trap]

Ein FSD Beta Video mit vielen Fußgänger:
https://twitter.com/strengthPlan/status/1671380921960873985 (0.25x Playback für Echtzeit)

In solchen Situationen ist es noch nicht perfekt, aber es gibt schon viele Momente in denen sieht das tatsächlich brauchbar bis gut aus. Die Version war zum Video-Zeitpunkt erst 1 Tag raus, da ist cherry-picking nicht unendlich möglich...

[Joe]

https://pbs.twimg.com/media/FzQHZDsWIAUk55D?format=png&name=large

[AtTheDriveIn]

Persönlich denke ich seit längerer Zeit, dass FSD ein Luftschloss ist. Es wird einen Reifegrad erreichen, wo man in kontrollierten Umgebungen wie Autobahn oder Landstraße, entspannt die Hände vom Lenkrad nehmen kann. Vielleicht erlaubt es dann, mit anderen FSD Fahrzeugen "virtuelle" Züge zu bilden und mit 150km/h und 20cm Abstand zum Vordermann durch die Gegend zu fahren. Reaktionszeit ist für einen Computer ja kein Herausforderung.

[Troyan]

Naja, dafür benötigt man auch keine zusätzlichen 7.500€ bezahlen... BMW liefert bald Level 2+ aus, wo man die Hände nicht mehr am Lenkrad haben muss.

[Trap]

Persönlich denke ich seit längerer Zeit, dass FSD ein Luftschloss ist.
Was ist deine Grundlage für diese Einschätzung? Schaust du seit langem regelmäßig FSD Beta Videos? Arbeitest du bei einem Konkurrenten? Hast du KI-Publikationen?

Ist das nur bezogen auf FSD oder allgemein auf alle Wege für autonomes Fahren?

[Godmode]

Persönlich denke ich seit längerer Zeit, dass FSD ein Luftschloss ist. Es wird einen Reifegrad erreichen, wo man in kontrollierten Umgebungen wie Autobahn oder Landstraße, entspannt die Hände vom Lenkrad nehmen kann. Vielleicht erlaubt es dann, mit anderen FSD Fahrzeugen "virtuelle" Züge zu bilden und mit 150km/h und 20cm Abstand zum Vordermann durch die Gegend zu fahren. Reaktionszeit ist für einen Computer ja kein Herausforderung.

Das was du beschreibst "kontrollierte Umgebungen" beschreibt eher was Weymo und Cruise machen. Funktioniert nur in bestimmten Bereichen, alles nur mit hochauflösenden Karten , ...

Bei der FSD-Beta kann ich die Fortschritte der letzten Monate deutlich erkennen und auch das die Geschwindigkeit, mit der Fortschritte gemacht werden ansteigt. Neuronale-Netze benötigen Daten zum Training und Tesla hat diese Daten. Welcher Autobauer sonst auf dieser Welt hat eine Flotte von ~4 Millionen Fahrzeugen auf der Straße, die alle mit Kameras ausgerüstet sind und wo die Daten auch abgegriffen werden können?

Es wird wohl niemand sagen können, wie lange das noch dauert bis FSD besser fährt als der durchschnittliche Fahrer, aber ich gehe davon aus, das es noch vor 2030 passieren wird. Der Vollausbau von Teslas DOJO wird die Entwicklung von FSD aber sicherlich nicht verlangsamen.

[Troyan]

Jeder. VW sammelt ebenfalls Daten für Level 2. nVidia simuliert im Computer. Die müssen nichtmal Millionen Autos auf der Straße haben.

Ist alles belanglos, wenn man sein System nicht zertifizieren lässt.

[Actionhank]

Schaust du seit langem regelmäßig FSD Beta Videos?
Das als Argument vorzuschlagen, kommt nur von Leuten, die die Herausforderungen des autonomen Fahrens grundlegend nicht verstanden haben.

[Godmode]

Jeder. VW sammelt ebenfalls Daten für Level 2. nVidia simuliert im Computer. Die müssen nichtmal Millionen Autos auf der Straße haben.

Ist alles belanglos, wenn man sein System nicht zertifizieren lässt.

VW, die am Anfang vom ID3 nichtmal OTA Update konnten. :freak:

Ja Tesla simuliert auch noch zusätzlich zur Flotte, das ist jetzt nichts neues. Damit werden dann spezielle Fälle für das FSD Trainingsset erstellt.

Warum sollte es Tesla nicht zertifizieren lassen, wenn es mal gut genug funktioniert?

Egal, mit den Infos die ich habe, gehe ich davon aus das Tesla die ersten sein werden mit universellem FSD und viele andere werden dass dann einfach lizenzieren. Früher oder später werden es auch andere hinbekommen, aber sicherlich nicht so schnell wie Tesla.

[ChaosTM]

Full FSD (Level 5) ist möglich, aber es würde eine Human-Like A(M)I benötigen. Das wird so schnell nicht passieren. Hoffe ich ;)
Level 4 ist das absolute Maximum was wir mit derzeitigen Mitteln erreichen können.

add.: Die Teslas die herumfahren und ihren Besitzern Geld einspielen sind leider immer noch SciFi und großartiges Marketing.
Nicht zuletzt deshalb ist Elon der reichste Lügner der Welt. :D

[Troyan]

VW, die am Anfang vom ID3 nichtmal OTA Update konnten. :freak:


Und Tesla kann nichtmal Regensensor. Und nun?

VW hat seit letztem Jahr Lenkassistenz mit Schwarmdaten, wo gesammelte Daten der Fahrzeugflotte als Unterstützung bei fehlenden Linien herangezogen wird. Wahrscheinlich sammelt jeder Hersteller heutzutage Daten über die Frontkamera.

[Godmode]

Und Tesla kann nichtmal Regensensor. Und nun?

VW hat seit letztem Jahr Lenkassistenz mit Schwarmdaten, wo gesammelte Daten der Fahrzeugflotte als Unterstützung bei fehlenden Linien herangezogen wird. Wahrscheinlich sammelt jeder Hersteller heutzutage Daten über die Frontkamera.

Tesla hat keinen Regensensor. :wink:

Wir werden es in den nächsten Jahren noch erleben, wer das Rennen gemacht macht. Ich setzte auf Tesla und würde da auch wetten eingehen.

[ChaosTM]

Wenn es wer schafft, dann Tesla - aber Level 5 wirds nicht spielen.

Sie haben noch nicht mal Level 3 zertifiziert..

[Troyan]

Tesla hat keinen Regensensor. :wink:

Wir werden es in den nächsten Jahren noch erleben, wer das Rennen gemacht macht. Ich setzte auf Tesla und würde da auch wetten eingehen.

Ja und dieser Firma glaubst du mal Level 5 zu erreichen? Die schaffen es nichtmal einen fünf Euro Regensensor vernünftig per Kamera und Computer zu ersetzen: https://youtu.be/cloEiWF7ENA?t=486

[Godmode]

Ich brauche nichts glauben, da ich mir selber ein Bild von der Entwicklung machen kann. Ich kenne die Vorteile aber auch die Schwächen des Systems sehr gut.

[Trap]

Das als Argument vorzuschlagen, kommt nur von Leuten, die die Herausforderungen des autonomen Fahrens grundlegend nicht verstanden haben.
Danke für deinen Diskussionsbeitrag, jetzt weiß ich besser worum es geht.

[MasterElwood]

Ja und dieser Firma glaubst du mal Level 5 zu erreichen? Die schaffen es nichtmal einen fünf Euro Regensensor vernünftig per Kamera und Computer zu ersetzen: https://youtu.be/cloEiWF7ENA?t=486

Hat Elon doch gesagt dass die Regenerkennung einer der wenigen Networks ist die noch nicht auf Multiview umgestellt ist und die Umstellung die Performance dramatisch verbessern wird.

Nebenbei: meine Dienst E-Klasse HAT einen Regensensor - und ich muss DAUERND nachhelfen. Das ist also bei Gott kein gelöstes Problem...

[MasterElwood]

Wenn es wer schafft, dann Tesla - aber Level 5 wirds nicht spielen.

Sie haben noch nicht mal Level 3 zertifiziert..

Sie haben L3 Zertifizierung auch nicht beantragt :facepalm:

[MasterElwood]

Full FSD (Level 5) ist möglich, aber es würde eine Human-Like A(M)I benötigen. Das wird so schnell nicht passieren. Hoffe ich ;)
Level 4 ist das absolute Maximum was wir mit derzeitigen Mitteln erreichen können.

add.: Die Teslas die herumfahren und ihren Besitzern Geld einspielen sind leider immer noch SciFi und großartiges Marketing.
Nicht zuletzt deshalb ist Elon der reichste Lügner der Welt. :D

Tun dir die Finger eigentlich nicht weh mit dem allen was du dir das raussaugst?

[Joe]

Nebenbei: meine Dienst E-Klasse HAT einen Regensensor - und ich muss DAUERND nachhelfen. Das ist also bei Gott kein gelöstes Problem...

Ich dreh bei BMW auch dauernd Rum, genau wie an der Klima. Bei VW hab ich glaub ich in 2 Jahren Leasing keinen der Beiden Knöpfe nach dem ersten Tag wieder angefasst.

Zu den gefahrenen Kilometern muss man sagen, dass die Daten aus der Simulation extrem viel weniger wert sind als echte Daten.

Tesla Nutzt die Sim im wesentlichen für:
1. Grenzfälle die so extrem selten sind, dass es nicht genug Beispiele für Training im Pool finden lassen.
2. Für das Training von komplexen Manövern mit vielen Fahrspuren oder komplizierten Vorfahrtssituationen

Die echten Fahrdaten sind deshalb so viel mehr wert weil es ein Data Flywheel ist. Wenn eine Simulation echte Daten ersetzen könnte, währe Google nicht Marktführer bei Suchmaschinen und Amazon nicht im Online Retail.
Das sind zwei Beispiele für Data Flywheels die zu uneinholbaren Technologievorsprüngen geführt haben. Vielleicht ist es bei autonomen Fahren anders. Ich würde aber nicht drauf wetten...

Bei einem noch nicht autonomen FSD wirst Du die Hände btw. auch nicht im Lenkrad haben müssen. Die Innenraumkamera überwacht das. Man darf nur nicht am Handy spielen oder ähnliches.

[[MK2]Mythos]

Ne gute Minute Clip und FSD baut zweimal richtig scheiße. Die Situation mit dem LKW hätte auch anders ablaufen können.

https://teslamag.de/news/stress-tesla-betatest-unfall-fsd-knapp-verhindert-59322

[Trap]

Mythos;13336835']Ne gute Minute Clip und FSD baut zweimal richtig scheiße. Die Situation mit dem LKW hätte auch anders ablaufen können.

Welcher Clip? Sehe ich den wegen Adblock nicht? Edit: ja, da ist ein eingebetteter Tweet, den ich nicht gesehen hab...

[Troyan]

Mythos;13336835']Ne gute Minute Clip und FSD baut zweimal richtig scheiße. Die Situation mit dem LKW hätte auch anders ablaufen können.

https://teslamag.de/news/stress-tesla-betatest-unfall-fsd-knapp-verhindert-59322

Das Stoppschild-Ding ist heftig. Das sollte auf der Karte eigentlich eingezeichnet sein...

Sieht man mal, wie gefährlich es ist, wenn das Kartenmaterial nicht auf dem aktuell Stand ist.

[BUG]

Tesla nutzt bei FSD kein Kartenmaterial!

Zu dem Stoppschild Thema gibt's auch ne gute Erklärung, aber auch darüber kann man "streiten" und unterschiedlicher Meinung sein.

Gruß
BUG

[Troyan]

Die lautet? Kamera kann nicht durch Bäume, Felsen und sonstiges Material schauen?!

Das Ding rast mit 35mph da über die Kreuzung. Das ist lebensgefährlich.

[ceed]

Tesla nutzt bei FSD kein Kartenmaterial!


Bist du sicher? Es gibt Leute die behaupten es gibt Phantombremsungen an Stellen an denen bspw. ein Jahr zuvor ne Baustelle mit Geschwindigkeitsbegrenzung war.

[BUG]

Ja, sicher (bis auf sehr wenige ausnahmen)! Aber jetzt vermischen wir wieder den "Tesla Autopilot" mit FSD und das, was wir in der EU haben und das, was in Nordamerika verfügbar ist.

Bei uns in der EU werden erkannte Tempolimits gern vom Kartenmaterial überschrieben oder auch mal komplett ignoriert. Aber bei uns gibt's es auch kein FSD, man kann es zwar "kaufen" aber es hat aktuell keinen Mehrwert und entspricht nicht dem, was in NA verfügbar ist.

Edit: Bei uns in der EU kostet FSD halt noch "7500€" (aktuell ohne Gegenwert) und in NA 15.000$ und man kann es sogar mit einer entsprechenden Risikobereitschaft nutzen.

[Trap]

Das Ding rast mit 35mph da über die Kreuzung. Das ist lebensgefährlich.
So wie jedes andere Level 2 System auch wenn man als Fahrer nicht rechtzeitig eingreift.

Und die Haltelinie an dem Stopschild ist ziemlich weit hinten: https://pbs.twimg.com/media/FzjVai5akAEwcVk?format=png&name=small - da man das im Video nicht gut sieht, sieht es dramatischer aus.

[Troyan]

So wie jedes andere Level 2 System auch wenn man als Fahrer nicht rechtzeitig eingreift.

Und die Haltelinie an dem Stopschild ist ziemlich weit hinten: https://pbs.twimg.com/media/FzjVai5akAEwcVk?format=png&name=small - da man das im Video nicht gut sieht, sieht es dramatischer aus.

Also in dem Video sieht es nicht so aus als ob das Fahrzeug eine Vollbremsung punkt genau hinlegen würde.

Und selbst wenn, alleine schon am Stoppschild hätte die Geschwindigkeit reduziert sein müssen.

Ne, das ist absolut miserabel und wäre selbst für ein Level 2 System mit Kartennutzung (wie bei VW) peinlich.

[TheCounter]

Das Ding rast mit 35mph da über die Kreuzung. Das ist lebensgefährlich.

Sowas sehe ich praktisch täglich ohne FSD. Von Autos mit menschlichen Fahrern.

[Joe]

Das Stoppschild-Ding ist heftig. Das sollte auf der Karte eigentlich eingezeichnet sein...

Nein das soll eben nicht auf der Karte eingezeichnet sein. Das Auto soll das sehen. Sich auf behinderte Meta Daten aus einer Datenbank zu stützen, die ständig immer unpräziser wird ist fast so dumm wie high definition Maps mit LIDAR.

[Trap]

Also in dem Video sieht es nicht so aus als ob das Fahrzeug eine Vollbremsung punkt genau hinlegen würde.

Und selbst wenn, alleine schon am Stoppschild hätte die Geschwindigkeit reduziert sein müssen.

Ne, das ist absolut miserabel und wäre selbst für ein Level 2 System mit Kartennutzung (wie bei VW) peinlich.
Ja, an der Kreuzung stoppt FSD nicht rechtzeitig, unter anderem weil es noch keine Vorwarnschilder kann. Wenn es 100% zuverlässig funktionieren würde, wäre es nicht mehr Beta und Level 2.

Kannst du ein Video verlinken zu einem VW der automatisch an einem Stopschild hält? Ich hab 5 Minuten versucht eins zu finden, bin aber dran gescheitert.

[Troyan]

Ja, an der Kreuzung stoppt FSD nicht rechtzeitig, unter anderem weil es noch keine Vorwarnschilder kann. Wenn es 100% zuverlässig funktionieren würde, wäre es nicht mehr Beta und Level 2.

Kannst du ein Video verlinken zu einem VW der automatisch an einem Stopschild hält? Ich hab 5 Minuten versucht eins zu finden, bin aber dran gescheitert.

VW macht kein Stoppschild mit Level 2. Aber VW verwendet Kartendaten, um in gewissen Situationen abzubremsen - z.B. Abbiegungen.

Für $15.000 und ein als "FSD" gekennzeichnetes System sollte das Erkennen eines Stoppschilds eine Kleinigkeit sein. In Amerika sind die ja an fast jeder Kreuzung vorhanden...

[[dzp]Viper]

So wie jedes andere Level 2 System auch wenn man als Fahrer nicht rechtzeitig eingreift.

Und die Haltelinie an dem Stopschild ist ziemlich weit hinten: https://pbs.twimg.com/media/FzjVai5akAEwcVk?format=png&name=small - da man das im Video nicht gut sieht, sieht es dramatischer aus.
Ich hätte gerne die FSD Ansicht vom HUD... Da würde man nämlich wirklich sehen was das Auto gesehen hat.

P.S. Liegen die im Auto? ;-)

[[dzp]Viper]

VW macht kein Stoppschild mit Level 2. Aber VW verwendet Kartendaten, um in gewissen Situationen abzubremsen - z.B. Abbiegungen.

Für $15.000 und ein als "FSD" gekennzeichnetes System sollte das Erkennen eines Stoppschilds eine Kleinigkeit sein. In Amerika sind die ja an fast jeder Kreuzung vorhanden...

Normal erkennt das System auch Stopschilder sehr sehr zuverlässig. Gibt ja zig hundert Videos wo das ohne Zwischenfälle immer funktioniert.
Wieso das jetzt genau in der Situation nicht funktioniert hat kann man aus der Kameraansicht nicht sehen. Da bräuchte es die HUD Kamera wo man sieht was das Auto wann genau sieht und ob es das Stopschild wirklich ignoriert hat oder das Fahrzeug, wieso auch immer, das Zeichen nicht erkannt hat

[Trap]

Für $15.000 und ein als "FSD" gekennzeichnetes System sollte das Erkennen eines Stoppschilds eine Kleinigkeit sein. In Amerika sind die ja an fast jeder Kreuzung vorhanden...
Man muss aktuell statistisch gesehen ziemlich lange suchen um ein mit FSD Beta nicht funktionierendes Stopschild zu finden, aber wenn man sich die Mühe macht kann man aktuell noch einige finden. Und wenn man wie Dan auf dem Beifahrersitz seit Jahren FSD Beta verbieten lassen will, wählt man natürlich eine Route über eins der Stopschilder die nicht funktionieren und eine Kameraperspektive bei der man die Stoplinie nicht sieht.

[Joe]

Gab wohl innerhalb von Stunden ein Update :lol:

70fmXRZIhlA

[[dzp]Viper]

Gab wohl innerhalb von Stunden ein Update :lol:

https://youtu.be/70fmXRZIhlA
Man sieht auf dem Video aber auch schön wie spät das Stopschild erst gesehen wird. Das war in dem anderen Video gar nicht so klar ersichtlich.
Leider kann das System die Warnungen auf der Straße selber nicht lesen. Das wäre eine tolle Sache, wenn es Schrift auf der Straße auch erkennen könnte.

In Europa/Deutschland würde schon viel eher ein Schild vor dieser Kreuzung warnen. Für so ein System ist das schon eine sehr fiese Stelle...

/edit:
Auch sieht man in dem Video, dass 35mph gar nicht so schnell sind. Durch die Optik vom anderen Video wirkte das Video viel schneller und damit dramatischer als das Zweite.

[BUG]

An der Stelle steht vermutlich auch auch ein Zeichen (sieht man so bei Sekunde 6), weleches vor dem Stoppschild ahead warnt. Es wird aber scheinbar aktuell ignoriert, in der ursprünglichen Situation stehen auch noch 2 SUVs in/an der Kreuzung und der Audi schneidet dabei auch leicht die Spur.

Gruß
BUG

[Joe]

Viper;13337407']
Leider kann das System die Warnungen auf der Straße selber nicht lesen. Das wäre eine tolle Sache, wenn es Schrift auf der Straße auch erkennen könnte.


Ich denke das ist ein Feature, dass mittelfristig kommen wird. Wenn Pfeile auf Spuren gemalt wurden, versteht FSD das ja schon. Schrift ist ein logischer nächster Schritt.

[ceed]

https://www.youtube.com/watch?v=_7RtR7Z15J4

da scheint irgendwas generell nicht zu passen an der Stelle.

[Joe]

ups...

https://pbs.twimg.com/media/Fzzb7B-aIAMDLBF?format=jpg&name=4096x4096

[Joe]

2FdHfU6sV6U

Auch interessanter Ton :up:

[Troyan]

Mercedes bringt den automatischen Spurwechsel nach Level 2(+) nach Europa: https://www.computerbase.de/2023-07/level-2-mercedes-ueberholt-automatisch-langsamere-fahrzeuge/

[Joe]

Tesla DOJO ist online und arbeitet produktiv nicht mehr im Testbetrieb.

https://i.imgur.com/Dc34Eq1.png

[[dzp]Viper]

Tesla DOJO ist online und arbeitet produktiv nicht mehr im Testbetrieb.

https://i.imgur.com/Dc34Eq1.png
Das ist?

[BUG]

DOJO ist Teslas neuer (KI-Training) Super Computer: https://en.m.wikipedia.org/wiki/Tesla_Dojo

Edit: Bislang setzte Tesla (wie der Großteil der Industrie) für diese Art von Aufgaben auf einen nVidia Cluster.

[Godmode]

Das besonderes an DOJO sind die Wafer-Scale-Chips. Also ein ganzer Wafer wird als eine Einheit in dem System Verbaut. Auf diesem Wafer sind dann mehrere Compute-Dies die miteinander mit hoher Bandbreite verbunden sind.

[Joe]

Die Density von Dojo ist heftig.
Was das Bild oben Zeigt ist etwa äquivalent zu ner Turnhalle voll NVIDIA GPUs wenn es um AI Typische Trainings workloads geht.
Allerdings kann die Energieeffizient nicht mit der Volumeneffizienz mithalten. Jeder der Schränke braucht armdicke Strom- und Wasserleitungen ;D

Ich hatte mal ne Präsentation von nem Tesla Ingenieur gesehen, der hat die Geschichte erzählt, dass das Department of Energy angerufen hat als der erste Testcluster online ging und gefragt hat ob Sie da bei Tesla noch alle Tassen im Schrank haben. ;D

[Godmode]

2,3 MW laut Wiki, was jetzt nicht wirklich viel ist. Meine Farm hatte im Peak 0,45 MW, dh. ca. 5x die Leistungsaufnahme meiner Farm.

Ich bin echt gespannt auf die Auswirkungen von DOJO auf FSD, erwarte viel.

[Joe]

Tesla wird seine Compute Power bis Ende 2024 um 100X (X nicht Prozent) steigern.
Nur ein Narr würde glauben, dass das keine gravierenden Konsequenzen für FSD haben wird.
Ich glaube nicht mal das das nötig ist um Level 4 oder 5 zu erreichen. Aber da hört der Fortschritt ja nicht auf. Auch iOS 1.0 hat für den Markt erst mal gereicht.
Außerdem dürfte dieser massive Compute eine riesige Rolle spielen, wenn es darum geht, FSD zu lokalisieren für andere Märkte. Ich denke nach USA und Kanada werden sehr schnell EU Länder (beginnend mit Deutschland) sowie China und Australien / GB folgen.

[Trap]

Das besonderes an DOJO sind die Wafer-Scale-Chips. Also ein ganzer Wafer wird als eine Einheit in dem System Verbaut. Auf diesem Wafer sind dann mehrere Compute-Dies die miteinander mit hoher Bandbreite verbunden sind.
Nö, kein Wafer-Scale. Aus Wikipedia: "The D1 chip is manufactured by the Taiwan Semiconductor Manufacturing Company (TSMC) using 7 nanometer (nm) semiconductor nodes, has 50 billion transistors and a large die size of 645 mm2 (1.0 square inch)."

Die hohe Bandbreite zwischen den Chips stimmt, aber das passiert über separate Interconnects.

[Godmode]

Ich habe das schon so verstanden. In diesem Artikel steht was von Wafer-Scale Packaging: https://www.semianalysis.com/p/the-tesla-dojo-chip-is-impressive

[Joe]

https://i.imgur.com/1aefazw.jpg

[Milchkanne]

Tesla DOJO ist online und arbeitet produktiv nicht mehr im Testbetrieb.

https://i.imgur.com/Dc34Eq1.png

Tesla beginnt Bau seines Supercomputers erst jetzt
https://www.golem.de/news/dojo-ist-spaet-dran-tesla-beginnt-bau-seines-supercomputers-erst-jetzt-2307-176042.html

Aus dem Tesla Quartalsreport (https://digitalassets.tesla.com/tesla-contents/image/upload/TSLA-Q2-2023-Update.pdf) auf den sich Golem bezieht:
https://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=84685&stc=1&d=1689931386

This month, we are taking a step towards faster and cheaper neural net training with the start of production of our Dojo training computer.

Der Report redet noch von der Zukunft. Klingt zwar nach "geht jetzt direkt los", aber ob und wie gut das jetzt gestartet ist, geht aus dem Report nicht hervor.

[Trap]

"Start of production" ist in dem Zusammenhang, dass jetzt erste produktive Dinge vom Nvidia-Cluster auf Dojo verschoben wurden.

Aber gleichzeitig ist natürlich der Supercomputer noch im Bau und es sind erst wenige Prozent vom Zielzustand in Betrieb.

[Joe]

Ist ja nicht ein Computer sondern hunderte Nodes die einen riesigen Ressourcenpool bilden.
Das Ding ist jetzt im produktiven Einsatz und wird über die nächsten 18 Monate rapide wachsen.

[Milchkanne]

Klingt mir jetzt in der präsi nicht so. Aber der Graph steht momentan bei knapp 20k "Units of A100 GPU", da ist es nicht unwahrscheinlich, dass damit auch was produktives gemacht wird.

Twittert Elon das oder wie?

[Trap]

Klingt mir jetzt in der präsi nicht so. Aber der Graph steht momentan bei knapp 20k "Units of A100 GPU", da ist es nicht unwahrscheinlich, dass damit auch was produktives gemacht wird.
Der Graph ist für alles was Tesla an compute hat, nicht nur für Dojo. Und zum jetzigen Zeitpunkt ist es sicher immer noch mehr als 80% Nvidia GPUs und weniger als 20% Dojo.

Ist auch nicht ganz neu, das war vor ein paar Wochen auf Twitter: https://twitter.com/Tesla_AI/status/1671589874686730270

[Milchkanne]

Der Graph ist für alles was Tesla an compute hat, nicht nur für Dojo. Und zum jetzigen Zeitpunkt ist es sicher immer noch mehr als 80% Nvidia GPUs und weniger als 20% Dojo.


Untertitelt mit "Internal projection of Dojo compute power". Aber ja, oben steht "Total amount of Tesla Compute". Dann bleibe ich bei der Frage: Wo steht, dass schon produktiv auf Dojo gerechnet wird?

[Joe]

https://i.imgur.com/dFTKjNd.png

https://i.imgur.com/qcYJ62t.png

[Trap]

Zur Abwechslung mal Cruise in Phoenix (wie alle Videos in Phoenix ziemlich ereignislos):
Hgq4hU3eAuk

[Joe]

4m_zo-AMxlc

[Joe]

Elon wieder am blueballen

https://i.imgur.com/ihy39HK.png

[Sardaukar.nsn]

BMW auf dem Weg zu Level 4. Fand ich ganz interessant zu lesen. https://www.computerbase.de/2023-07/level-4-bei-bmw-autos-die-ferngesteuert-parken-und-sich-selbst-testen/

[Milchkanne]

Nochmal was aus der anderen Ecke: Gestern war Comma Con.

Jetzt ist Navigate on Openpilot (https://blog.comma.ai/094release/) auch im normalen Release drin, natürlich noch im experimental Zweig. Ich sag mal so, blindspot monitoring wird wahrscheinlich immer sehr mittelmäßig funktionieren, wenn das Auto das nicht schon selber gut kann... Nebenbei wurde erwähnt, dass die Taco Bell fahrt >10 Anläufe gebraucht hat, wobei (nach deren Aussagen) aber die meisten nicht direkt auf ein schwaches System zurückgeführt werden können.

Neu vorgestellt wurde das Comma 3X. Bessere Kameras (neuere C3 hatten die schon), mehr speicher, kompatibel mit Can-FD Autos und nochmal 250$ billiger. Für 1500$ inkl. Harness ist das schon ein starkes Angebot. Hier kommt dann natürlich noch Import drauf. Und erlaubt ist das hier sicherlich auch nicht. Comma ist sich aber ziemlich sicher, dass es in den USA erlaubt ist. Sie haben jetzt auch den Namenszusatz "Devkit" gestrichen.

Der Livestream ist bei Youtube jetzt gesperrt, offenbar wegen Urheberrechtsverletzungen. Wahrscheinlich hatten sie die Streamingrechte für die Pausenmusik nicht lizensiert... *edit* Stream wieder (https://www.youtube.com/watch?v=rZ54Z4LUQJY) verfügbar. Auch einzeln (https://www.youtube.com/@geohotarchive/videos),

[Joe]

Auch ganz interessante Aussage

https://i.imgur.com/i6QHUAI.png

Nachdem man der KI wohl inzwischen sehr gut beigebracht hat die Welt zu sehen, gibt man Ihr jetzt direkte Entscheidungsgewalt über das Auto selbst.

[Mortalvision]

Selbstfahrendes Taxi ohne Fahrer kann kommerzialisiert werden:

https://www.computerbase.de/2023-08/level-4-waymo-und-cruise-duerfen-autonom-in-san-francisco-fahren/

[Joe]

Selbstfahrendes Taxi ohne Fahrer kann kommerzialisiert werden:

https://www.computerbase.de/2023-08/level-4-waymo-und-cruise-duerfen-autonom-in-san-francisco-fahren/

Dürften Sie schon länger. Der Kontext ist, dass die Betriebserlaubnis erweitert wurde auf 24 Stunden am Tag, 7 Tage pro Woche.

[Mortalvision]

Nein Joe. Jetzt durchgehend ohne Fahrer am Steuer für Geld. Damit ist allerdings Elon Musks Robo-Taxi so gut wie gefloppt. Naja, solange keine Model 3/S/X zum Einsatz kommen.

[Joe]

5TozaJFBqR8

[ChaosTM]

Selbstfahrendes Taxi ohne Fahrer kann kommerzialisiert werden:

https://www.computerbase.de/2023-08/level-4-waymo-und-cruise-duerfen-autonom-in-san-francisco-fahren/


Die haben auch das nötige Instrumentarium. Mit Kameras alleine, wie sich das Elon vorstellt, geht das glaub ich nicht. Nicht ohne einer "General AI" ähnlichen Rechnereinheit.

[ceed]

Die haben auch das nötige Instrumentarium. Mit Kameras alleine, wie sich das Elon vorstellt, geht das glaub ich nicht. Nicht ohne einer "General AI" ähnlichen Rechnereinheit.

die nötige Technik...
https://www.spiegel.de/auto/san-francisco-robotaxi-kollidiert-mit-feuerwehrauto-firma-muss-fahrzeugflotte-reduzieren-a-22f7f855-7d51-42cb-8d41-d95de0b81591

das Thema/Problem ist viel mehr Software als der richtige Input nach meinem Verständnis.

Und auch schon tausend mal gesagt: der Mensch hat im Prinzip auch nur zwei Kameras und n Mikrophon.. funktioniert ja trotzdem.

[Monger]

Und auch schon tausend mal gesagt: der Mensch hat im Prinzip auch nur zwei Kameras und n Mikrophon.. funktioniert ja trotzdem.
Menschen brauchen 18 Jahre Übung um audiovisuell zuverlässig ihre Umgebung bei so hohen Geschwindigkeiten einzuschätzen, und bauen trotzdem zeitlebens regelmäßig Scheiße im Verkehr.

[ChaosTM]

die nötige Technik...
https://www.spiegel.de/auto/san-francisco-robotaxi-kollidiert-mit-feuerwehrauto-firma-muss-fahrzeugflotte-reduzieren-a-22f7f855-7d51-42cb-8d41-d95de0b81591

das Thema/Problem ist viel mehr Software als der richtige Input nach meinem Verständnis.

Und auch schon tausend mal gesagt: der Mensch hat im Prinzip auch nur zwei Kameras und n Mikrophon.. funktioniert ja trotzdem.


deshalb braucht es auch eine "besser als menschliche" Intelligenz um solche Systeme sicherer als Menschen zu machen.

Mit zusätzlichen Sensoren, die wir "gefüllten Wasserbeuteln" nicht haben, geht das deutlich einfacherer und sicherer.

[ceed]

Nein, der Mensch baut Unfälle weil er: aufgeregt, ängstlich, betrunken, unaufmerksam, zerstreut, übermütig, übermüded etc. ist. Wenn nur die Menschen fahren wenn sie wirklich fokusiert sind und sich alle einfach an alle Regeln halten würden und immer aufpassen, dann passieren 95% der Unfälle einfach nicht. Und genau da werden die auch landen mit nur Kameras.

Wenn ihr der Meinung seid Menschen sind zu unsicher um Autos zu lenken müsstet ihr ja für ein Verbot sein?

[Joe]

das Thema/Problem ist viel mehr Software als der richtige Input nach meinem Verständnis.

Meiner Meinung nach ist es zu 95% ein Softwareproblem und nur 5% ein Frage von Sensorik/Hardware.
Ich bin auch fest davon überzeugt, dass zu viele Sensoren unnötige Entropie ins System bringen und das Problem noch schwerer machen. Und meiner Meinung nach ist es eh schon das härteste Softwareproblem das je ernsthaft angegangen wurde.

[Joe]

FSD im Hurricane

QH2LuHfYx7w

[Trap]

XPeng mal wieder beim Tesla kopieren ;):
https://twitter.com/XPengMotors/status/1692775437351399783
Vision-only, ohne HDmaps

[Joe]

Ich halte die Idee Tesla in allen wesentlichen Innovationen zu kopieren für eine ziemlich solide Strategie und würde Sie jedem Autobauer empfehlen der Konkurrenzfähig bleiben will.
Die japanische Autoindustrie hat Jahrzehntelang alles kopiert was aus Europa kam und es gleichzeitig besser zusammengebaut.
Persönlich sehe ich darin keine Schande.

[Monger]

Ne, es gibt mehr als ein Beispiel dafür, dass der erste der mit etwas kommt nicht unbedingt der beste ist. Smartphone, Tablet, MP3 Player - all das war schon lange erfunden bevor Apple darin einstieg, aber sie haben es halt viel besser gemacht.
Der Automarkt ist so riesig, dass man als Copycat sich da locker ne große Nische suchen kann.

[Joe]

all das war schon lange erfunden bevor Apple darin einstieg, aber sie haben es halt viel besser gemacht.

Seh ich anders. Apple hat extrem starke Innovationen gebracht und JEDER hat ALLES davon kopiert. Wenn Du massivste Innovation unter dem Einsatz von Milliarden als "besser gemacht" beschreiben würdest hast Du aber recht ;)

Touchscreen und AppStore sind nur ein paar Beispiele.
Allein um die Zwei Dinge herum gibt es buchstäblich tausende Innovationen und verknüpfte Patente.

Jeder Autobauer sollte Tesla kopieren in:

- Der Software Strategie (in den Autos aber besonders außerhalb der Autos. Tesla macht alles selbst vom ERP bis zur Software in der Produktion)
- Vision basiertern Assistenten
- Vertriebsmodell
- Fertigungstechniken
- Fabrikdesign
- Vertikaler Integration
- Innovationsgeschwindigkeit

Der letzte Punkt ist so unglaublich wichtig. Wenn Du es nicht schaffst ein Modell in der Produktion on the Fly zu verändern sondern immer 3-4 Jahre wartest und dann ein Facelift machst, wirst Du nicht mehr lange mithalten können.

[Monger]

- Innovationsgeschwindigkeit

Der letzte Punkt ist so unglaublich wichtig. Wenn Du es nicht schaffst ein Modell in der Produktion on the Fly zu verändern sondern immer 3-4 Jahre wartest und dann ein Facelift machst, wirst Du nicht mehr lange mithalten können.
A propos: wann kommt eigentlich der nächste Facelift vom Model 3?

[[dzp]Viper]

A propos: wann kommt eigentlich der nächste Facelift vom Model 3?
Die Modelle von Tesla sind eigentlich ständig einem Facelift unterlegen. Ein aktuelles Model 3 oder Model Y sieht unter der Haube an vielen Stellen ganz anders aus als eines der ersten Fahrzeuge. Da wird ständig verbessert und nicht nur wenn ein Facelift kommt.

Das Model 3 Facelift, was dann wirklich auch das Außendesign verändert, kommt wohl aber Ende des Jahres. Genannt "Project Highland"

https://www.motorsport-total.com/auto/news/tesla-model-3-project-highland-2023-zeigt-mehr-facelift-details-23080202

https://www.notebookcheck.com/fileadmin/Notebooks/News/_nc3/Tesla_Model_3_Facelift_2023_neu.jpg

[[MK2]Mythos]

Nein. Highland kommt in den nächsten Wochen. Definitiv aber in Q3. In China werden bereits welche produziert und vor der Öffentlichkeit geschützt. Und "verbessert" wird nicht durchgehend. Tesla spart vor allen Dingen mit jeder Veränderung wieder Kostenfaktoren ein. Die Fahrzeuge haben beispielsweise keine PDC Sensoren mehr, was seit Monaten zu lächerlich vielen und teuren Parkschäden an sämtlichen Fahrzeugen führt.
Ist aber OT hier.

[Trap]

Mythos;13377389']Die Fahrzeuge haben beispielsweise keine PDC Sensoren mehr, was seit Monaten zu lächerlich vielen und teuren Parkschäden an sämtlichen Fahrzeugen führt.
Das ist ein gutes Beispiel dafür wieso es so schwierig für alle anderen ist die Innovationsgeschwindigkeit von Tesla zu erreichen.

Welcher andere Hersteller ist bereit so zu handeln?

Damit das am Ende erfolgreich ist, muss Tesla natürlich irgendwann (idealerweise zeitnah) die neue Methode besser als das System vorher machen. Beim Regensensor steht das immer noch aus, bei Parksensoren dürfte es für den Anwendungsfall Parkrempler schneller gehen.

[Mortalvision]

BTW Californien hat die fahrerlosen Robotaxis wieder stark reduziert, nachdem es doch zu mehreren (meist harmlosen( Unfällen in den letzten Wochen kam.

[Joe]

Mythos;13377389']Und "verbessert" wird nicht durchgehend. Tesla spart vor allen Dingen mit jeder Veränderung wieder Kostenfaktoren ein.

Also das gleiche was jeder Andere Hersteller krampfhaft bei jedem Facelift auch versucht. Ändert halt nix am Ergebnis, dass Tesla die Kosteneinsparungen linear über einen sehr viel längeren Zeitrum genießen kann als der klassische OEM der Sie in ein Facelift bündeln muss und der "Pencil Down" Moment schon 2-3 Jahre vor dem Facelift ist, damit man das überhaupt technisch umsetzen kann. Aber es wird auch verbessert für den Kunden. Die Sitze sind z.B. ein großer Faktor und haben schon viele Revisionen bekommen. Die unbequeme Model 3 Rückbank hats nur im ersten Produktionsquartal gegeben.

[Joe]

:ubeer:

https://i.imgur.com/W2D2034.png
https://i.imgur.com/YL91nBv.png

[Trap]

Vor V12 sind das doch jetzt eh alles nur Lückenfüller.

Die AEB-Neuerungen sind wohl der einzige dauerhafte Teil:
- Improved Automatic Emergency Braking recall in response to cut-in vehicles and vehicles behind ego while reversing.
- Introduced Automatic Emergency Braking on general obstacles detected by Occupancy Network.

[TheCounter]

0soagwpOGqs

Oh boy...

Auf lange Sicht ist der Tesla Ansatz wohl wirklich allem anderen deutlich überlegen.

[Joe]

rNa-8Svix1I

[ceed]

Version 12

https://twitter.com/i/broadcasts/1djxXlVLaLOxZ

Sry, auf dem Handy bekomm ich die Verlinkung nicht gebacken

[Mortalvision]

Auf lange Sicht ist der Tesla Ansatz wohl wirklich allem anderen deutlich überlegen.

Kannst Du mir den Unterschied kurz erklären?

[Trap]

Kannst Du mir den Unterschied kurz erklären?
Das ist etwa 1/3 des Video in dem Beitrag auf den du geantwortet hast.

[Mortalvision]

Danke! Ich schaue es mir nach dem Mittagessen gleich an ;)

[Joe]

Version 12

https://twitter.com/i/broadcasts/1djxXlVLaLOxZ

Sry, auf dem Handy bekomm ich die Verlinkung nicht gebacken

Ich bin eigentlich immer davon ausgegangen, dass die KI nur eine sehr high level API abbildet, auf die dann sehr simpel programmiert werden kann ala "Halte an einem Stopschild an".

Das scheint man komplett übersprungen zu haben und die Regeln bzw. das Verhalten scheinen wirklich direkt über Beispiele antrainiert zu werden.
Falls das funktioniert ist es natürlich super super skalierbar für jeden Ort auf der Erde. Im Prinzip könnte man einen Cybertruck mit 10.000 Runden Rubicon Trail füttern und dann könnte FSD auch da fahren.

[ceed]

Ich bin eigentlich immer davon ausgegangen, dass die KI nur eine sehr high level API abbildet, auf die dann sehr simpel programmiert werden kann ala "Halte an einem Stopschild an".

Das scheint man komplett übersprungen zu haben und die Regeln bzw. das Verhalten scheinen wirklich direkt über Beispiele antrainiert zu werden.
Falls das funktioniert ist es natürlich super super skalierbar für jeden Ort auf der Erde. Im Prinzip könnte man einen Cybertruck mit 10.000 Runden Rubicon Trail füttern und dann könnte FSD auch da fahren.

Es wird anscheinend nur mit Videos gefüttert und leitet sich daraus dann richtiges und falsches Verhalten ab.
Die Version scheint z.B. nicht an Stoppschildern wirklich zu halten, Minute 11:20 z.B.
Elon sagt ja auch im Video dass dieses Auto im Prinzip nicht weiß was ein Kreisverkehr ist, es hat nur viele Videos von einem Kreisverkehr gesehen.

Weiß nicht was ich davon halten soll.

[Monger]

Ich bin eigentlich immer davon ausgegangen, dass die KI nur eine sehr high level API abbildet, auf die dann sehr simpel programmiert werden kann ala "Halte an einem Stopschild an".

Ich glaube wir sollten nochmal darüber reden was ne KI ist, weil genau dieses semantische Verständnis hat ja eine KI üblicherweise NICHT.

Und für einen Computer formale Regeln zu definieren wie er sich an einem Stoppschild zu verhalten hat, wäre auch viel, VIEL komplizierter als ihm ausreichend Situationen (inkl. Tacho etc.) zu zeigen, woraufhin dann entschieden wird wieviel Gas geben angemessen ist.

[Joe]

Ich glaube wir sollten nochmal darüber reden was ne KI ist, weil genau dieses semantische Verständnis hat ja eine KI üblicherweise NICHT.

Doch das ist genau eine Funktion der KI macht: Eine komplexe Aufgabe wie hier die Umwelt so nahe wie möglich an der Realität über eine antrainierte Funktion aus Kameras Interpretieren damit der Typ der den Code schreibt eben nicht komplex beschreiben muss wie eine Linie auf der Straße aussieht sondern das System gelernt hat was eine Linie ist. Und dann kann man einfach sagen "Wenn Linie Dann...".

Aber das ist scheinbar nicht der Weg den Tesla gewählt hat. V12 sieht aus wie ein End To End Neural Net Trainingsansatz wo die Menschlichen Eingriffe praktisch ausschließlich auf Basis der Trainingsdaten passieren.
Unter der Haube wird es schon viel komplizierter sein. Wahrscheinlich gibt es hunderte, vielleicht Tausende NN's die alle separat angelernt und finetuned werden. Aber der Gedanken das dem Auto niemand sagt was es z.B. an einer Ampel machen soll und stattdessen gibt es ein "Ampel NN" das einfach mit 5.000.000 Clips gefüttert wurde ist schon beeindruckend.

[Monger]

Doch das ist genau eine Funktion der KI macht: Eine komplexe Aufgabe wie hier die Umwelt so nahe wie möglich an der Realität über eine antrainierte Funktion aus Kameras Interpretieren damit der Typ der den Code schreibt eben nicht komplex beschreiben muss wie eine Linie auf der Straße aussieht sondern das System gelernt hat was eine Linie ist. Und dann kann man einfach sagen "Wenn Linie Dann...".

Das war der zentrale Sprung von Alpha Go auf Alpha Zero: Alpha Go hatte noch ein formales Verständnis von Schachregeln, die hart einprogrammiert waren. Alpha Zero hat sich selbst Schach spielen beigebracht.

Gemessen an der puren Fülle unterschiedlicher Verkehrssituationen würde es mich sehr überraschen, wenn das bisher ausprogrammiert wurde. Bin sicher, alle die L4 Fahren anstreben, müssen den zweiten Weg gehen. Deshalb war es Waymo ja z.B. auch so wichtig, möglichst präzises Kartenmaterial zu bekommen, um genau auf diese Karte zu trainieren. Wären die regelbasiert, bräuchten sie das nicht. Aber ein formales Regelwerk für Verkehr zu finden ist wohl ungefähr so wahrscheinlich wie ein formales Regelwerk für Sprache - wird also nie passieren. Deshalb sind LLMs ja so erfolgreich, weil sie den Ansatz der bis in die 1990er galt, nämlich Sprache via formaler Grammatik zu erkennen, komplett in den Wind geschossen haben.

[Fliwatut]

Angesichts des idiotischen Verhaltens extrem vieler Autofahrer kann ich das autonome Fahren gar nicht erwarten, das muss schnellstmöglich kommen!

[Milchkanne]

Es wird anscheinend nur mit Videos gefüttert und leitet sich daraus dann richtiges und falsches Verhalten ab.

Elon sagt ja auch im Video dass dieses Auto im Prinzip nicht weiß was ein Kreisverkehr ist, es hat nur viele Videos von einem Kreisverkehr gesehen.


Das ist ja auch das Comma.ai Prinzip. Es ist vor allem echt einfach und billig umzusetzen. George hat auf der Comma.con ein Slide mit Umsatzzahlen gehabt:
https://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=85038&stc=1&d=1693039668
Und das ist nur der Umsatz, Gewinn haben die noch 0%.

Comma macht End2End schon praktisch die ganze Zeit und für die paar lächerliche Millionen ist absolut beeindruckend, was die mit praktisch nur einer Kamera leisten.

Aber ich bin mir auch nicht sicher. Warum soll eine End2End AI wissen, wie sie mit einer Giraffe auf der Autobahn umgehen können soll? Das war sicher nicht in den Trainingsdaten drin. Nutzt Tesla in v12 noch das occupancy Network? Das sollte in jedem Fall Notbremsen erlauben. Wenn End2End (wie bei Comma) meint, "Bild rein, Steuerung raus", wäre ich mir da nicht so sicher.

*edit*
Im Musk V12 stream (https://youtu.be/aqsiWCLJ1ms?t=1194) gab es eine intervention. Und das ist auch genau das, wo ich end2end für schwierig halte. Die Linksabbieger bekommen grün, das Auto will geradeaus und fährt los. Welche Ampel für einen gilt, ist absolut nichttrivial. Und lässt sich ohne information über die Straßenführung manchmal auch kaum entscheiden. Mann muss manchmal vorher aufgepasst haben, was die Pfeile auf der Straße oder Schiilder sagen. Das End2End lernen? Schwierig IMO.
Elons vorgeschlagene Lösung: Dem Netzwerk einfach mehr Ampeln zeigen. Ok, man muss es nicht mehr manuell schreiben. Aber am Ende muss man dem Netz doch jeden Sonderfall wieder antrainieren...

[ceed]

Aber ich bin mir auch nicht sicher. Warum soll eine End2End AI wissen, wie sie mit einer Giraffe auf der Autobahn umgehen können soll? Das war sicher nicht in den Trainingsdaten drin.

Naja ne Schach AI hatte natürlich auch nie alle Situationen als Trainingsdaten, die zerpflückt dich trotzdem bei unbekannten Situationen.
Wenn sie einfach nur gelernt hat das man nicht in andere Objekte rein fährt (was imho eigentlich 99% des sicheren Auto fahrens ausmacht) ist es egal ob da ein Mensch ne Giraffe oder n Raumschiff steht

[Monger]

Aber ich bin mir auch nicht sicher. Warum soll eine End2End AI wissen, wie sie mit einer Giraffe auf der Autobahn umgehen können soll?
Du hast ja bei Mustererkennung IMMER Elemente dabei, die nicht identifizierbar sind. Was einfach Rauschen ist, und auch normalerweise ignoriert wird. Es sei denn es steht dir im Weg, und dann muss es eigentlich egal sein ob das ne Giraffe, ne losgerissene Plane oder ein UFO ist. Und eigentlich greift da was jeder Fahrlehrer erklärt: erstmal stehen bleiben. Ein stehendes Auto macht nix falsch. Sobald man die Situation ausreichend erfasst hat, kanns wieder weitergehen.

Ein reales Problem mMn ist halt overfitting: je mehr Trainingsdaten man reinprügelt, desto wahrscheinlicher dass etwas willkürliches für etwas bedeutendes gehalten wird. Wenn man die KI auf jedes beliebige Straßenschild auf diesem Planeten trainiert, dann sieht die KI irgendwann überall Straßenschilder. Innerhalb eines Landes sehen die ja meistens ziemlich homogen aus. Oder die KI wendet amerikanische Straßenregeln auf Indien an, weil es so viel mehr US Trainingsdaten gibt als von jeder anderen Region der Welt. Deshalb hab ich ja schonmal argumentiert, dass ich es für plausibel halte, Region für Region zu trainieren, und falls ein Auto tatsächlich mal die Region wechselt zwischen diesen zu switchen. Deshalb denke ich, dass es ganz viele Anbieter geben wird, die sich Region für Region ausbreiten. Dass eine Firma eine Musterlösung global ausrollt, halte ich für sehr unwahrscheinlich.

[Joe]

Aber ich bin mir auch nicht sicher. Warum soll eine End2End AI wissen, wie sie mit einer Giraffe auf der Autobahn umgehen können soll? Das war sicher nicht in den Trainingsdaten drin.

Das ist der große Trick von KI. Es sind immer Näherungsfunktionen. Selbst wenn Die AI nicht weiß was eine Giraffe ist, weiß Sie das da ein Hinderniss ist, vielleicht sehr ähnlich wie ein Elch oder eine Kuh von der es Trainingsdaten hat.

Die Effektivität von KI bei so was ist beängstigend.
Als Beispiel mal, Tesla hat ohne Probleme die Unterscheidung von einem Radfahrer vs einem Fahrrad auf einem Hänger, Heck oder Dachträger hin bekommen. Eigentlich sollte das Problem quasi unlösbar schwer sein aber wirf der KI ein ausreichend großes Trainingsset ins Gesicht und ein Problem verschwindet einfach.

Darum wird hier von mir und einigen anderen Gebetsmühlenartig widerholt, dass niemand Tesla folgen kann weil niemand Millionen Autos auf der Straße hat die Milliarden Kilometer pro Woche fahren und diese Daten sammeln.

[Monger]

Darum wird hier von mir und einigen anderen Gebetsmühlenartig widerholt, dass niemand Tesla folgen kann weil niemand Millionen Autos auf der Straße hat die Milliarden Kilometer pro Woche fahren und diese Daten sammeln.
Dafür sammelt Tesla schlechtere Sensordaten (nur Kamera, kein detailliertes Kartenmaterial). Und ab nem gewissen Punkt kann ein zu großes, redundantes Trainingsset schädlich sein.
Und wie auch schonmal gesagt: jede KI läuft in ne Sättigung hinein, wo jeder kleine Schritt vorwärts extrem anstrengend wird. Nur weil man die letzten ein, zwei Jahre gute Fortschritte erzielt hat, lässt sich daraus nicht die Zukunft interpolieren. Da gab es auch in der KI Forschung in anderen Bereichen immer wieder böse Überraschungen. Paradebeispiel ist Texterkennung: die ersten 80% hatte man bereits in den 1980ern innerhalb weniger Jahre erreicht. Dann passierte da fast 40 Jahre praktisch nix, jetzt gibt es wieder allmähliche Fortschritte.

[Marodeur]

Das Problem ist halt weiter der Faktor Mensch. Wenn bei Baustellen Schilder oder Markierungen nicht ganz korrekt aufgestellt werden oder in der Karte mal was nicht vermerkt ist, schon fährt das autonome Gefährt halt in den flüssigen Beton rein weil es die Kamera nicht unterscheiden kann.

Ich bin jedenfalls für autonomes fahren nur auf freigegebenen Strecken die dann z.B. vom Bauamt jederzeit als nicht befahrbar markiert werden können. In der Hoffnung die vergessen es nicht auch noch. Wir werden sehen wie es jetzt weiter in San Francisco läuft. Der Ausfall der Fahrzeuge die dann den Verkehr blockieren weil wegen Konzert das Mobilfunknetz am limit war ist ja auch so ein Ding...

[Tobalt]

Woher hast du den Stuss, dass mehr Daten schlecht wären?

Overfitting bei NN ist praktisch ausgeschlossen. Die haben absurd viele Parameter.

Schlecht ist nur wenn du deine Score function falsch definierst. Das fällt evtl. erst mit mehr Daten überhaupt auf und erlaubt dann die Funktion entsprechend zu verfeinern.

Und Faktor Mensch im Trainingsset ist auch nur dann ein Problem, wenn Menschen etwas im Durchschnitt systematisch falsch machen. Falls es solche Fälle gibt dann ist dieses Fehlverhalten eben so normal, dass auch die AI Karre damit problemlos am Verkehr teilnehmen kann. Ich sag mal solche Dinge wie 5 kmh zu schnell fahren bei freier Fahrbahn oder nicht blinken, wenn es eh keiner sieht usw.

[Milchkanne]

Das ist der große Trick von KI. Es sind immer Näherungsfunktionen. Selbst wenn Die AI nicht weiß was eine Giraffe ist, weiß Sie das da ein Hinderniss ist, vielleicht sehr ähnlich wie ein Elch oder eine Kuh von der es Trainingsdaten hat.


Und warum ist das so schwierig, wenn ich LIDAR eine UFO erkennung beibringe? Auch das Occupancy Net halte ich für nicht schlecht.
Wenn was im Weg ist oder kommt, einfach bremsen.

Aber an einfachen linksabbieger Ampeln scheitert Tesla E2E noch? Davon haben die nicht genug Trainingsdaten gehabt? Das ist denen im Simulator nicht aufgefallen?

Mein Giraffen Beispiel war sicherlich nicht besonders gut. Aber komplexe Verkehrssituationen oder Regeln, die eben nur selten Auftreten soll es nebenbei meistern, wenn ne Linksabbiegerampel nicht oft genug trainiert wurde?

[Monger]

Woher hast du den Stuss, dass mehr Daten schlecht wären?

Overfitting bei NN ist praktisch ausgeschlossen. Die haben absurd viele Parameter.

Da gibts ja dieses bekannte Beispiel von ner KI die Fische anhand von Fotos identifizieren sollte. Und eine bestimmte Fischart hat sie über die Hände identifiziert, weil das eine Fischart ist die besonders oft auf Fotos von Siegerkürungen gezeigt wird, wo Fischer den Fisch stolz in die Kamera halten. Das heißt aber halt auch, dass wenn du einen x-beliebigen Fisch in der Hand hältst, dieser falsch identifiziert wird. Du kannst das beheben, indem du Fotos von solchen Preisverleihungen explizit rausfilterst.
Das wirft halt die Frage auf, inwiefern dein Trainingsset repräsentativ für die tatsächliche Fahrsituation ist. Mal so plakativ: wenn du Millionen von Aufnahmen hast wo kein Hirsch auf der Fahrbahn steht, und es steht tatsächlich mal einer da, wird die KI die Wahrscheinlichkeit eines solches Ereignisses korrekt bewerten, oder es als Rauschen ignorieren?
Du musst also Wege finden dein Trainingsset auf ein sinnvolles Minimum zu reduzieren. Und das ist Stand heute wohl gleichermaßen Kunst wie Wissenschaft.

[ceed]

Aber komplexe Verkehrssituationen oder Regeln, die eben nur selten Auftreten soll es nebenbei meistern, wenn ne Linksabbiegerampel nicht oft genug trainiert wurde?

Das ist in der Tat n guter Punkt.

[Joe]

Da gibts ja dieses bekannte Beispiel von ner KI die Fische anhand von Fotos identifizieren sollte. Und eine bestimmte Fischart hat sie über die Hände identifiziert, weil das eine Fischart ist die besonders oft auf Fotos von Siegerkürungen gezeigt wird, wo Fischer den Fisch stolz in die Kamera halten. Das heißt aber halt auch, dass wenn du einen x-beliebigen Fisch in der Hand hältst, dieser falsch identifiziert wird.

Das ist ein Beispiel für schlechte Trainingsdaten nicht für einen zu großen Pool.

Aber komplexe Verkehrssituationen oder Regeln, die eben nur selten Auftreten soll es nebenbei meistern, wenn ne Linksabbiegerampel nicht oft genug trainiert wurde?
Wenn Du mehrere Millionen Kilometer am Tag an Daten sammelst gibt es keine wirklich seltenen Situationen mehr. Die Lösung ist wahrscheinlich immer einfach mehr Daten.

[Monger]

Das ist ein Beispiel für schlechte Trainingsdaten nicht für einen zu großen Pool.

Es ist die Überrepräsentation von überspezifischen Daten. Der Witz ist ja, dass das ne valide Lösung ist: wenn viele Bilder im Web solche Trophäenbilder sind, dann bekommt man durch ne Stichprobe davon genau das was man haben will. Aber dann auf B zu fitten kann plötzlich die Ergebnisse für A drastisch verschlechtern. Deshalb gibt es bei KI keine natürliche Progression, jedes neue Modell ist nicht X+1, sondern was ganz anderes.

[Joe]

Noch ein Quote von Musk zu FSD12 für die Leute die immer meinen er hat überhaupt kein Plan von Nix und ist nur eine Lichtgestalt wie Steve Jobs.

What is also mindblowing is that the inference compute power needed for 8 cameras running at 36FPS is only about 100W on the Tesla-designed AI computer. This puny amount of power is enough to achieve superhuman driving!

It makes a big difference that we run inference at int8, which is far more power-efficient than fp16. This requires us to do very difficult quantization-aware training at fp16 in order to infer at the lower resolution of int8.

But think about that for a minute: int8 only gives you a numerical range from 0 to 255 and yet the car can still understand the immense complexity of reality well enough to drive!

Same caveats here: reaching superhuman driving with AI requires billions of dollars per year of training compute and data storage, as well as a vast number of miles driven.

Tesla also has over 4 million cars on the road capable of training the AI. In a few years, we will have roughly 10 million.

[Monger]

Noch ein Quote von Musk zu FSD12 für die Leute die immer meinen er hat überhaupt kein Plan von Nix und ist nur eine Lichtgestalt wie Steve Jobs.
Achja, das erinnert mich an Zeiten...
Mein Oberboss hat uns auch mal ausgequetscht, wir sollen ihm für ne Präsentation ein paar Zahlen liefern. Das haben wir brav gemacht, haben uns Zeit genommen diese zu erklären, über deren Bedeutung und Grenzen aufzuklären etc..
Das hat er dann alles hintereinander in ne Präsentation geladen. Wir Ingenieure saßen in der Präsi hintendrin, manche kreidebleich, manche das kichern unterdrückend, manche facepalmend. Das alles machte vorallem so in der Kombi überhaupt keinen Sinn. Aber das Publikum war begeistert.

Mich würde z.B. ja schon interessieren warum ein 8Bit Register weniger Strom braucht als ein 16Bit, unter der Annahme dass das selbe gerechnet wird.

[Tobalt]

Monger ok verstehe. eine AI die nur auf Instagram schaut, denkt, dass alle Menschen immer fröhlich sind usw.

aber Tesla trainiert ja auch oder gar vor allem mit Daten aus ihren täglich durch Menschen gefahrenen Autos.

Es ist anzunehmen, dass das mittlere Verhalten über die Zeit hinweg konstant ist und mehr Daten nur zu besserer Statistik für edge cases führen. es ist auch anzunehmen, dass sie in der Regel von einem etablierten build weiter-trainieren mit mehr Daten, solange die NN Topologie ähnlich bleibt. hin und wieder wird die Score function angepasst wenn sie merken dass bestimmte neu entdeckte Edge cases schlecht gehandelt werden. aber es ist immer eine Evolution und kein Neuanfang.

So wie ich das verstehe, hat die fsd AI viele getrennte Module/agents, die dann einander zuarbeiten. wenn man jetzt einen davon massiv umdefiniert, dann würde ich auch annehmen dass man den Rest nicht groß anfasst, schon der besseren Vergleichbarkeit wegen.

[Tobalt]

das Zitat von musk macht auf mich auch eher einen Schaumschläger Eindruck. int8 ops sind für NN halt völlig ausreichend weil man so extrem viele weights hat, und komplexe szenen dass man eh keinen butterfly effekt will. selbst wenn man da rein geht und eines der weights von 34 auf 44 manuell ändert, wird das für das große ganze nicht megaviel ändern.
die inputwerte sind eh int8 (rgb cam). also nimmt man dieses format als kleinsten gemeinsamen nenner mit. fp16 ist halt einfach überdimensioniert für so ein NN. Nur deshalb ist es weniger effizient - weil man es nicht ausnutzt.

[Monger]

Es ist anzunehmen, dass das mittlere Verhalten über die Zeit hinweg konstant ist und mehr Daten nur zu besserer Statistik für edge cases führen. es ist auch anzunehmen, dass sie in der Regel von einem etablierten build weiter-trainieren mit mehr Daten, solange die NN Topologie ähnlich bleibt. hin und wieder wird die Score function angepasst wenn sie merken dass bestimmte neu entdeckte Edge cases schlecht gehandelt werden. aber es ist immer eine Evolution und kein Neuanfang.
Ehrlicherweise fehlt mir die Einsicht, wie genau die KIs arbeiten, was für Schichten die haben, was da die Fitness Funktion ist etc. . Aber jetzt mal rein philosophisch aus Datensicht: willst du eine KI die insbesondere den Standardfall gut fittet, oder den Randfall?
Außerdem: wo kriegst du gute Daten überhaupt her? Menschliche Fahrer fahren x-mal über rote Ampeln drüber. Willst du das auch in deinem Trainingsset haben?

Nehmen wir mal an, du siehst ein schwarzes Rechteck auf der Fahrbahn. 99,9% all deiner Daten sagen dir, das ist ein Schatten. 0,01% sagt, das ist die schwarze Rückwand eines LKW. Worauf optimierst du? Auf den Randfall, so dass du nie irgendwo gegenstößt, aber gefühlt bei jeder Fahrt auf der Bremse stehst? Oder auf den Standardfall, so dass von deiner 1 Mio Fahrten 999000 gut gehen, und "nur" 1000 crashen?
Wenn du jetzt dein Trainingsset nur Randfälle eichst, kriegst du ne paranoide KI die sich total erratisch verhält. Wenn du sie am Standardfall orientierst, besteht die Gefahr dass sie Randfälle nicht angemessen gewichtet.

Deshalb ist es halt so wichtig, gute Daten zu haben. Ein Radar würde dir sofort beantworten ob da ein Festkörper ist oder nicht. Dann musst du dich auch nicht tottrainieren, um die richtige Vorhersage auszuspucken.

[Tobalt]

Es gibt nicht die eine KI die die Kamerafeeds bekommt und dann Steuerentscheidungen trifft.

Die ersten module sind erstmal fürs worldbuilding da. die erkennen natürlich sehr gut Straßen, Hügel, kurven, autos, Fußgänger usw. die verstehen durch spatiotemporale parallaxe die welt auch sehr gut in 3d. Der Worldbuilder versteht auch dass nach einem Hügelscheitel die welt nicht endet, dass rin auto wegen kurzer occlusion sich nicht in luft auflöst. Und es versteht, wenn etwas unbekanntes in der fahrbahn ist und kann dessen Größe, distanz und eigenbewegung recht genau einschätzen.

Die steuermodule nehmen wenn überhaupt nur spärlich Kamerainput, sondern arbeiten im abstrakten 3d raum, der live erstellt wird. und auch da gibt es halt sehr viel standardwerk zu verrichten. Ein guter Fit dafür wird idR. auch entsprechend besser bei edge cases extrapolieren. Wenn daten für kritische edge cases nicht gut genug vorliegen, dann gibt man eben manuelle grenzen vor (vielleicht auch nur indirekt über die score function).

Wenn die Sicherheit der Entscheidung unter einen gewissen Wert fällt, gibt das auto eh die Steuerung ab. Es müsste sich also schon sehr sicher dabei sein etwas falsches zu tun, was dann zufällig auch noch gegen direkte oder indirekte boundary conditions nicht verstoßen darf. Du kannst dir denken wie unwahrscheinlich solche Fälle sind.

Das hauptproblem woran aktuell IMO gearbeitet wird: Die Sicherheit steigern für die richtigen Entscheidungen damit seltener abgegeben wird. Und ein Verhalten, dass konformer zur Erwartungshaltung anderer Verkehrsteilnehmer ist..In anderen Worten, gerade das ganze Standardwerk muss noch besser flutschen. Und dafür helfen mehr Standardtrainingsdaten eben auch super weiter.

und nochmal konkret zu deinem Rechteck: Wie löst DU denn dieses Dilemma? Wenn du nur einen einzigen Frame hast ist die Entscheidung sicher nicht sofort klar, aber über die Zeit mit mehr Winkel uns mit temporaler Parallaxe wird sich dein Hirn immer sicherer ob es das eine oder andere ist. Bei schlechter sicht, kann man diesen Prozess der im eigenen Hirn abläuft IMO super miterleben. Und genauso passiert das im Worldbuilder. Auch da kann man das bei Tesla teilweise miterleben, wie eben die 3d welt sich updatet. Manchmal werden da eben auch aus einem Fußgänger zwei etc. Das ist ganz natürlich.

[Tobalt]

Außerdem: wo kriegst du gute Daten überhaupt her? Menschliche Fahrer fahren x-mal über rote Ampeln drüber. Willst du das auch in deinem Trainingsset haben?


Ja ich will ;) Es ist supervised learning und damit liegen sicher hohe penalties vor für fahren über rote ampeln. Die Daten zu sieben nach guten und schlechten ist müßig, ineffizient und fügt massiv Bias hinzu. Besser geht man da über die score heran.

Über rot fahren darf natürlich auch kein hartes Nono sein. Vielleicht musst du das weil du einem rettungswagen platz machen musst. Einen Rettungsdienst zu blockieren sollte demnach ein höheres penalty haben als über rot langsam fahren.

[Joe]

Es gibt nicht die eine KI die die Kamerafeeds bekommt und dann Steuerentscheidungen trifft.

Die ersten module sind erstmal fürs worldbuilding da. die erkennen natürlich sehr gut Straßen, Hügel, kurven, autos, Fußgänger usw. die verstehen durch spatiotemporale parallaxe die welt auch sehr gut in 3d. Der Worldbuilder versteht auch dass nach einem Hügelscheitel die welt nicht endet, dass rin auto wegen kurzer occlusion sich nicht in luft auflöst. Und es versteht, wenn etwas unbekanntes in der fahrbahn ist und kann dessen Größe, distanz und eigenbewegung recht genau einschätzen.

Die steuermodule nehmen wenn überhaupt nur spärlich Kamerainput, sondern arbeiten im abstrakten 3d raum, der live erstellt wird. und auch da gibt es halt sehr viel standardwerk zu verrichten. Ein guter Fit dafür wird idR. auch entsprechend besser bei edge cases extrapolieren. Wenn daten für kritische edge cases nicht gut genug vorliegen, dann gibt man eben manuelle grenzen vor (vielleicht auch nur indirekt über die score function).

Wenn die Sicherheit der Entscheidung unter einen gewissen Wert fällt, gibt das auto eh die Steuerung ab. Es müsste sich also schon sehr sicher dabei sein etwas falsches zu tun, was dann zufällig auch noch gegen direkte oder indirekte boundary conditions nicht verstoßen darf. Du kannst dir denken wie unwahrscheinlich solche Fälle sind.

Das hauptproblem woran aktuell IMO gearbeitet wird: Die Sicherheit steigern für die richtigen Entscheidungen damit seltener abgegeben wird. Und ein Verhalten, dass konformer zur Erwartungshaltung anderer Verkehrsteilnehmer ist..In anderen Worten, gerade das ganze Standardwerk muss noch besser flutschen. Und dafür helfen mehr Standardtrainingsdaten eben auch super weiter.

und nochmal konkret zu deinem Rechteck: Wie löst DU denn dieses Dilemma? Wenn du nur einen einzigen Frame hast ist die Entscheidung sicher nicht sofort klar, aber über die Zeit mit mehr Winkel uns mit temporaler Parallaxe wird sich dein Hirn immer sicherer ob es das eine oder andere ist. Bei schlechter sicht, kann man diesen Prozess der im eigenen Hirn abläuft IMO super miterleben. Und genauso passiert das im Worldbuilder. Auch da kann man das bei Tesla teilweise miterleben, wie eben die 3d welt sich updatet. Manchmal werden da eben auch aus einem Fußgänger zwei etc. Das ist ganz natürlich.

Sehr gut beschrieben :up:

[Monger]

und nochmal konkret zu deinem Rechteck: Wie löst DU denn dieses Dilemma?
Ich wollte jetzt nicht behaupten dass das ein reales Problem ist. Ich wollte daran nur verdeutlichen, dass die Auswahl des richtigen Trainingssets keine triviale Aufgabe ist.
Andererseits muss man natürlich fairerweise sagen, dass ausreichend Daten vielleicht keine hinreichende, aber eben eine notwendige Bedingung sind um überhaupt Fortschritte zu machen. Wohl dem, der auf nem Berg voller Daten sitzt.

[TheCounter]

ZI7-Swmuo4A

Sehr interessant und absolut faszinierend. Das ändert wirklich alles und ist vorprogrammierten Verhalten massiv überlegen.

Der richtige Weg, wenn man menschliche Fahrer und autonome Autos gleichzeitig auf der Straße haben möchte.

[Godmode]

Am Montag geht bei Tesla ein neuer Cluster mit 10.000 Nvidia H100 online. Das sind mal schlappe 300 Millionen USD nur für die GPUs.

https://twitter.com/O42nl/status/1695560544600957366

[Joe]

Am Montag geht bei Tesla ein neuer Cluster mit 10.000 Nvidia H100 online. Das sind mal schlappe 300 Millionen USD nur für die GPUs.

https://twitter.com/O42nl/status/1695560544600957366

Ein zusätzlicher ;)

[Tobalt]

Finde die Ausführungen zu V12 strange. Wenn man das für voll nimmt, wäre das ein IMO kontraproduktiver Move wie ich in den letzten posts ja dargelegt habe.

Es ist einfacher, die Daten nicht zu sieben und dafür mittels penalty/score und Limits bestimmtes Verhalten zu stimulieren oder zu verhindern. Umgekehrt das unsupervised learning (nach dem v12 klingt) mit aber gefilterten daten wäre IMO ineffizienter und letzlich doch mehr Arbeit.

Außerdem erhält man bei letzterem eben nur den Durchschnittsmensch. Nicht mehr und nicht weniger. Ich halte das nicht für optimal. Alles was in dem Video als ach so menschliches Verhalten glorifiziert wird, kann man auch im supervised learning erzielen, wenn man das penalty für bestimmte Verstöße unter gewissen Bedingungen eben reduziert.

Stumpf nach Mensch lernen ist IMO ein dummer und kurzsichtiger weg. Die Livedaten legen super dar, wie Menschen agieren, aber man sollte das halt nur als nur als ein Attribut setzen, damit sich das Auto im Kontext gut verhält. Die ganzen übermenschlichen Goodies darf es ruhig trotzdem anwenden, solange es die übrigen Verkehrsteilnehmer nicht stört.

[Trap]

Finde die Ausführungen zu V12 strange.
Welche? Die von AI DRIVR? Der macht gute Videos, hat aber keinerlei Einblick in Tesla-Interna und ist soweit ich weiß auch kein KI-Softwareentwickler.

Zur inhaltlichen Diskussion:
Die Idealsituation für Training ist ja der "distilling the knowledge" Modus, wo man eine gute KI nutzt um für alle Trainingsdaten die Zielwerte vor den letzten Datenreduktionsschritten für die neue KI generieren. Unsupervised ist das andere Ende. Zwischen den beiden Endpunkten ist "an clips einen einzelnen Score dran schreiben" sehr sehr nah an unsupervised. Ich kann da erst mal nicht nachvollziehen, warum du davon überzeugt bist, dass das funktioniert.

[Tobalt]

Trap, bin ich nicht. Ist wohl falsch rüber gekommen. Die Aussage in dem Vid ist ja "die daten werden vorgesiebt und dann wird gelernt sich wie die fahrer in den Daten zu verhalten", also unsupervised.

So wie ich es bisher verstand, werden die Daten genutzt, um zu schauen wie sich Menschen in einer gewissen Situation verhalten.

Dieses Verhalten würde nach der Score metric der Supervisor aber nicht unbedingt ideal abschneiden..Das Ziel ist ja besser zu werden. Die Score muss ja nicht "eine" Zahl sein, sondern vielleicht ein set, ein layer oder ein ganzes Netz an weights, was letzlich ergibt wie sinnvoll das Verhalten unter bestimmten gesichtspunkten ist.

dann nimmt man dieses gebiaste menschliche Verhalten (also zB wo man safety nochmal höher gewichtet als Geschwindigkeit) als Basis für weiteres Training, wo dann das übermenschliche Verhalten wachsen kann.

Die Ausführungen in dem letzten Video verstehe ich so, als ob man den letzten Schritt nicht mehr macht und dafür die menschlichen Daten noch stärker biased.

[Joe]

Ich muss sagen ich bin auch etwas skeptisch mit dem End to End neural nets.
Kaparthy hat da die Tage was sehr gutes zu geschrieben finds nur leider grad nicht mehr.

Das end to end Projekt ist ja von Ihm und gibts schon länger bei Tesla. Die Erwartung war aber wohl, dass das nicht der schnellste Weg zum Ziel ist. Vielmehr sollten die neural nets die C Code immer weiter kanibalisieren bis es letztlich end to end ist.

Aber ich denk mir halt auch bei Tesla arbeitet die absolute Weltelite bzgl. KI, die geben jedes Jahr Milliarden an R&D für KI aus, die werden schon wissen was Sie tun. Ich hoffe es gibt dieses Jahr noch einen AI Day. Wäre super Spannend einen Blick in die Architektur und unter die Haube zu bekommen.

Was schon etwas angsteinflößend ist, ist das die Entscheidungsfindung so ja ein emergent behaviour ist. Niemand hat der KI die Regeln erklärt.
Ist das der erste Baustein für AGI?

[Trap]

Die Ausführungen in dem letzten Video verstehe ich so, als ob man den letzten Schritt nicht mehr macht und dafür die menschlichen Daten noch stärker biased.
Bisher war die Steuer-Logik ein großes Modul in klassischer C++ Implementierung.

Mit dem Wechsel auf Netze für Steuerung hat man jetzt überhaupt erst die Möglichkeit irgendwas zu trainieren. Die Optimierung für "besser als Menschen" kann ja noch kommen, aktuell ist man dabei das erst mal funktionsfähig zu machen.

Mal sehen ob sie sich da in eine actor - critic Richtung bewegen. Es dürfte einfacher sein das Fahrverhalten zu bewerten, als es zu generieren. Und für die Tesla Versicherung ist eine critic Komponente ja auch nützlich / naheliegend.

Zu End-2-end noch etwas: ich glaube, der aktuelle Stand sind getrennte Netze für verschiedene "Tätigkeiten" und der Tesla Vision und occupancy net Teil dürfte eingefroren sein beim Steuerung trainieren. Es sind alles Netze, aber nicht ein End-2-end Netz, das als ganzes trainiert wird. Eine Quelle dafür hab ich aber auch nicht, ist meine Vermutung aus allem was ich so mitbekommen hab.

[Joe]

https://i.imgur.com/DrhHlJD.png

[MasterElwood]

Elons vorgeschlagene Lösung: Dem Netzwerk einfach mehr Ampeln zeigen. Ok, man muss es nicht mehr manuell schreiben. Aber am Ende muss man dem Netz doch jeden Sonderfall wieder antrainieren...

Ne. Das Network kann sich komplett selbst trainieren.

EGO: "Aha. Bei [Situation X] wurde interveniert? Ich schicke die Situation ans Mothership."

Mothership ruft 50.000 Clips ab - von der selben Situation aber wo NICHT interveniert wurde (oder von Human Drivern in Shadow mode) - und trainiert sich den Fehler selbst weg.

Und das selbe Spiel mit jeder Intervention. Und die werden dadurch immer weniger und weniger und weniger...

[Tobalt]

Ja also man sollte Elons Gelaber stets mit ordentlich Salz nehmen, wenn es etwas in die technische Tiefe geht ;) Ich denke er hat schon den Wille sich technisch einzubringen, aber das braucht halt Zeit - dauerhaft. Das weiß jeder, der irgendwann mal aus einer Hands-On Position in eine etwas höhere Hierarchie gewechselt ist. Mit der Zeit schrumpft die Expertise langsam wieder ein, weil sich das Feld untendrunter weiter entwickelt.

Ich denke zu Zeiten der ersten Model 3 Fabs war er technisch stark involviert. Und gleiches gilt denke ich für die ersten Jahre des Starship Programs. Momentan ist durch Twitter von ihm persönlich IMO leider kein relevanter technischer Tiefgang mehr zu erwarten.

Zu Beta FSD: Was bedeutet dieser Schritt für die FSD Flottengröße ? Wieviel HW4 gibt es in NA ? Wieviele hatten die FSD Beta vorher ?

[Joe]

Zu Beta FSD: Was bedeutet dieser Schritt für die FSD Flottengröße ? Wieviel HW4 gibt es in NA ? Wieviele hatten die FSD Beta vorher ?

Wir reden vielleicht über insgesamt 500.000 Autos global aber so gut wie alle neuen die jetzt zur Flotte dazu kommen sind halt HW4. Afaik wird nur noch das Model 3 mit HW3 gebaut und ob das jetzt zum Refresh so bleibt ist fraglich. Cybertruck wird auch HW4 haben.

[Milchkanne]

Ne. Das Network kann sich komplett selbst trainieren.

EGO: "Aha. Bei [Situation X] wurde interveniert? Ich schicke die Situation ans Mothership."

Mothership ruft 50.000 Clips ab - von der selben Situation aber wo NICHT interveniert wurde (oder von Human Drivern in Shadow mode) - und trainiert sich den Fehler selbst weg.


Woher weiß das Net denn, was an der ursprünglichen Intervention falsch war? Wo kommen denn die 50k Clips her? Wenn die Linksabbiegerampel bisher als geradeaus erkannt wurde. Woher weiß der Computer jetzt, dass es die Ampel war, die die Intervention ausgelöst hat? Und Ampel ist ja noch ein eher leicht "erkennbares" Problem.

Egal wie: Die richtige Ampel zu erkennen finde ich nicht trivial. Ich bin nicht sicher, ob ein End2End Image2Throttle Net da die beste Lösung ist.

Auch Verkehrszeichen sollten wahrscheinlich gesondert erkannt werden. (Also schon auch mit AI.) Oder er meint mit End to End was anderes. Ich verstehe das so, dass auch das Occupancy net damit prinzipiell überflüssig ist oder? Video rein, Gaspedal+Lenkrad raus. Ok. Theoretisch könnte man das ganze Occupancy net auch ins End2End Netz integrieren

[Joe]

6DRiotx5_7I

[MasterElwood]

Woher weiß das Net denn, was an der ursprünglichen Intervention falsch war? Wo kommen denn die 50k Clips her? Wenn die Linksabbiegerampel bisher als geradeaus erkannt wurde. Woher weiß der Computer jetzt, dass es die Ampel war, die die Intervention ausgelöst hat?

Genau SO funktionieren NN ja: Du MUSST eben nicht explizit definieren was genau falsch war. Du musst nur genug Beispiele trainieren die RICHTIG sind - und das NET passt selber die Parameter an damit das gewünschte Verhalten erreicht wird.

Das Mothership kann von der Flotte passende Videos anfordern. Auch von normalen Teslas wo ein Mensch gerade fährt. Wenn Teslas also dann bei ähnlichen Situationen (Ampeln) vorbeikommen, schicken sie einen Clip wie der Mensch sich verhalten hat, zurück ans MS (inkl. Haufen Metadaten).

[Dural]

Ich bin schon lange der Meinung das Verkehrszeichen Digital sein müssen.

Sprich dem Auto wird Mitgeteilt was Sache ist, und nicht das Auto muss ein Schild ablesen oder eine Ampel deuten etc. Die Idee für sich ist ja eigentlich so wie so schon ziemlich schwach: Die Digitale Welt soll Analoge Schilder lesen :freak:

Diese Vernetzung auch untereinander von Autos wird der Schlüsselpunkt zum kompletten fahrerlosen Autonomen fahren sein.

[Mortalvision]

Bekommen Fußgänger dann auch einrn Chip bei der nächsten Impfung? :freak:

[Milchkanne]

Genau SO funktionieren NN ja: Du MUSST eben nicht explizit definieren was genau falsch war. Du musst nur genug Beispiele trainieren die RICHTIG sind - und das NET passt selber die Parameter an damit das gewünschte Verhalten erreicht wird.

Das Mothership kann von der Flotte passende Videos anfordern. Auch von normalen Teslas wo ein Mensch gerade fährt. Wenn Teslas also dann bei ähnlichen Situationen (Ampeln) vorbeikommen, schicken sie einen Clip wie der Mensch sich verhalten hat, zurück ans MS (inkl. Haufen Metadaten).

Nochmal: Bis eben dachte das Net, "linksabbieger grün gilt auch für geradeaus". Jetzt kommt ein "hier ist was falsch" und schon kann das Netz selbstständig 50k Beispiele für die bis gerade eben für richtig gehaltene Situation finden?

Woher weiß das Netz jetzt, dass es die Ampel war und nicht der Hund war, der an die Ampel pinkelt? Sowas können NNs? Beeindruckend, ich könnte das nicht.

[Marodeur]

Bekommen Fußgänger dann auch einrn Chip bei der nächsten Impfung? :freak:

Haben wir doch schon längst. :biggrin:

[Dural]

Wenn ein Mensch hinter einer schlecht einsehbarer Kurve steht, und ein anders Auto davor waren kann ist auch dem Fussgänger geholfen ;)

Ohne wird es nicht gehen.

[MasterElwood]

Wenn ein Mensch hinter einer schlecht einsehbarer Kurve steht, und ein anders Auto davor waren kann ist auch dem Fussgänger geholfen ;)

Ohne wird es nicht gehen.

Also fährt JEDER Mensch JEDEN hinter einer schlecht einsehbaren Kurve nieder? Oder verringern wir einfach die Geschwindigkeit Situationsangepasst 😜

Ein Level 5 Auto muss ALLEINE fahren können. Ohne Internet - ohne TIPPS von außen. Alles andere is Pfusch.

[MasterElwood]

Nochmal: Bis eben dachte das Net, "linksabbieger grün gilt auch für geradeaus". Jetzt kommt ein "hier ist was falsch" und schon kann das Netz selbstständig 30k Beispiele für die bis gerade eben für richtig gehaltene Situation finden?

Woher weiß das Netz jetzt, dass es die Ampel war und nicht der Hund war, der an die Ampel pinkelt? Sowas können NNs? Beeindruckend, ich könnte das nicht.

Hier im Detail wie V12 funktioniert:

https://youtu.be/FDsZJA_bhTA?si=zO2DjtPGRSQoNVNe

[Milchkanne]

Hier im Detail wie V12 funktioniert:

https://youtu.be/FDsZJA_bhTA?si=zO2DjtPGRSQoNVNe

Dass das Video absolut nicht zum Thema (woher weiß das Netz, was an einer Situation falsch war) beitragen wird, war mir irgendwie klar. Ich habs dennoch mal geguckt.

Der Überschrift "How Does Tesla FSD 12 ACTUALLY WORK?" wird "Dr. Know-it-all Knows it all" absolut nicht gerecht. Das video ist voll von Spekulation. Er behauptet auch ständig nicht wirklich zu wissen, wie Tesla das macht, sondern dass es nur seine Interpretation wäre.

Er vermutet, dass Tesla das Problem in meherere Teile zerlegt hat. Ein Net für Vision, eins für Decision making und eines für Output control. Alles andere wäre zu schwierig. Er sagt vielleicht machen sie es monolithisch, er hält das aber für zu schwierig. Comma.ai beweist, dass eine winzige Firma das monolitisch machen kann. Klar ist das Tesla System 20x aufwändiger. Aber die haben sicherlich 100x mehr Resourcen.

Er behauptet, Navigation wäre das große Problem bei FSD. Versteh mich nicht falsch. Ich habe oft gesehen, wie ein Tesla in der falschen Spur fährt und dann doch abbiegen will. Ich behaupte: Navigation ist das unwichtigste Problem bei FSD. Wenn FSD 100% sicher fährt, aber ständig seine Ausfahrt verpasst ist es zwar unbrauchbar aber ungefährlich. Er behauptet, das Auto würde sicher Fahren, nur die integration der Navigation wäre das Problem. Und er wüsste auch nicht, wie man das gut integrieren könnte ("knows-it-all"). Ob sich das Auto ständig verfährt, interessiert keine Sicherheitsbehörde. Das ist eine Sache zwischen Tesla und den Kunden. Nachfolgenden Verkehr blockieren, weil sich der Tesla spät in eine Schlange drängeln will, sollte mit V12 ja auch behoben sein. Das sollte hoffentlich nicht oft in den Trainingsdaten drin sein.


Aber nochmal: Wie die AI jetzt 50k Videos mit vergleichbaren Szenen aus dem Tesla Archiv kramen können soll, wenn es nicht genau gesagt bekommt, was jetzt wirklich falsch war, ist mir immer noch ein Rätsel. Dazu wurde im Video natürlich nichts gesagt.

[Actionhank]

Dass das Video absolut nicht zum Thema (woher weiß das Netz, was an einer Situation falsch war) beitragen wird, war mir irgendwie klar. Ich habs dennoch mal geguckt.

Der Überschrift "How Does Tesla FSD 12 ACTUALLY WORK?" wird "Dr. Know-it-all Knows it all" absolut nicht gerecht. Das video ist voll von Spekulation. Er behauptet auch ständig nicht wirklich zu wissen, wie Tesla das macht, sondern dass es nur seine Interpretation wäre.

Er vermutet, dass Tesla das Problem in meherere Teile zerlegt hat. Ein Net für Vision, eins für Decision making und eines für Output control. Alles andere wäre zu schwierig. Er sagt vielleicht machen sie es monolithisch, er hält das aber für zu schwierig. Comma.ai beweist, dass eine winzige Firma das monolitisch machen kann. Klar ist das Tesla System 20x aufwändiger. Aber die haben sicherlich 100x mehr Resourcen.

Er behauptet, Navigation wäre das große Problem bei FSD. Versteh mich nicht falsch. Ich habe oft gesehen, wie ein Tesla in der falschen Spur fährt und dann doch abbiegen will. Ich behaupte: Navigation ist das unwichtigste Problem bei FSD. Wenn FSD 100% sicher fährt, aber ständig seine Ausfahrt verpasst ist es zwar unbrauchbar aber ungefährlich. Er behauptet, das Auto würde sicher Fahren, nur die integration der Navigation wäre das Problem. Und er wüsste auch nicht, wie man das gut integrieren könnte ("knows-it-all"). Ob sich das Auto ständig verfährt, interessiert keine Sicherheitsbehörde. Das ist eine Sache zwischen Tesla und den Kunden. Nachfolgenden Verkehr blockieren, weil sich der Tesla spät in eine Schlange drängeln will, sollte mit V12 ja auch behoben sein. Das sollte hoffentlich nicht oft in den Trainingsdaten drin sein.


Aber nochmal: Wie die AI jetzt 50k Videos mit vergleichbaren Szenen aus dem Tesla Archiv kramen können soll, wenn es nicht genau gesagt bekommt, was jetzt wirklich falsch war, ist mir immer noch ein Rätsel. Dazu wurde im Video natürlich nichts gesagt.
Du erwartest doch nicht, daß unsere Jubelperser hier mehr wissen, als dass NN die Abkürzung für Neural Network ist?!

[MasterElwood]

@milchkanne du brauchst einem NN nicht beibringen "was es falsch gemacht hat". Du mußt ihm nur paar tausend mal zeigen "wie man es richtig macht". Den Rest macht es dann selbst.

[Joe]

Auch eine ganz gute Zusammenfassung:

Tesla's FSD v12 for the first time will use an "end-to-end" neural network approach to autonomous driving. This is NOT just an incremental update; it's a paradigm shift. Let's explain.

End-to-end Neural Networks for Autonomous Driving
In an end-to-end system, the input (primarily video data, in this case) goes straight through a neural network, and the output is the final action (like steering, braking, etc.). There's no middle-man algorithm to convert sensor data into some intermediate form. And there's not hundreds of thousands of lines of heuristic code to try to determine how the car should act in certain situations. v12 processes and makes driving decisions much like how our brains work.

So, what's the big deal?
Currently Tesla's FSD v11 has separate parts or "modules" to handle specific jobs like identifying objects, planning the route, and actually steering the car. Each of these parts needs its own specialized training and heaps of specific data to work correctly.

End-to-end learning, however, bypasses this by training a single, unified model to map raw sensor inputs directly to control outputs. This holistic training allows the system to capture more nuanced relationships and dependencies in the data, facilitating better generalization.

One of the greatest benefits to end-to-end is that FSD should start to exhibit zero-shot learning. Zero-shot learning is a machine learning concept where a model is designed to handle tasks it has never seen before, without requiring any additional training. Instead of needing new data and training for each new scenario, a zero-shot model uses its existing knowledge to make educated decisions. This is a big deal.

Here's some specifics of how FSD will likely see zero-shot learning benefits.

Rapid Adaptation to New Locations: If the system is trained in a specific geographic location with unique road signs, road conditions, and traffic behavior, zero-shot learning would allow it to adapt to new cities or countries without having to be retrained on local data.

Handling Edge Cases: Even an exceedingly well-performing system can encounter scenarios it has never seen before, such as complex accident scenes or unusual objects on the road. Zero-shot learning would enable the system to make informed decisions in these unfamiliar situations based on its ability to generalize from its training data.

Dynamic Traffic Conditions: Zero-shot learning would help the system adapt to traffic scenarios it hasn't been trained on, such as rare events like marathons, parades, or emergency evacuation scenarios, thereby ensuring safety and optimal route selection.

Human Interaction: Zero-shot learning could improve the vehicle's ability to understand and adapt to unpredictable human behavior, be it from drivers, pedestrians, or cyclists. This could be particularly useful in scenarios where human behavior deviates from the norm, like jaywalking or erratic driving.

Seasonal Weather: Conditions like snow, fall leaves, or rain can significantly alter the driving environment. A zero-shot learning-equipped system would be better at adapting to these changes in real-time, ensuring safer driving year-round.

Faster Deployment: Since the system would be better at generalizing from existing data, it could be deployed in new environments or updated to meet new regulations more quickly, providing the company with a competitive advantage.

Multi-modal Integration: If Tesla ever chose to add more sensors to their FSD hardware suite, zero-shot learning could facilitate seamless integration of these sensors even if the system was not originally trained on data from these sensors.

Overall, v12 is not simply just another FSD update. Rather, it's the start of a new paradigm in autonomous driving, one that likely change the future of transport forever. The end-to-end neural network will allow Tesla to improve FSD much quicker, scale much faster, handle edge cases much safer, and navigate complex traffic conditions with unprecedented efficiency.

So, who's excited about FSD v12?

[Tobalt]

Dann sage mal: Mit einem monolithischen Netz was von echten Cam Daten der menschlichen Fahrer lernt:

1) Wie willst du Rahmenbedingungen definieren, wenn man das Netz halt einfach nicht weiß was eine Straße/Ampel/Person usw. ist?
2) Wie willst du den board Screen füllen wenn es kein Modul mehr gibt was die abstrakte 3d szene erstellt?
3) Wie willst du jemals besser als gute Menschen fahren wenn du keine scores definieren kannst? (hängt mit 1. zusammen)

[Milchkanne]

@milchkanne du brauchst einem NN nicht beibringen "was es falsch gemacht hat". Du mußt ihm nur paar tausend mal zeigen "wie man es richtig macht". Den Rest macht es dann selbst.

Das bezweifel ich auch nicht. Du hast aber behauptet, man sagt einmal "hier ist irgendwas falsch" und das Mothership sucht sich automatisch 50k Beispiele, wie es richtig geht. Oder hab ich das falsch verstanden und du zeigst einfach 50k beliebige Schnipsel und da ist vielleicht mal ne Linksabbiegerampel dabei?

Oder meinst du mit "Mothership" den Elon persönlich?

[MasterElwood]

Das bezweifel ich auch nicht. Du hast aber behauptet, man sagt einmal "hier ist irgendwas falsch" und das Mothership sucht sich automatisch 50k Beispiele, wie es richtig geht. Oder hab ich das falsch verstanden und du zeigst einfach 50k beliebige Schnipsel und da ist vielleicht mal ne Linksabbiegerampel dabei?

Oder meinst du mit "Mothership" den Elon persönlich?

"Mothership" is der Trainingscomputer. Der lässt sich Clips schicken von Orten/Szenarien die so ähnlich wie möglich sind. Also im optimalen Fall von der SELBEN Kreuzung - und von Kreuzungen die ÄHNLICH sind. Und durch die massive Anzahl an Clips von (nur guten) menschlichen Fahrern lernt die KI wann es optimal ist wie zu fahren - in Bezug auf wie die Lichter der Ampel leuchten, wo grade andere Autos stehen und fahren usw.

Ein Mensch könnte genauso lernen. Du könntest einen Menschen, der absolut keine Ahnung von Verkehrszeichen/Regeln usw hat, zu einer Kreuzung setzen - und spätestens nach paar Stunden/Tagen hat er kapiert wann/wie man fahren darf - bei welchen Lichtern der Ampel und nur wann keine Autos kommen usw. Und das ohne ein einziges Wort der Straßenverkehrsordnung zu kennen. Nur durch beobachten von vielen vielen Durchläufen. So funktioniert V12.

[Milchkanne]

"Mothership" is der Trainingscomputer. Der lässt sich Clips schicken von Orten/Szenarien die so ähnlich wie möglich sind. Also im optimalen Fall von der SELBEN Kreuzung - und von Kreuzungen die ÄHNLICH sind. Und durch die massive Anzahl an Clips von (nur guten) menschlichen Fahrern lernt die KI wann es optimal ist wie zu fahren - in Bezug auf wie die Lichter der Ampel leuchten, wo grade andere Autos stehen und fahren usw.


Der Trainingscomputer weiß also schon genau, was an der Situation falsch war? Und kann dann beurteilen, wann in den Clips eine ähnliche Situation korrekt behandelt wurde? Und das alles von einem einzigen nicht erläuterten negativen Beispiel?

Und du willst ihm dann möglichst viele Clips von möglichst der selben Kreuzung zeigen, damit er diese eine Kreuzung besonders gut kann?

Keine Ahnung. Vielleicht interpretiere ich da zuviel rein, aber Elon meinte "the solution is essentially to feed the network a bunch more video of traffic lights" und "we'll feed a bunch of video of controlled left turns (?) and it'll work". Mir kommt er so vor, als dass er wissen würde, wenn sich der Computer das selber zusammenstellen könnte.

Tatsächlich könnte FSD11 die Situation wahrscheinlich korrekt beurteilen und dann passende weitere Situationen raussuchen. Aber das geht natürlich nur, wenn FSD11 dafür schon korrekt programmiert wurde. Für die Fälle wo FSD12 besser sein soll kann FSD11 natürlich nicht helfen.

[Joe]

Dann sage mal: Mit einem monolithischen Netz was von echten Cam Daten der menschlichen Fahrer lernt:

1) Wie willst du Rahmenbedingungen definieren, wenn man das Netz halt einfach nicht weiß was eine Straße/Ampel/Person usw. ist?
2) Wie willst du den board Screen füllen wenn es kein Modul mehr gibt was die abstrakte 3d szene erstellt?
3) Wie willst du jemals besser als gute Menschen fahren wenn du keine scores definieren kannst? (hängt mit 1. zusammen)

1) Woher weißt Du was eine Straße, Ampel, Person ist?
Warum sprichst Du überhaupt Deutsch? Wie konntest Du die Sprache Lernen wenn Du Sie am Anfang nicht konntest ;)

2) Ich vermute, dass das System trotzdem Modular aufgebaut ist. Es sind nur NN Module. Und selbst das Modul das den Voxelspace generiert hat wahrscheinlich dutzdende oder hunderte Untermodule die man alle einzeln Trainieren und Feintunen kann. Ich kann mir beim besten Willen nicht vorstellen, dass FSD12 nur ein großes NN ist das alles macht.

3) Selbst wenn das System nicht besser fahren kann als ein Mensch darfst Du nicht vergessen, dass es sich nicht am durchschnittlichen Fahrer orientiert sondern am obersten Prozent oder Promille. Wenn jedes Autonome Auto so gut Fährt wie die obersten 10% bzgl. Fehlern und gleichzeitig nie abgelenkt, müde oder sonst was ist hätten wir schon sehr viel weniger Tote und Verletzte.

[MasterElwood]

Der Trainingscomputer weiß also schon genau, was an der Situation falsch war? Und kann dann beurteilen, wann in den Clips eine ähnliche Situation korrekt behandelt wurde? Und das alles von einem einzigen nicht erläuterten negativen Beispiel?

NEIN! Der Trainingscomputer hat KEINE AHNUNG was falsch gelaufen ist! Er weiß dass am Ort X (wahrscheinlich) etwas falsch gelaufen ist - weil es ein Disengagement gegeben hat. Also organisiert er sich zig-tausende Clips von ORT X und ähnlichen Orten wo menschliche Fahrer alles richtig gemacht haben. Und nach trainieren mit den x-tausend Clips weiß das Ding immer noch nicht was es falsch gemacht hat - aber es weiß jetzt wie man es RICHTIG macht - und macht es dadurch auch nicht mehr falsch.

[Milchkanne]

NEIN! Der Trainingscomputer hat KEINE AHNUNG was falsch gelaufen ist! Er weiß dass am Ort X (wahrscheinlich) etwas falsch gelaufen ist - weil es ein Disengagement gegeben hat. Also organisiert er sich zig-tausende Clips von ORT X und ähnlichen Orten wo menschliche Fahrer alles richtig gemacht haben. Und nach trainieren mit den x-tausend Clips weiß das Ding immer noch nicht was es falsch gemacht hat - aber es weiß jetzt wie man es RICHTIG macht - und macht es dadurch auch nicht mehr falsch.

Was wenn der Ort nicht das Problem war? Ein Kind am Straßenrand, ein Ball, ein falsch gesetzter Blinker vom Auto nebenan? Das führt zur Intervention. Und das Mothership kann sich jetzt von einem nicht erklärten Beispiel 50k andere Beispiele raussuchen, wo ein ähnliches Problem bestand?

Also man braucht 50k korrekte Beispiele um es richtig zu lerenen, aber nur ein einziges falsches um 50k Beispiele zu finden, wo es richtig gemacht wurde? Das verstehe ich einfach nicht. Mir würde das nicht gelingen - also wenn ich nicht ohnehin schon weiß, was falsch war.

Und wie gesagt: Elon hat nicht behauptet, dass sich das Netz selbst trainiert. (Zumindest nicht im FSD12 Video)

[Joe]

:D

https://i.imgur.com/esdGNtK.png

[Joe]

Ne0SAQ_I3OI

[Joe]

856QKnnlq3g

[Joe]

RiFzcAlr8XE

[Joe]

2VWyaAzwMT0

[Joe]

Xh7yrgp7A7Q

[Milchkanne]

https://youtu.be/Xh7yrgp7A7Q

Was willst du uns mit dem Video sagen? Perfekt ist das lange nicht.
3:33 fährt auf ner Linksabbieger Spur geradeaus.
3:35 fährt auf ner Busspur und wechselt dann die Spur über eine gestreifte Insel

Es gibt noch bestimmt 5 Situationen, wo ich mich unwohl gefühlt hätte.

Beeindruckend? Klar. Aber das ist FSD schon lange. Perfekt ist das lange nicht.

Weh tuts irgendwie bei 5:15, wo klar eine grüne Welle bei 20 ist. Und alle Autofahrer beschleunigen natürlich auf 25, bremsen auf 15, beschleunigen auf 25 und das ca 10x... (Kein Vorwurf an den Tesla. Die Menschen sind genauso blöde.)

Poste doch bitte nicht einfach kommentarlos Videos. Hast du die überhaupt selber geguckt?

[MasterElwood]

Alles was V11 ist - ist sowieso veraltet und uninteressant. Weckt mich wenn V12 da ist...

[Joe]

Poste doch bitte nicht einfach kommentarlos Videos. Hast du die überhaupt selber geguckt?

Ich schau alle FSD Videos von dem Kanal und ich poste das hier im den Progress zu dokumentieren.
Wenns Dich nicht interessiert, schaus Dir halt nicht an :)

[Milchkanne]

Ich schau alle FSD Videos von dem Kanal und ich poste das hier im den Progress zu dokumentieren.
Wenns Dich nicht interessiert, schaus Dir halt nicht an :)

Und woher soll ich wissen, ob es interessant ist, wenn du die hier einfach hinrotzt? An der Anzahl der Kommentare anderer, scheint das interesse an deinen Videos nicht hoch zu sein. Wenn jemand dem Channel folgen will, brauch er das nicht hier im Forum zu tun.

Setz dir Bookmarks, wenn du was für dich dokumentieren willst.

[Joe]

FSD 11.4.4 in SF

t2e7I6_3ENA

[derpinguin]

Ein Diskussionsthread ist kein kommentarlose Videos Thread.

[MasterElwood]

Ein Diskussionsthread ist kein kommentarlose Videos Thread.

Sollen wir jetzt zu jedem Video "schaut euch das an" oder "dass hier finde ich interessant" dazuschreiben?

[Tobalt]

Einfach ein zwei Sätze worum es geht..

Für den Fall dieser FSD vids:

"A klappt jetzt super. Abbiegen müssen sie noch verbessern" (erfundenes Beispiel)

[Trap]

https://x.com/alexgkendall/status/1716504742946570744

Mal nicht Tesla, Waymo, Cruise oder Chinesen. Mit end-to-end Netzen in London. Und grausamer Videoqualität auf x.com.

Auf https://wayve.ai/technology/av2-0/ ist auch ein längeres Video zu den Hintergründen.

[Milchkanne]

Mal nicht Tesla, Waymo, Cruise oder Chinesen. Mit end-to-end Netzen in London. Und grausamer Videoqualität auf x.com.

Auf https://wayve.ai/technology/av2-0/ ist auch ein längeres Video zu den Hintergründen.

Interessant. Die haben auch eine riesige Kollektion auf Youtube (https://www.youtube.com/@wayve/videos).
End-to-end, vision only (+normales Radar).

Die haben auch eine interessante Text2Video AI, um testsequenzen zu erstellen: https://wayve.ai/thinking/scaling-gaia-1/

[Joe]

https://x.com/alexgkendall/status/1716504742946570744

Mal nicht Tesla, Waymo, Cruise oder Chinesen. Mit end-to-end Netzen in London. Und grausamer Videoqualität auf x.com.

Auf https://wayve.ai/technology/av2-0/ ist auch ein längeres Video zu den Hintergründen.

This video shows @wayve_ai's autonomous vehicle driving through London. With no lidar, no HD-maps, no hand-coded rules. Just pure on-board intelligence from our end-to-end neural network. #EmbodiedAI

This is the way.
Jeder der etwas anderes versucht wird scheitern.

[Tobalt]

Gehe ich fast mit.

Video-to-Wheel ist jetzt der Weg, solange sich die Straße mit Menschen geteilt wird.

Später wenn es AI exklusive wege gibt, kann man mit Modulen IMO besser übermenschliche Performance erreichen.

Wo kriegt Wayve Trainingsdaten her?

[Joe]

Wo kriegt Wayve Trainingsdaten her?

Für eine Demo brauchst Du nicht viel.
Ich würde vermuten, mit einer Hand voll Autos kannst Du einfach für paar Wochen eine bestimmte Strecke abfahren und ein Modell End to End damit trainieren.

Wenn Du aber eine sehr viel breitere Lösung willst, so was wie FSD wo das Auto ja letztendlich auf jeder Straße der Erde funktionieren soll brauchst Du absolut hirnrissige Mengen an Daten.
Niemand außer Tesla hat dieses Data Flywheel. Wenn sich nicht überraschend rausstellt, dass Simulationen auch geeignet gibts keine Konkurrenz.
Wenn sich rausstellt das man irgendwie aus wenigen Trainingsdaten viele machen kann ist vielleicht noch Mobileye im Rennen.

Was IMHO immer noch nicht richtig verstanden wird, ist dass es ein Winner Takes All rennen ist. In 20 Jahren werden die Tools so fortgeschritten sein, dass wahrscheinlich eine Studentengruppe in wenigen Wochen ein System erschaffen kann, dass besser funktioniert als FSD heute.
Und entsprechend wird jeder Autohersteller das auch können.
Aber warum sollte ich mich in das Daimler System hocken, dass statistisch alle 500.000km crasht, wenn ich mich in das Tesla system hocken kann, dass denn vielleicht statistisch alle 5.000.000km crasht?
Wenn ein System objektiv 10x sicherer ist als ein anderes, stellt sich die Frage ob es überhaupt noch moralisch vertretbar ist das schlechtere System zuzulassen.

/edit

Ich denke es wird super interessant, wenn wir sehen ob Firmen wie GM oder google anfangen Ihre Systeme zu mischen.
Also Geofence, obszöne Menge an Sensoren nur Tagsüber und bei schönen Wetter aber unter der Haube dann mit diesem stark eingeschränkten Anwendungsfall versuchen mit AI ins Rennen zu kommen.

[Milchkanne]

Für eine Demo brauchst Du nicht viel.
Ich würde vermuten, mit einer Hand voll Autos kannst Du einfach für paar Wochen eine bestimmte Strecke abfahren und ein Modell End to End damit trainieren.

Da hab ich vor ner Woche oder so jemanden gesehen, der hat auf die unbrauchbarste Weise versucht einen Self-driving experiment zu machen. Der hat nen Arduino als digitale Wasserwage ans Lenkrad geklebt und ne Webcam an die Windschutzscheibe um Daten zu sammeln. Sein Ziel: Zum Cafe fahren, Daten sammeln, mit seiner Mutter was trinken & Model trainieren und dann zurückfahren lassen.
Ergebniss war natürlich durchschnittlich, aber zeigt was du sagst. (Ich find leider nicht die Quelle)

Wenn Du aber eine sehr viel breitere Lösung willst, so was wie FSD wo das Auto ja letztendlich auf jeder Straße der Erde funktionieren soll brauchst Du absolut hirnrissige Mengen an Daten.

Ich glaube nicht, dass es zielführend ist eine AI zu bauen, die unverändert auf allen Straßen weltweit fahren kann. An der Landesgrenze lässt sich prima ein neues Modell laden. Und Bezahlen natürlich.


Was IMHO immer noch nicht richtig verstanden wird, ist dass es ein Winner Takes All rennen ist.
Aber warum sollte ich mich in das Daimler System hocken, dass statistisch alle 500.000km crasht, wenn ich mich in das Tesla system hocken kann, dass denn vielleicht statistisch alle 5.000.000km crasht?

Heute gibt es Autos mit 1-Stern NCAP und 5-Stern NCAP. Warum sollte das bei self-driving anders sein?



Wenn ein System objektiv 10x sicherer ist als ein anderes, stellt sich die Frage ob es überhaupt noch moralisch vertretbar ist das schlechtere System zuzulassen.

Kein Land wird 90% der Autohersteller ausschließen wollen. Vor allem nicht die, die Autoindustrie haben (es sei denn exklusiv die 10% sind im Land). Moralisch ... es is so viel erlaubt, was dich und andere schädigen kann. Es ist nicht moralisch ein 100x sichereres System zu erlauben, wenn es noch regelmäßig schlimme Unfälle baut. Ob ein Auto jede 500k oder 5 Mio km noch nen Blechschaden verursacht ist fast egal.

[Milchkanne]

Weils hier noch nicht geposted wurde:
https://www.vice.com/en/article/4a3ba3/california-dmv-suspends-cruises-self-driving-car-license-after-pedestrian-injury
Cruise Self-Driving License Revoked After It Withheld Pedestrian Injury Footage, DMV Says
The DMV said the vehicles “are not safe for the public’s operation.”

[[dzp]Viper]

Weils hier noch nicht geposted wurde:
https://www.vice.com/en/article/4a3ba3/california-dmv-suspends-cruises-self-driving-car-license-after-pedestrian-injury
Du hast die Meldung noch nicht selber gelesen oder?

Die Aussagen der Offiziellen wundern mich schon sehr.

Der Fussgänger wurde nämlich zuerst von einem anderen, normalen, Fahrzeug auf der Gegenfahrbahn erwischt und auf die Fahrspur des Cruise-Fahrzeuges geschleudert.
Das Cruise-Fahrzeug konnte in der kurzen Zeit nicht ausweichen und hat eine Vollbremsung hingelegt. Leider hat die Vollbremsung nicht gereicht und das Fahrzeug hat den Fussgänger nochmal erwischt und ein Stück mitgeschliffen.

Das eigentlichen Unfallfahrzeug, was den Fussgänger zuerst getroffen hat, ist abgehauen...

Ein menschlicher Fahrer hätte da genauso wenig eine Chance gehabt.. und ggf. sogar gar nicht reagiert.

Jetzt dem Unternehmen vorzuwerfen, dass es nicht sicherer wäre ist doch absolut lächerlich....

[Trap]

Viper;13423255']Das Cruise-Fahrzeug konnte in der kurzen Zeit nicht ausweichen und hat eine Vollbremsung hingelegt. Leider hat die Vollbremsung nicht gereicht und das Fahrzeug hat den Fussgänger nochmal erwischt und ein Stück mitgeschliffen.
Das ist so nicht korrekt zusammengefasst.

a) hat Cruise nicht die vollständige Videoaufzeichnung den Behörden gezeigt
und b) ist das Fahrzeug nach dem Halt nochmal angefahren und hat den Fußgänger 20 weitere Fuß mitgeschleift.

[Milchkanne]

Falls es noch jemanden interessiert, ich hab das DIY self-driving car video gefunden:
https://hackaday.com/2023/10/17/full-self-driving-on-a-budget/
Wenn ich das richtig in Erinnerung habe, hat er am Ende nur am Computer aus dem Video eine Lenkradstellung pro Frame berechnet und mit seinen eigenen Lenkmanövern verglichen und das nie real getestet. Unter anderem war ihm ein OBD Adapter zu teuer (??? die gibts für nen 10er), daher hat er auch nen Arduino als Wasserwage an das Lenkrad geklebt...

[Joe]

b) ist das Fahrzeug nach dem Halt nochmal angefahren und hat den Fußgänger 20 weitere Fuß mitgeschleift.

Angeblich wollte es nach dem Unfall "rechts ran fahren".
Ist halt echtes Neuland und solche Dinge werden Anfangs passieren.
Hoffentlich findet sich zügig ein Prozess bei dem Behörden Lizenzen schnell entziehen und neu Vergeben können.

Also jetzt am Beispiel von Cruise gehört die Lizenz sofort entzogen aber nach Software Update auch sofort wieder erteilt.

Grundsätzlich finde ich den Prozess von Cruise und Waymo sehr verantwortungslos gegenüber dem was Tesla oder Ford machen.
MMN gehört da ein Fahrer rein der im Notfall die Kontrolle übernimmt. Lokal, Remote wie auch immer bis ein bestimmts Niveau erreicht ist.

[mojojojo]

Fand beim ersten Lesen vor ein paar Tagen schon irgendwie, dass da das konkurrierende Unternehmen wohl tiefere Taschen hatte...Oder da jemand bei der Behörde keinen Bock auf selbstfahrende Autos hat und nur einen Grund brauchte.
In beiden fällen ist das Auto nicht Schuld und hat besser reagiert als es ein Mensch wahrscheinlich hinbekommen hätte. Und trotzdem wird entzogen? Riecht irgendwie nach Fisch. Ich weiss nicht.

[Milchkanne]

In beiden fällen ist das Auto nicht Schuld und hat besser reagiert als es ein Mensch wahrscheinlich hinbekommen hätte. Und trotzdem wird entzogen? Riecht irgendwie nach Fisch. Ich weiss nicht.

Du willst sagen, ein Mensch wäre nach dem er jemanden unverschuldet angefahren hat, rechts rangefahren ohne zu gucken, ob der Angefahrene noch irgendwo liegt?

Dann nachher nicht das volle Video zeigen, sondern nur das, was den menschlichen Fahrer belastet riecht irgendwie auch nach Fisch. Ich weiss nicht.

[Trap]

Angeblich wollte es nach dem Unfall "rechts ran fahren".
Ist halt echtes Neuland und solche Dinge werden Anfangs passieren.
Solche Situationen, die nicht "Autofahren" sind, werden wohl noch eine Hürde sein.

Road rage, Unfälle, Überfälle, Vandalismus, Naturkatastrophen, aggressive wilde Tiere (z.B Bären) und so weiter. Ich glaub das muss man nicht zwangsweise alles lösen um Robotaxis zu haben. Ohne Passagier ist es halt Betriebskosten (solang man dabei nichts anderes beschädigt), vielleicht auch Behinderung von anderen Verkehrsteilnehmern.

Mit Passagier ist der schwierige Teil. Ohne direkte Einflussmöglichkeit im Robotaxi sitzen, dass die Situation nicht versteht, ist kein angenehmes Szenario.

[mojojojo]

Du willst sagen, ein Mensch wäre nach dem er jemanden unverschuldet angefahren hat, rechts rangefahren ohne zu gucken, ob der Angefahrene noch irgendwo liegt?

Dann nachher nicht das volle Video zeigen, sondern nur das, was den menschlichen Fahrer belastet riecht irgendwie auch nach Fisch. Ich weiss nicht.

Ich will sagen, dass bei einem Menschen die Wahrscheinlichkeit eines ungebremsten Anfahrens mit anschließendem weiterschleifen, wesentlich größer gewesen wäre.
Nach dem Erkennen eines "Einschlags" weiter Vorwärts zu fahren (in welcher Form auch immer) ist mit Sicherheit nicht unbedingt schlau und ganz klar ein Fehler. Hätte ein Mensch aber durch die höhere Reaktionszeit sehr wahrscheinlich im Endeffekt auch gemacht. Nur halt alles ungebremst.

Kurz gesagt: Selbst mit dem Fehler den das Auto hier gemacht hat, ist die Sicherheit der beteiligten wahrscheinlich größer gewesen wie bei einem menschlichen Fahrer.

[Joe]

FSD V12 in
About 2 weeks

Laut Musk.
Zwei Möglichkeiten:
1. Edgelord Trolling und es dauert noch 6+ Monate
2. In etwa zwei Wochen ist Cybertruck Event. Vielleicht will man beides kombinieren.

[Joe]

FSD 11.4.8 Release Notes

https://i.redd.it/ixwcps6bgj0c1.png

[Joe]

CEO of Cruise GG'ed raus:

The last 10 years have been amazing, and I’m grateful to everyone who helped Cruise along the way. The startup I launched in my garage has given over 250,000 driverless rides across several cities, with each ride inspiring people with a small taste of the future. (2/5)

Cruise is still just getting started, and I believe it has a great future ahead. The folks at Cruise are brilliant, driven, and resilient. They’re executing on a solid, multi-year roadmap and an exciting product vision. I’m thrilled to see what Cruise has in store next! (3/5)

To my former colleagues at Cruise and GM - you’ve got this! Regardless of what originally brought you to work on AVs, remember why this work matters. The status quo on our roads sucks, but together we’ve proven there is something far better around the corner. (4/5)

As for what’s next for me, I plan to spend time with my family and explore some new ideas. Thanks for the great ride! (5/5)

[Joe]

https://i.imgur.com/b3feyuv.png

[Godmode]

FSD 12 Rollout an die Tesla Mitarbeiter hat begonnen. Dh. wir werden FSD12 auch zeitnah beim Kunden sehen. :up:

https://twitter.com/SawyerMerritt/status/1728093979567173677

[Joe]

Angeblich auch schon an Kunden:

https://i.imgur.com/PDhBp8T.png

[ceed]

FSD 12 Rollout an die Tesla Mitarbeiter hat begonnen. Dh. wir werden FSD12 auch zeitnah beim Kunden sehen. :up:

https://twitter.com/SawyerMerritt/status/1728093979567173677

da waren die "zwei Wochen" doch kein Troll vom Elon. Da bin ich mal super gespannt auf die ersten YT-Videos.

[Tobalt]

Gibt's mehr Substanz zu den FSD Gerüchten in Europa?

Deutschland wird dies wohl aus Protektionismus noch 15 Jahre boykottieren bis VW und co was eigenes haben. Aber Länder wie die Schweiz/Holland/Norwegen ohne große Automarken werden da wohl eher öffnen..

[BUG]

Da Europa Teil/Mitglied der UNECE (Weltforum zur Harmonisierung der Fahrzeugvorschriften) ist und eine Regelung über DCAS (Driver Control Assistant System) notwendig ist, wird es bei uns in Europa wohl mit FSD noch etwas dauern. Da werden genügend Steine der Bedenkenträger in den Weg gelegt. Allerdings sind einige Bedenken sicherlich auch gerechtfertigt.

USA und China sind nicht Teil der UNECE (dürfe aber Vorschläge einbringen) und können/wollen unabhängig davon agieren.

Edit: Eine Public Beta für die EU wird es wohl frühestens Ende 2024 geben.

Es wäre dennoch schön, wenn wir wenigstens den V12 Stack bekommen und der Standard Autopilot und der Erweitere Autopilot mit dem neuen Stack bei uns fahren dürfen. :smile:

[Joe]

Gibt's mehr Substanz zu den FSD Gerüchten in Europa?

Mein Stand ist, dass die große EU Richtlinie dazu angeblich schon in den nächsten Woche durchs Parlament soll. Die Prio von dem Ding wurde vor etwa 8 Monaten von "Meh" auf "PRIO 1!!!1" geändert.

Der übliche Prozess wäre dann, dass es in den Mitgliedsländern dann so in 12-24 Monaten Rechtssicherheit für Hersteller wie Tesla gibt. Und dann wird das kommen. Vermutlich sehr ähnlich wie in den USA aber EU typisch mit mehr Disclaimern, Warnhinweisen und mehr Nagging ;D

Der andere wichtige Markt ist China. Auch da hat sich in den letzten Wochen erheblich was getan und ich gehe fest davon aus, dass ein Rollout von FSD zumindest rechtlich möglich in den nächsten 12 Monaten kommen könnte.

[ceed]

In China soll es wohl auch bald los gehen mit FSB.
Spätestens wenn sich zeigt, dass dort und in den USA damit wirklich sicher gefahren werden kann wird man es auch hier frei geben. Gab doch auch Gerüchte über Lizenznehmer- vielleicht kauft sich VW und Co. das Ding einfach und lobbyiert dann dafür.

[Tobalt]

Nein..VWs Selbstwahrnehmung = Gröfaz.

Die werden nichts von Tesla lizensieren. Wenn dann nur in Nischen, die sie nicht bedienen wollen, aber bei FSD mache sie was eigenes. Natürlich erst in zig Jahren..Bis dahin wird lobbyiert und geblockt.

[Joe]

I
Spätestens wenn sich zeigt, dass dort und in den USA damit wirklich sicher gefahren werden kann wird man es auch hier frei geben.

Ich bin fest überzeugt wir werden in Europa allgemein und speziell in Deutschland in den nächsten Jahren eine heftige Autonomie Panik/FOMO sehen. Sowohl von den Herstellern als auch von der Politik.

Klar, wenn jetzt Firmen wie Daimler und Co. das Rennen klar verlieren und um Ihr Geschäft fürchten wird es Lobby Druck geben auf die Politik zu bremsen.
Aber Autonomie ist der größte Volkswirtschaftliche Mehrwert seit der Erfindung des Internets. Wenn die Politik da bremst läuft man Gefahr unsere ganze Volkswirtschaft zu riskieren. Darum glaube ich das es entweder relativ smooth gehen wird oder, dass nach kurzen Stocken dann in bester Covid Panik Manier plötzlich die Schleusen ohne Rücksicht auf Verluste ausgesprengt werden.

Sehr wichtig wird werden ob die Firma, die das Rennen gewinnt das System zu nicht halsschneiderrischen Konditionen weiter lizenzieren wird.
Tesla will das tun, bei den anderen weiß ich nicht.
Wenn BMW und Telsa z.B. nächstes Jahr einen Lizenzdeal verkünden, würden VW und Daimler halt gegen die Wand rennen.

[MasterElwood]

Angeblich auch schon an Kunden:

https://i.imgur.com/PDhBp8T.png

It was a joke.


elaine b
@elainemb212
·Nov 24
Is this real??????

Whole Mars Catalog
@WholeMarsBlog
no

[Trap]

17 Minuten autonomes fahren in London mit Wayve:
m1-V-48iodA
Etwas nervige Helligkeitsschwankungen im Bild, aber interessant zu sehen und die Diskussion ist auch nicht schlecht.

[Tobalt]

Hier gibt es einen knappen Artikel zu einer chin. Entwicklung:

https://amp2.wiwo.de/unternehmen/auto/ji-yue-01-deutsche-ingenieure-halten-ein-solches-auto-fuer-nicht-machbar-in-china-startet-der-verkauf/29572674.html

Heißt Ji Yue, weiß jemand mehr darüber?

[BUG]

https://streaming.media.ccc.de/37c3/relive/12144

btw: Sehr interessanter Vortrag vom CCC bzgl. Tesla Hacking, so ganz grob. Es gibt bis jetzt zwei Möglichkeiten.

Möglichkeit 1 = AMD Zen basierte Schwachstelle der MCU, die Information wurde ja auch schon (ich meine es war Green) auf Twitter geteilt.
Möglichkeit 2 = ARM Schwachstelle des Autopilot Computers bzgl. Voltage Glitching um Manipulierte Root-of-Trust Angriffe auszuführen.

Die letzte Möglichkeit ist Neu, Tesla wurde auch vorab informiert. Bei beiden Methoden muss man physikalischen Zugriff auf die Hardware im Fahrzeug haben (Mainboard der MCU oder des Autopilot Computers) und diese dann aufwendig manipulieren (z.B. Bauteile ablöten und/oder tauschen). Es ist aber gut möglich, dass man durch diese Manipulation weitere Schwachstellen findet, welche ein Angreifer später nutzen kann. Das wird dann die Zeit zeigen... :)

[[dzp]Viper]

Hier gibt es einen knappen Artikel zu einer chin. Entwicklung:

https://amp2.wiwo.de/unternehmen/auto/ji-yue-01-deutsche-ingenieure-halten-ein-solches-auto-fuer-nicht-machbar-in-china-startet-der-verkauf/29572674.html

Heißt Ji Yue, weiß jemand mehr darüber?
Paywall..

[MasterElwood]

FSD V12.1 jetzt anscheinend bei Mitarbeitern.

[Tobalt]

Viper;13460904']Paywall..

Hmm da stand dass so ein Gerät autonom durch die Stadt gefahren ist. Nicht auf Basis welcher Technik. Deshalb meine Frage, ob jemand mehr weiß

[Sardaukar.nsn]

Gestern hat ja Xiaomi sein SU7 vorgestellt. Ein autonomes Szenario das sich nicht mehr weit entfernt ist.

wMd-rbQbrvo

[Tobalt]

Ich sehe da nur einen verbesserten Park(haus)assistent.

Klar ist es eng da, aber eben situativ extrem unterkomplex verglichen mit der "freien Wildbahn".

[TheCounter]

0tVwKUoft_o

Für eine erste Version sieht das schon sehr cool aus.

[Sardaukar.nsn]

Ich sehe da nur einen verbesserten Park(haus)assistent.

Klar ist es eng da, aber eben situativ extrem unterkomplex verglichen mit der "freien Wildbahn".

Auf CB gab es eben einen Artikel mit mehr Details. Man scheint aber auf sehr viele Sensoren und auch Lidar zu setzten.

Nvidia liefert SoC für autonomes Fahren

Anders sieht es bei den Fahrerassistenzsysteme aus, für die Nvidia zwei Orin-SoCs mit insgesamt 508 TOPS beisteuert. Der SU7 soll eines Tages autonom fahren können, wie ein entsprechendes Video zur Präsentation untermauern soll. Konkrete Details zu einer etwa hierzulande üblichen Level-2- oder Level-3-Freigabe liegen aber noch nicht vor. Xiaomi schlägt bei diesem Vorhaben allerdings den abseits von Tesla üblichen Weg einer Vernetzung verschiedener Sensoren ein, statt nur auf Kameras zu setzen. Im SU7 sind 11 HD-Kameras, 3 mmWave-Radare, 12 Ultraschallsensoren und ein LiDAR verbaut.

https://www.computerbase.de/2023-12/xiaomi-su7-das-erste-e-auto-von-xiaomi-ist-eine-sportliche-limousine/

[Joe]

https://youtu.be/0tVwKUoft_o

Für eine erste Version sieht das schon sehr cool aus.

nUr EIn vISuELLeS uPdaTe1!1

[Milchkanne]

https://youtu.be/0tVwKUoft_o

Für eine erste Version sieht das schon sehr cool aus.

Sieht echt nützlich aus. Ich weiß aber nicht, wo er das V12 her hat. End-to-end heißt ja, es wird nicht explizit so eine Welt aufgebaut.

Was mich auch wundert, er hat ja früher nachgemessen. Jetzt gibt der Tesla ja keinen Abstand mehr an. Aber er hätte ja schon genau auf die Linie fahren können und dann von der Seite ein Bild machen können. Dieses mal sagt er einfach "ja ich guck ausm Fenster und es ist genau".

Vor dem Auto wird natürlich auch immer (mit diesen Kameras) der Blind Spot bleiben. Wenn da ein Hund vorbeihuscht, kann der nicht gesehen werden. Mich wundert aber schon, dass die Kinder nicht oder nur kaum auftauchen. Der Tesla hat doch eine Kamera hinterm Rückspiegel oder? Da müssten die Kinder ja super zu sehen sein. Na ja, das wird schon noch besser. Wenn ich mir so die NERF Demos angucke, ist das hier sogar eher noch ein paar Schritte zurück. Dennoch hätte ich gerne so eine Visualisierung, wenn ich in meine Garage fahre.

Umgekehrt haben meine Ultraschallsensoren schon gelegentlich beim Rückwärtsfahren einen Rempler mit den Mülltonnen verhindert. Aber das wird der Tesla auch noch lernen.

[Joe]

WOUupM0XRy8

[Milchkanne]

Von 6 Minuten von nem Tesla Mitarbeiter kann man eigentlich kaum was ableiten. Die dürfen ja wahrscheinlich nicht die schlechten Szenen zeigen.

Dennoch: Am Anfang wartet der Tesla einfach und kriecht nicht vorwärts wie sonst. Am Ende haut der mit 20 über die Speed Huckel und fährt erst im allerletzten Moment auf die Abbiegespur.

Ich kann die Entwicklung als externer nicht gut beurteilen. Aber überwältigen tut mich das Video absolut nicht.

[BUG]

https://twitter.com/fminderop/status/1746112414897107235

Wenn sich alle im Forum bzgl. der UNECE Regeln einig sind, könnte eine public FSD Beta bei uns (EU) ab Juni 2024 möglich sein. Falls nicht, wird es wohl noch bis mindestens 2025 dauern....

[Joe]

:ubeer:

1st Wave

https://i.imgur.com/Y44lo84.png

[MasterElwood]

HW4? 🤯

[Joe]

Die ersten Videos zu FSD 12 kommen :popcorn:

1zaWuGweWvM

[Godmode]

HW4? 🤯

Bisher ging FSD ja nur mit Hardware 3, IIRC.

[Joe]

Wenn Tesla einen Weg gefunden hat die Netzte von der Hardware zu entkoppeln, wäre das ein sensationeller Durchbruch.

Vielleicht haben Sie auch nur auf HW3 und HW4 parallel trainiert.

[Milchkanne]

Ich nehm mal das realtime Video:
https://www.youtube.com/watch?v=RmuFF9urNZM

1:20 Kein "Fehler", aber irgendwie erwarte ich von jedem System <L5, dass nachgefragt wird, ob es durchfahren soll, wenn auf beiden Seiten Feuerwehr mit Blaulicht parkt. Beschleunigt dann auch recht forsch am toten Winkel der Feuerwehr heraus. Wenn das Auto sicher einschätzen konnte, dass da keiner in Hektik war, wars OK. Aber das wissen wir mit E2E natürlich eh nicht... wie viele "entspannte Feuerwehrmänner neben 2 Löschzügen" und "hektische Feuerwehrmänner in ähnlicher Situation" wohl in den Trainingsdaten sind?
7:20 Da war ein Zwischenziel erreicht oder? Ich dachte erst WTF...
9:07 Entscheidet sich IMO doch recht spät dazu, für den Gegenverkehr zu bremsen.
9:55 Entscheidet sich auch eher spät, für das herausziehende Auto zu bremsen

An mehreren Stoppschildern und auch insgesamt hatte ich das Gefühl, dass die Beschleunigung/Verzögerungen nicht ganz flüssig sind. 5:15 z.B.

Insgesamt sieht das aber natürlich schon gut aus. Ich kann auch nicht wirklich einschätzen, wie dolle mich meine aufgezählten Punkte in der Realität stören würden. Ich setz mich ja auch ohne Angstschweiß zu meiner Frau ins Auto, die fährt auch nicht flüssiger.

[MasterElwood]

Wenn Tesla einen Weg gefunden hat die Netzte von der Hardware zu entkoppeln, wäre das ein sensationeller Durchbruch.

Vielleicht haben Sie auch nur auf HW3 und HW4 parallel trainiert.

Mich wunderts nur weil Elon gesagt hat, FSD würde auf HW3 Monate hinterher hinken

[Joe]

Stunde FSD12 ungeschnitten mit Kommentar.
Auch wenn es bei weitem nicht Perfekt ist, sieht es doch nach einem großen Durchbruch aus.

8ZWTAYQZOFs

[Trap]

Hab das so nebenbei laufen lassen, die "nicht perfekt" Dinge waren:

einmal aus einer Linksabbiegerspur geradeaus gefahren (in einer schmalen Straße und langsam)
ein paar mal zu vorsichtig beim wieder losfahren
ein paar mal bleibt es ganz stehen, bis der Fahrer aufs "Gas" tippt
Blinker läuft einmal dauerhaft weiter

[MasterElwood]

Hab das so nebenbei laufen lassen, die "nicht perfekt" Dinge waren:

einmal aus einer Linksabbiegerspur geradeaus gefahren (in einer schmalen Straße und langsam)
ein paar mal zu vorsichtig beim wieder losfahren
ein paar mal bleibt es ganz stehen, bis der Fahrer aufs "Gas" tippt
Blinker läuft einmal dauerhaft weiter


Mars Catalog hat im letzten Video gesagt dass ihm Tesla gesagt hat dass auch 12.1.2 noch eine mehr oder weniger Testversion ist die Macken haben kann. Kleinigkeiten sind also zu erwarten.

[Joe]

Mehr FSF V12
Diesmal mit AI Driver als Gast und nicht ganz so Fehlerlos.

fFTs2OqtN0s

[MasterElwood]

https://ibb.co/QkR0C7n

[Joe]

Direkte Vergleichsfahrt zwischen FSD11 und 12.
FSD 12 war 50% schneller und fuhr die Strecke ohne Eingriff.
Ziemlich beeindruckend, wenn man bedenkt, dass FSD11 im Vergleich schon wesentlich schneller von A nach B war als Waymo oder Cruise.

P28fTF8M98w

[Actionhank]

Ich denke auch, dass Geschwindigkeit genau die richtige Vergleichsmetrik ist.

[Trap]

Es sind immer noch die 3 Metriken, die schon beim ersten AI-Day genannt wurden:
Geschwindigkeit, Komfort und Sicherheit/Zuverlässigkeit

Das ist dann auch die Reihenfolge wenn es darum geht wie einfach es (als Nutzer) vergleichbar zu messen ist. Komfort ist schwer in eine Zahl zu fassen. Sicherheit/Zuverlässigkeit braucht viele Stunden Daten und eigentlich wäre die Schadenssumme die beste Zahl für einen Vergleich, die hat man aber nicht wenn man eingreift.

[Fliwatut]

"Sicherheit/Zuverlässigkeit" wäre für mich das wichtigste Kriterium, damit ich etwas anderes (arbeiten, lesen, Serie glotzen) während der Fahrt machen kann. Ob ich dann 5 oder 10 Minuten länger brauche, wäre mir in dem Fall egal.
Das unten rechts in dem Video sieht schon ganz gut aus.

[Joe]

Obwohl Du natürlich recht hast, dass Sicherheit das mit Abstand wichtigste ist, glaube ich dass der große Pöbel tatsächlich Komfort mehr mit Sicherheit Assoziiert als "echte" Statistische Sicherheit.

Wenn das Auto vertrauenerweckend fährt, wirken die Fehler mehr wie simple Fehler. Wenn das Auto von Situation zu Situation Zittert wirken die gleichen Fehler viel schlimmer.

[Joe]

Guter Kommentar von AI DRIVR zu seinen FSD12 Eindrücken und paar Hintergründe zur Technik

aEhr6M9Orx0