Q.ANT - Photonische NPUs in 90 nm aus Stuttgart

[Sweepi]

Hab noch keinen Thread zum Thema gefunden. Die Firma Q.ANT hatte im November 2024 und jetzt grade zu mindestens PR Erfolge vorzuweisen.
Laut Interview wollen sie wohl Hardware bereit stellen, die mit PCIe/x86 PCs kompatible ist und sowohl Inferenzing als auch LLM Training beschleunigen kann.
Trotz 90nm soll diese bereits sowohl schneller als auch energieeffizienter sein (unklar wie verglichen wurde).
Sie arbeiten an einem Softwarestack, damit Anwender die Hardware in bestehen Frameworks wie Pytorch nutzen können.


Langfristig (2028-2030) sehen sie ihre Photonische NPU in allen HPCs, welche für AI verwendet werden - als Co-Prozessor, CPUs und GPUs werden weiterhin benötigt.


yt:
[Interview mit Michael Foertsch, 25 minuten] https://www.youtube.com/watch?v=yjzNlk2XU74
[28 minuten] https://www.youtube.com/watch?v=2xE4bopeXhw

News:
https://www.tagesschau.de/wissen/technologie/photonische-chips-100.html
https://www.techpowerup.com/328988/q-ant-introduces-first-commercial-photonic-processor
https://quantumzeitgeist.com/german-startup-q-ant-unveils-worlds-first-commercial-photonic-ai-processor/
https://www.klamm.de/news/deutschlands-chip-revolution-wie-qant-die-branche-umkrempeln-will-68N67cdb66df128ff0001cddf20.html


Paywalled:
https://www.faz.net/aktuell/wissen/physik-mehr/fortschritte-in-der-optoelektronik-erleuchtung-im-computerchip-17227059.html
https://www.wiwo.de/unternehmen/it/trumpf-ausgruendung-q-ant-deutscher-nvidia-konkurrent-startet-industrielle-fertigung-/30244482.html

[Leonidas]

Dürfte schwer werden, da einen Fuß reinzubekommen, wenn die NPUs bereits von CPUs + GPUs gestellt werden und man daher für dieses Produkt zusätzlich Geld investieren muß als PC-Hersteller. Das dürfte nur klappen bei echter massiver Nachfrage nach kraftvoller AI-Beschleunigung auf regulären PCs.

[Sweepi]

Ich hatte die eher so verstanden, dass sie auf die Server abzielen.
Unabhängig davon, wie man zu AI generell steht, ich denke die Nachfrage nach ChatGPT & Co sind da.
Auch wenn die Industrie am Ende des Tages nicht Billiarden(!) (https://www.businessinsider.com/how-much-sam-altman-wants-seven-trillion-openai-compare-costs-2024-2) schwer wird, ein zweistelliger Milliarden-Umsatz pro Jahr wird es schon sein.

Um die Service bereitzustellen, müssen LLMs erstellt und upgedatet (=trainiert), sowie ausgeführt (infering/inferencing) werden. Wenn die photonischen NPUs wirklich eine bessere Performance/Watt liefern, ist der Anwendungsfall auf jeden Fall da.

Das grundsätzliche Problem des Ansatzes ist wohl, dass der photonische Teil keinen richtigen Speicher (Weder Haupt- noch Arbeits- noch Cache-Speicher) hat. Dafür gibt es zwei Lösungsansätze:
1. Man erfindet einen photonischen Datenspeicher (oder einen damit kompatiblen)
2. Man setzt auf konventionellen x86 Speicher und einen Wandler (wie bei Audio und einen bidirektionalen Analog/Digital Wandler)

2) ist bekannt und möglich, aber eigentlich zu langsam. Wenn ich Q.ANT richtig verstehe, behaupten sie, dass Problem gelöst zu haben.

Es finden aktuell zwei Kämpfe statt:
- Möglichst große "Intelligenz" zu immer höheren Preisen (ChatGPT)
- Zu einem möglichst geringen Preis ein nutzbares und schnelles Modell (aktuell vorne: Google Gemini Flash)


Name | Input | Output
Gemini 2.0 Flash-Lite | $0.075 | $0.30
Mistral 3.1 Small | $0.10 | $0.30
Gemini 2.0 Flash | $0.10 | $0.40
DeepSeek v3 (old) | $0.14 | $0.28
ChatGPT 4o-mini | $0.15 | $0.60
DeepSeek v3 | $0.27 | $1.10
DeepSeek r1 | $0.55 | $2.19
ChatGPT o3-mini | $1.10 | $4.40
ChatGPT 4o | $2.50 | $10.00
Claude 3.5 Sonnet | $3.00 | $15.00
ChatGPT o1 | $15.00 | $60.00
ChatGPT 4.5 | $75.00 | $150.00
ChatGPT o1 Pro | $150.00 | $600.00


https://gist.github.com/t3dotgg/a4bb252e590320e223e71c595e60e6be

Denke daher, die Stolpersteine sind für Q.ANT sind folgendes:
- 2) funktioniert doch nicht gut genug
- Sie lügen über ihre Benchmark Ergebnisse
- Ihre Chips sind zu speziell, d.h. sie können nicht bei allen Trainings- und Inference Problemen beschleunigen, und die erreichte Abdeckung ist zu gering/nischig
- Herstellungs- / Yield- / Stabilitätsprobleme
- Die Pflege für ihren Softwarestack zur Einbindung in default LLM Tools wie Pytorch ist zu aufwendig
- Sie schaffen es nicht rechtzeitig in den Markt, und Nvidia und Alternativen wie Groq (https://groq.com/groqrack/) bleiben immer nahe genug, dass eine Umstellung auf diesen völlig neuen Player den Server-Betreibern ein zu hohes Risiko ist.


In meinem Kopf spuckt vor allem folgender Gedanke: Wenn es so gut ist wie es scheint, warum ist nicht einer der großen Player (Nvidia, Google, MS, OpenAI, Facebook) auf der Matte und kauft den Laden für 0.5 - 2 Mrd? Gerade aktuell kann ich mir eine Bewertung von deutlich unter 100 Mio vorstellen, und dann könnte man so eine Übernahme unter "Versicherungspolice" verbuchen.



btw: gibt zumindest ein paar News zu TSMC (+Nvidia) und photonische Chips:


https://wccftech.com/nvidia-tsmc-develop-advanced-silicon-photonic-chip-prototype-says-report/
https://www.anandtech.com/show/21373/tsmc-adds-silicon-photonics-coupe-roadmap-128tbps-on-package

[Nakai]

Es sind analoge Chips und rechnen nicht binär. Das ist das Problem bereits. Jegliches Ecosystem ist nicht dafür ausgelegt analog zu arbeiten, weswegen das ein großer Stolpersteine ist. Für Deep Learning mag das sogar noch funktionieren, da (binäre) Präzision kein Hauptaugenmerk ist, sonst würde es kein FP8/4 Format geben. Hauptsache es funktioniert.

Ich find's cool, und drücke denen jegliche Daumen.

[ChaosTM]

https://www.youtube.com/watch?v=2xE4bopeXhw

ihre Stimme ist etwas schräg aber gute Zusammenfassung des optischen Computings

[Sweepi]

Es finden aktuell zwei Kämpfe statt:
- Möglichst große "Intelligenz" zu immer höheren Preisen (ChatGPT)
- Zu einem möglichst geringen Preis ein nutzbares und schnelles Modell (aktuell vorne: Google Gemini Flash)


Name | Input | Output
Gemini 2.0 Flash-Lite | $0.075 | $0.30
Mistral 3.1 Small | $0.10 | $0.30
Gemini 2.0 Flash | $0.10 | $0.40
DeepSeek v3 (old) | $0.14 | $0.28
ChatGPT 4o-mini | $0.15 | $0.60
DeepSeek v3 | $0.27 | $1.10
DeepSeek r1 | $0.55 | $2.19
ChatGPT o3-mini | $1.10 | $4.40
ChatGPT 4o | $2.50 | $10.00
Claude 3.5 Sonnet | $3.00 | $15.00
ChatGPT o1 | $15.00 | $60.00
ChatGPT 4.5 | $75.00 | $150.00
ChatGPT o1 Pro | $150.00 | $600.00


https://gist.github.com/t3dotgg/a4bb252e590320e223e71c595e60e6be




Ein wenig mehr Kontext:
https://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=92402&stc=1&d=1743586091

https://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=92403&stc=1&d=1743586091
https://www.forum-3dcenter.org/vbulletin/attachment.php?attachmentid=92401&stc=1&d=1743585751


zum stöbern:
https://artificialanalysis.ai/models?models=o3-mini%2Cgpt-4o-mini%2Cgpt-4-5%2Cllama-3-3-instruct-70b%2Cllama-3-1-instruct-8b%2Cgemini-2-0-flash%2Cgemini-2-0-flash-lite-001%2Cgemma-3-27b%2Cclaude-3-5-haiku%2Cmistral-small-3-1%2Cdeepseek-r1%2Cdeepseek-v3-0324%2Cgrok-3%2Cgrok-3-reasoning%2Cnova-pro%2Cnova-micro%2Cqwq-32b%2Cdeepseek-v3

https://artificialanalysis.ai/models?models=o3-mini%2Cgpt-4o-mini%2Cgpt-4-5%2Cllama-3-3-instruct-70b%2Cllama-3-1-instruct-8b%2Cgemini-2-0-flash%2Cgemini-2-0-flash-lite-001%2Cgemma-3-27b%2Cclaude-3-5-haiku%2Cmistral-small-3-1%2Cdeepseek-r1%2Cdeepseek-v3-0324%2Cgrok-3%2Cgrok-3-reasoning%2Cnova-pro%2Cnova-micro%2Cqwq-32b%2Cdeepseek-v3#intelligence-vs-price

https://artificialanalysis.ai

[user77]

#Q.ANT erhält 50 Millionen Euro Forschungsförderung
Kooperation von Universitäten, angewandten Forschungseinrichtungen und Start-Ups // Michael Förtsch, CEO von Q.ANT: „Diese Förderung ist ein wichtiger Baustein für einen Quantencomputer made in Germany“

#Deutscher Nvidia-Konkurrent startet industrielle Fertigung
Der Chip von Q.ant rechnet mit analogen Lichtimpulsen und schlägt so die etablierte US-Konkurrenz um Längen.

#Photonische Chips: Deutsches Start-up stellt Nvidia in den Schatten

Wo, Wie, Bei was?

[ChaosTM]

Ist eine sehr komplexe Geschichte - siehe YT Link - 3 weiter oben

[Nakai]

Photonische Chips sind analoge Prozessoren, welche nicht binär arbeiten. Ergo deren Berechnungen sind immer mit einem "Fehler" verbunden. Kurz es gibt keine digitalen Werte.

Wie die Dinger genau funktionieren? Photonische Prozessoren sind sehr gut geeignet um Matrix-Multiplikationen analog zu lösen. Das funktioniert, indem in einem Lichtstrahl mehrere verschiedene Wellenlängen eincodiert sind (weißes Licht hat ja verschiedene bzw. alle Farben enthalten). Dadurch kann parallel auf jeder Wellenlänge gearbeitet werden. Lichtstrahl 1 hat Matrix A eincodiert und Lichtstrahl 2 eben Matrix B. Beides kann dann miteinander verarbeitet werden und als Resultat gibt es einen Lichtstrahl 3 mit der Ergebnismatrix C. Hier versucht man nun diese Möglichkeit auf AI abzubilden was hauptsächlich auf Vektor- und Matrixberechnungen beruhen.

Da analoge Prozessoren nicht diskret arbeiten, ist es immer noch eine Herausforderung die analogen Werte als binäre Daten zu interpretieren. Bei tiefe neuronalen Netzwerken kann sich auch ein Fehler über die tiefe auf summieren, was alles noch etwas problematischer macht. Aber Deep Learning hat kein großes Problem mit Fehler und Präzision, jedenfalls deutlich weniger als viele andere Algorithmen. Dadurch könnte man photonische Prozessoren anwenden. Es gibt ja auch mittlerweile deutlich kleinere Datentypen bei AI (e.g. FP8) mit schlechterer Präzision.

Das ist die der Gesamtkonzept.
Photonische Prozessoren -> unglaublich effizient und schnell aber analog und nicht diskret (Fehlerbehaftet im Vergleich zu binär) -> AI hat keine hohen Genauigkeitsanforderungen -> nutzen von Photonischen Prozessoren bei AI

[amdfanuwe]

Photonische Chips sind analoge Prozessoren, welche nicht binär arbeiten. Ergo deren Berechnungen sind immer mit einem "Fehler" verbunden.
Umgekehrt. Binäre Werte sind immer mit einem Fehler verbunden, da auf das kleinste Bit gerundet werden muss.

[Zossel]

Umgekehrt. Binäre Werte sind immer mit einem Fehler verbunden, da auf das kleinste Bit gerundet werden muss.

Und bei KI mittlerweile mit 4 bzw. 8 Bit "Genauigkeit" gerechnet.
Für KI gab es auch schon elektrische analoge Ansätze auf Siliziumbasis.

[Nakai]

Umgekehrt. Binäre Werte sind immer mit einem Fehler verbunden, da auf das kleinste Bit gerundet werden muss.

Bei FP-Berechnungen hat man immer einen Rundungsfehler, es ist nichtsdestotrotz absolut diskret.

Bei analogen Berechnung gibts es völlig andere Genauigkeitseinschränkungen.

Kurz, beides ist nicht vergleichbar.

Bei AI-Usecases spielt aber die Genauigkeit eine untergeordnete Rolle, weil es geht nur um die eigentliche übergeordnete Funktionalität, welche wohl auch sehr gut auf photonische Prozessoren realisierbar ist.