ARM Qualcomm Snapdragon-SoCs

[mironicus]

Ich habe LM Studio auf dem Honor Magicbook installiert, wofür es eine native ARM64-Version gibt. Damit kann man LLM laden und sich damit unterhalten. Mit dem Standard Llama 3.2 1B, den er nach der Installation lädt habe ich 57-59 Tokens pro Sekunde bei Antworten erhalten. Auf einen Mac Mini M4 generiert er 45-47 Tokens pro Sekunde mit dem gleichen Modell.

Das Laden des Modells in den Speicher war auf dem Magicbook erheblich schneller. Scheinbar ist der Snapdragon ein wenig besser optimiert für das Arbeiten mit LLM. Normalerweise wäre ich zunächst davon ausgegangen das der M4 den Snapdragon schlägt. Die NPU wird von LM Studio (noch) nicht genutzt, nur die GPU.

https://lmstudio.ai/download

[robbitop]

Der Snapdragon ist schon ein relativ großer Chip. Viele Kerne (was nichts für die LLM Leistung bedeutet aber ein Indikator ist), hohe TDP (bis zu 54W oder so), Laptop Chip. Der M4 ist eigentlich ein Tablet Chip der auch in den Basis Macs verbaut wird. Was eher mit dem Snapdragon vergleichbar ist von der Klasse ist der M4 Pro.

[dildo4u]

Ist die NPU nicht gleich schnell egal welches Apple M4 Modell?
Apple hängt in diesem Punkt einfach hinterher daher gibt es erst jetzt 16GB als Minimum beim M3 wollte sie Lokal gar nichts laufen haben.

[robbitop]

Stimmt - sogar die TOPS sind gleich hoch in allen 3 SOCs.

Aber um ehrlich zu sein ist die Anwendung von NPUs in Laptops doch Momentan eher im Bereich "Spielerei" / "Bastelei" anzusiedeln oder?
Ein LLM was für jeden Zugänglich im Netz ist, ist mit einem komplexeren Netzwerk trainiert und schneller. Das gleiche gilt doch für die anderen Anwendungsfälle.

Aber stimmt schon das wird sicherlich wichtiger werden.

[w0mbat]

Die NPU auf dem M3 Max sieht anders aus als auf base & Pro, aber ja, auf dem Papier haben alle die gleichen TOPS.

[robbitop]

Also sie scheinen beim M4/Pro/Max alle 16 Cores und alle 38 TOPS zu haben. Unabhängig vom M3.

[mironicus]

Die NPUs in Copilot Plus-Geräten haben etwas mehr TOPs als die Apple M4-Reihe.

Die Nutzung der NPU wird durch Qualcomm gefördert, die mit Software-Entwicklern zusammenarbeiten. Wahrscheinlich sehen wir im arm64-Bereich hier sogar eine schnellere Unterstützung im Vergleich zu x64-Prozessoren von Intel und AMD. Nicht, das dieses Potential einfach so brach liegt.

Neue Messung: Eine RTX 4090 erzeugt 248 Tokens/Sekunde unter gleichen Bedingungen. Bis zu 170 Watt Leistung verbrauchte sie dabei.

Snapdragon X Elite (nur GPU): 57-59 Tokens
RTX 4090: 248 Tokens
Apple M4: 45-57 Tokens.

[robbitop]

Ja NPUs sind effizienter in sowas als GPUs.

[mironicus]

Für Copilot Plus Laptop-Besitzer gibt es bald einige interessante Neuerungen. Es wird unter anderem erwähnt, das eine lokale Mini-LLM in Hintergrund läuft, die einem assistiert.
https://blogs.windows.com/windows-in...e-dev-channel/

In diesem Bericht wird die Mini-LLM Phi-Silca beschrieben, die optimiert mit der NPU laufen soll. Das ist aber noch in Entwicklung und kann in Vorabversionen von Windows 11 getestet werden.
https://blogs.windows.com/windowsexp...on-device-slm/

Zitat:

NPUs within Copilot+ PCs are built to be power-efficient, capable of executing several TOPS within a single-digit Watt range. On Copilot+ PC devices with Snapdragon X Elite processors, Phi Silica’s context processing consumes only 4.8mWh of energy on the NPU, while the token iterator exhibits a 56% improvement in power consumption compared to operation on the CPU. Consequently, we can execute Phi Silica on your device without burdening the CPU and GPU, ensuring efficient memory and power consumption, thereby allowing this highly capable and versatile model to run seamlessly, with minimal impact on your primary applications and experiences.

[mironicus]

Gutes Review zum Honor Magicbook Art 14. Auch mit Batterie Test! Schlägt ein Macbook Air im Laufzeittest.

[MSABK]

Gibt leider auf Notebookcheck immer noch keinen Test dazu.

[Zossel]

Das Affentheater um ARM geht weiter:

https://www.heise.de/news/ARM-will-a...-10247362.html

[Simon]

Wieso Theater? Die wollen ihren erreichbaren Markt erweitern.

[mironicus]

Für das Honor MagicBook Art 14 Snapdragon erschien über Windows Update ein ziemlich umfangreiches Honor-Systemupdate und ein Gerätetreiber. Leider findet man überhaupt keine Informationen was es beinhaltet oder verbessert.

[Ailuros]

Zitat von mironicus

Gutes Review zum Honor Magicbook Art 14. Auch mit Batterie Test! Schlägt ein Macbook Air im Laufzeittest.

https://youtu.be/wHVNtxUM2_g

Nicht schlecht, obwohl das Vergleichsmaterial schon ein bisschen zwielichtig ist (minecraft fuer 3D? *grunz*).

Mich wuerde eher interessieren wie sich dieses genaue Honor Magicbook Art 14 gegen die Intel Variante schlaegt. Die Art 14 laptops haben einen wirklich tollen design und display, ergo haette ich als Kunde das Dilemma zwischen Intel und Snapdragon. Honor behauptet selber auf ihrer Seite dass die letzte Variante ca. 1 Stunde mehr aushaelt fuer office work, was mich persoenlich nicht besonders ueberzeugt.

[MSABK]

Der Nachfolger X2 Elite scheint wohl fertig zu sein. Das ging aber schnell. Ist das nicht zu früh, da der Chip ja angeblich wie immer im Winter vorgestellt werden soll?

Zitat:

Qualcomm bereitet offenbar schon den Launch des Snapdragon X2 Elite vor, denn eine "Ultra Premium"-Variante des Chips wurde bereits in einer Export-Datenbank gesichtet, die auch erste Details zur Bezeichnung des ARM-Prozessors bestätigt.

...
Der Eintrag liefert keine näheren Details zur Ausstattung dieses Chips, zeigt aber, dass die Entwicklung des Snapdragon X2 Elite Fortschritte macht, und bekräftigt auch erstmals, dass Qualcomm tatsächlich die Bezeichnung "Snapdragon X2" verwenden wird, um die nächste Generation seiner ARM-Chips für Laptops und Mini-PCs zu vermarkten. Qualcomm hat im November bereits bestätigt, dass der Snapdragon X2 Elite mit Oryon CPU-Kernen der dritten Generation ausgestattet sein wird, wodurch die CPU des Chips eine 30 Prozent höhere Performance und einen 57 Prozent geringeren Stromverbrauch im Vergleich zum Snapdragon X Elite erzielen soll.

https://www.notebookcheck.com/Konkur....953054.0.html

[dildo4u]

Das ist doch verspätet oder die Handys haben Kerne die mit Apple mithalten.

https://www.computerbase.de/news/sma...gpu-takt.91135

[MSABK]

Das Magicbook Art liegt noch in der OVP hier bei mir, habe glaube noch eine Woche Zeit für die Retoure. Ich habe mal recherchiert und das Service Manual der X Elite Version gefunden.

https://www.honor.com/cn/support/pro...icbook-art-14/

Scheint wirklich ein SSd-Platz vorhanden zu sein:



Auf den Bildern kann ich aber den UFS-Speicher nicht lokalisieren.

Zum Vergleich die Intel-Version:


@mironicus

Könntest du schauen ob man im Bios die Bootreihenfolge ändern kann? Das wäre super.

[mironicus]

Ja, der NVME-Slot scheint tatsächlich zusätzlich vorhanden zu sein und ist offenbar frei. UFS-Speicher ist aber definitiv drauf, da es die verbaute MICRON MT001TAYAX8U40 nicht als NVME gibt. Dieser Speicher spart Strom, darauf scheint Honor Wert gelegt zu haben.

Das Bootlaufwerk lässt sich im Bios wählen, und es gibt auch einen freien Eintrag für eine weitere HDD im System.

[MSABK]

Ok super danke dir. Dann bestelle ich mir mal eine SSD.