Acer Swift Go 14 im Test - Meteor Lake Core Ultra 7 überzeugt mit KI-Kern

[Redaktion]

Auf Smartphones haben Coprozessoren für KI-Anwendungen mindestens seit dem Pixel 6 Einzug gehalten. Nun kommen die Beschleuniger für neurale Netzwerke auch in Windows-Laptops wie dem Acer Swift Go 14 mit Intel Core Ultra 7 155H. Dieser ist einer der ersten Laptop-Prozessoren mit NPU.

https://www.notebookcheck.com/Acer-Swift-Go-14-im-Test-Meteor-Lake-Core-Ultra-7-ueberzeugt-mit-KI-Kern.782442.0.html

[RobertJasiek]

"Neural Processing Unit. Dieser Teil des Prozessors ist darauf ausgelegt, KI-Anwendungen besonders effizient abzuarbeiten. So können etwa Modelle wie Stable Diffusion oder Sprachmodelle bereits auf dem Gerät laufen. [...] Damit wird es denkbar, dass viele der KI-Anwendungen, welche heute noch über die Cloud laufen, in Kürze bereits energieeffizient auf dem eigenen Laptop ohne Internetanbindung arbeiten."

Marketinggewäsch!

Anspruchsvolle KI braucht dGPUs oder TPUs. Auf heutigen NPUs laufen bestenfalls GUI-Helfer oder Telemetrie schnell genug.

[Martin W]

Leider muss ich mal wieder stark mit dem Kopf schütteln, wenn ich mir den Leistungsvergleich der zwischen den iGPUs ansehe. Es wird geschrieben, dass die neue Arc-iGPU schneller als die 780M ist. Das ist hier nur in den synthetischen Benchmarks der Fall. Und sowas ist nicht der praxisnahe Anwendungsfall. In den getesteten Spielen liegt Intel nach wie vor hinter der 780M. Und das, obwohl der Intel Laptop mit einem PL1 von 45W konfiguriert ist und alle Konkurrenten in diesem Vergleich mit 25/28W PL1 laufen.

Wenn ihr schon Throttlestop benutzt, dann wäre es angeraten gewesen, den Laptop mit 28/25W PL1 den Konkurrenten gegenüberzustellen. Zumal in der Geräteklasse die allermeisten Notebooks im Bereich unter 35W PL1 liegen.

So aber wirkt das, wie eine Vorgabe aus Intels Marketing Abteilung. Diese Apfel-Birnen-Vergleiche sind mir in den letzten Jahren leider schon häufiger aufgefallen.

Das Mindeste wäre meiner Meinung nach, ganz deutlich im Text darauf hinzuweisen. Besser aber noch in den Diagrammen für jedes Gerät den durchschnittlichen Verbrauch der Komponente (bzw. die TDP-Konfiguration bei Dauerlast) anzugeben. In CPU-Benchmarks für die CPU, in Spielen für die GPU. Nur so lassen sich vernünftige Vergleiche anstellen.

Gruß, Martin

[MarcImay]

Marketinggewäsch!

Anspruchsvolle KI braucht dGPUs oder TPUs. Auf heutigen NPUs laufen bestenfalls GUI-Helfer oder Telemetrie schnell genug.

Ich möchte Herrn Jasiek her wärmstens empfehlen mal den Unterschied zwischen einer TPU und einer NPU zu googeln. Weiterhin wäre es sinnvoll, auch mal zu schauen, welche Einsatzzwecke GPU, NPU und TPU haben, oder für welche Rechenaufgaben die Architekturen optimiert sind.

Vielleicht kommen dann weniger unqualifizierte Aussagen...

[RobertJasiek]

LOL. AlphaGo lief auf TPUs, bevor Go-Spiel-KIs (besonders KataGo) auf GPUs (besonders mit Tensor- und CUDA-Kernen) stark werden konnte. Die Parameter von DNNs lassen sich auf geeigneten TPUs und GPUs berechnen. SoC-NUPs sind einfach viel zu klein. Wenn man aus solchen NPUs dedizierte Chips machte, wären sie für KI möglicherweise ähnlich brauchbar wie TPUs und GPUs. Wobei man im Netz teilweise irrefühende Erklärungen findet, zB Wikipedia Englisch, dass NPU ein Oberbegriff auch für TPUs und GPUs sei.

[RobertJasiek]

Diskutieren wir Marc Herters Aussagen also detaillierter.

Marc Herter: "Neural Processing Unit. Dieser Teil des Prozessors ist darauf ausgelegt, KI-Anwendungen besonders effizient abzuarbeiten."

Stimmt natürlich. Mit reiner Effizienz aber kann man die meisten KI-Anwendungen aber nicht sinnvoll ausführen, denn sie benötigen v.A. hohe Chipausführgeschwindigkeit. Genauso kann man auch sagen, TPUs oder die Tensorkerne von Nvidia-GPUs seien darauf ausgelegt, KI-Anwendungen besonders effizient abzuarbeiten. Auch das stimmt natürlich, aber mit dem entscheidenden Unterschied, dass dabei dank Dieflächen, Chipausführgeschwindigkeit, ausreichend VRAM und RAM sowie ggf. Skalierbarkeit über mehrere Hardwareeinheiten ein sinnvolles Ausführen sehr viel eher gegeben ist.

Marc Herter: "So können etwa Modelle wie Stable Diffusion oder Sprachmodelle bereits auf dem Gerät laufen."

Das schießt den Vogel ab. Genauso könnte man sagen, sie könnten auch nur auf einer CPU laufen. Generative KI und Sprachmodell-KI ist, wenn sie etwas Brauchbares ergeben soll, bekannt für Bedarf an hoher Chipausführgeschwindigkeit und VRAM. Beides ist NPUs in Intel-CPU-SoCs nicht gegeben. Anders als laut Nutzer A beim Apple M3 Max und anders als bei dGPUs mit viel VRAM. Größenordnungsmäßig 80GB meint er. Wer sich anguckt, was Webseiten für Bildgenerierung so produzieren, dann ist da selbst bei vielen Ressourcen oft Müll / willkürlicher Inhalt bei. Mit sehr viel kleineren Ressourcen einer SoC-NPU muss man also mit viel Müll unter generierten Bildern rechnen.

Marc Herter: "Damit wird es denkbar, dass viele der KI-Anwendungen, welche heute noch über die Cloud laufen, in Kürze bereits energieeffizient auf dem eigenen Laptop ohne Internetanbindung arbeiten."

Cloud für KI ist besonders dann sinnvoll, wenn man besonders hohe Chipausführgeschwindigkeit und ggf. Speicher für einen bezahlbaren, weil begrenzten Zeitraum benötigt, also Ressourcen typischerweise jenseits einer 4090. Nun zu behaupten, SoC-NPUs wie auf Intel-CPU-Chips seien in Kürze zur Aufagenübernahme bereit, zeugt von Unkenntnis. GPUs vervierfachen etwa alle 6 Jahre ihre Geschwindigkeit. Um SoC-NPUs auf heutiges Cloud-Niveau zu bringen, bedarf es grob geschätzt den Faktor 100. Damit reden wir über einen Zeitraum von mehr als 30 Jahren, bis es soweit sein kann bei andauernder Beschleunigungsrate. Ca. 35 Jahre ist nicht "in Kürze", sondern mehr als eine Menschengeneration später!

So etwas dennoch zu behaupten, gibt Marketinggewäsch wieder. Dass Intels PR uns so etwas weismachen will, mag sein. Meine Einordnung als Marketinggewäsch aber als unqulifizierte Aussage zu bezeichnen versucht, von der eigenen Unqualifiziertheit von Aussagen abzulenken.

RobertJasiek: "Anspruchsvolle KI braucht dGPUs oder TPUs."

Was an meiner Aussage unqualifiziert sein soll, darf gerne erklärt werden! Die Betonung liegt auf "anspruchsvolle [KI]".

Beispiel Go-KI (eine anspruchsvolle KI-Anwendung): auf CPU, iGPU oder SoC-NPU könnte ich mit den Ergebnissen genau nichts anfangen, weil solche Chips dafür extrem viel zu langsam sind. Gute Ergebnisse erhalte ich pro aktueller Brettstellung zum Finden des nächsten Zugs ab im Schnitt ca. 18s Rechenzeit auf einer 4070 (Desktop).

[RobertJasiek]

Damit reden wir über einen Zeitraum von mehr als 30 Jahren, bis es soweit sein kann bei andauernder Beschleunigungsrate. Ca. 35 Jahre

Korrektur: log_4 (100) ~= 3,32 Zeiträume zu je ca. 6 Jahren, also sind es ca. 6 * 3,32 ~= 20 Jahre. Ein knappes Menschenalter also, wenn es bei der GPU-Entwicklung noch keinen Einbruch gibt.

[RobertJasiek]

Menschenalter

"Menschengeneration" natürlich.

[MarcImay]

Her Jasiek,

bitte unterscheiden Sie doch einfach mal zwischen dem Ausführen von Neuronalen Netzwerken und dem Trainieren dieser Programme.

Auf dem Testgerät habe ich beispielsweise mehrere Bilder mittels Stable Diffusion erstellt. Mittels der NPU, GPU oder beidem, ohne Internet innerhalb von Sekunden. Zugegebener Maßen waren einige ansehnlicher als andere, aber das gehört dazu zum Lernen.

Nein Sie brauchen keinen Supercomputer um ein einmal trainiertes Neurales Netzwerk zu verwenden.

Wenn Sie Go-KI schreiben, weiß ich leider nicht um welches Programm es hier geht. Das müssten Sie schon dazu schreiben. AlphaGoZero wäre das einzige, welches mir als halbwegs aktuelles bekannt ist, und das benötigt gleich vier TPUs zum laufen und wurde mit einem Vielfachen davon trainiert.

[RobertJasiek]

Es ist wirklich nicht nötig, mir zu unterstellen, ich kennte den Unterschied zwischen Trainieren und Anwenden / Ausführen / Inferencing nicht.

Hinsichtlich lokalem Bildgenerieren glaube ich gerne, dass das möglich ist, aber Bildgröße und -qualität sind die entscheidenden Objektfaktoren. Wenn Sie (warum eigentlich Sie, ist im Netz nicht Duzen üblich?) Testbilder erstellt haben, einfach mal zeigen mit Größen- und Farbtiefenangabe, damit wir NBC-Leser uns ein, äh, Bild davon machen können! Sollte das wirklich schon brauchbar lokal gehen, interessierte dies sicherlich viele.

Wie gesagt, wende ich für Go den aktuellen spielstärksten Standard an, das ist das Programm KataGo in der Version für Nvidia-TensorRT und dafür ein aktuelles, vortrainiertes Netz. Nein, ich schreibe die Go-KI nicht selbst, sondern wende sie an, um auch mittels ihrer Ergebnisse Bücher über Go zu schreiben. Trainiert wird KataGo verteilt u.A. übers Netz auf Hardware von Go-Spielern. KataGo läuft außer NPUs auf so fast Allem: CPU, iGPU, dGPU, Apple-Chips, Nvidia-Server-Karten, aber sinnvoll ist mindestens eine mittlere dGPU - langsamere Hardware ist nur Spielerei für Anfänger-Spieler, die jeden gehoben-amateurstarken Zug als stark genug empfinden.

Nebenbei: Wer auf die Idee kommt, KataGo und GUIs dazu lokal ausprobieren zu wollen, lese zum schwierigen, aufwändigen, langwierigen Installieren meine Anleitung: home.snafu.de/jasiek/AI_Computer.html

[MarcImay]

Wie gewünscht, habe ich einige Beispielbilder eingefügt. Diese können Sie im NPU-Kapitel unter Leistung finden.

[RobertJasiek]

Danke!

Kaufte ich mir einen Computer, um Bilder solcher Qualität zu erzeugen? Auf keinen Fall! Jedenfalls zeigen sie überdeutlich, dass eine NPU mit heutiger Software ungeeignet ist, gute Bilder - jedenfalls ad hoc - zu erzeugen.

NPUs der ersten Generation sind eher ein Versprechen auf die Zukunft, was irgendwann mal mit geringem Energieumsatz gehen könnte.

[RobinLight]

Kaufte ich mir einen Computer, um Bilder solcher Qualität zu erzeugen? Auf keinen Fall! Jedenfalls zeigen sie überdeutlich, dass eine NPU mit heutiger Software ungeeignet ist, gute Bilder - jedenfalls ad hoc - zu erzeugen.

Was hat die NPU mit der Qualität der Bilder zu tun? Die wird einzig und allein durch das trainierte Modell, den Inference-Parametern und der Prompt-Strategie bestimmt.
Die NPUs haben nicht den Sinn und Zweck mit der Leistung von GPUs zu konkurrieren, sondern das Inferencing so effizient wie möglich zu gestalten. Das ist vor allem für Anwendungen des Alltags sinnvoll, wie etwa effiziente Geräuschunterdrückung oder Hintergrundausblendung in Online Meetings.
Apple hat damit vor Jahren im iPhone begonnen, um FaceID zu realisieren, was ohne dedizierte AI-Hardware den Akku deutlich schneller leergefegt hätte, zumal man das Gerät ja unzählige Male am Tag so entsperrt.

Möchte man hingegen die maximale Leistung rausholen, kombiniert man die AI Power von NPU, GPU und CPU. In der Praxis ist das allerdings schwierig, weil jede Processing-Unit nur mit einer best. Word-Breite optimal funktioniert, man müsste das gleiche Modell also in mehreren Versionen vorhalten oder einen Kompromiss machen.

Was Intel hier mit Stable Diffusion auf der NPU zeigt, ist doch nur zur Anschaulichkeit fürs Marketing, aber das ist immer noch besser als nichts, bei AMD gibt's ja immer nur PowerPoint Folien.

Und übrigens: Mit Stable Diffusion und einem fine tuned Checkpoint für eine best. Art von Bildern oder Stilen und einer cleveren Prompt-Strategie, die viele Bildfehler gar nicht erst zulässt, lassen sich auch auf einer iGPU hervorragende Ergebnisse erzielen! Man kann ja auch erstmal mit Preview-Auflösungen arbeiten oder weniger Steps wählen.

[RobertJasiek]

Die von dir erwähnten effiziente Geräuschunterdrückung oder Hintergrundausblendung in Online Meetings scheinen mir realistischere Anwendungen zu sein.

[JKM]

Was Intel hier mit Stable Diffusion auf der NPU zeigt, ist doch nur zur Anschaulichkeit fürs Marketing, aber das ist immer noch besser als nichts, bei AMD gibt's ja immer nur PowerPoint Folien.

Was auch von Intel nichts besonderes ist, wenn Intel vor 8,5 Jahren Altera gekauft hat und AI auch nur überschaubar am Markt gebracht hat. Genauso, dass Intel AI per AVX-512 (Xeon Phi - Larrabee - Knights Mill) auch vor 6 Jahren am Markt brachte.

Bei AMD gibts eben bisher nur Power Point, weil AMD mit AVX-512 und Eigen-AI nicht nur vor 1-2 Jahren gekommen ist bzw. wäre, sondern AMD währenddessen mit den Xilinx-Kauf die AI-Technik durch XDNA-Xilinx ersetzt hatte und seitdem das zu teil angekündigte AI-"Programm" bis Zum RyZen AI 1.0 zurückgezogen hat.

AMD kann bezüglich AI-Unterstützung noch belächelt werden, aber mit XDNA schon im Phönix (Handheld, MiniPC, Notebook) sowie dem MI300X (Server, Workstation) kann AMD AI-Software-mäßig auf Basis RyZen AI 1.0 seit kurzem im fast kompletten AMD-Portfolio entfalten.