Is the actual memory chip expensive, not the rest, of course price will be almost the same (ignoring the cost of assembly and the risk of failure)

LLM inferencing versus other application inferencing:) Merry Xmas.

Wenn ich schon immer "edel" lese bei diesem wenig haltbaren Elektroschrott. Paar Jahre später ist die durch, und jede Automatikuhr oder sogar Quarz läuft immer noch...

Ich fände es nichtmal schlimm, wenn kleine Waffensticker per KI generiert würden, wenn sich die eingesparten Kosten auf das Produkt und somit beim Kunden auswirken würden und der eingesparte Künstler beim Sticker, an anderer Stelle zum Einsatz kommen könnte, der wichtiger ist als n kleines Bildchen auf ner Waffe. Leider entspricht das nicht der Realität. Die gesparten kosten kommen nicht beim Kunden oder dem Entwickler an, sondern bei irgend welchen Geldsäcken, die noch reicher werden. Arbeitsplätze werden auch nicht verlegt, sondern gestrichen. Ich habe generell nichts dagegen, wenn sich Privatpersonen zB. bei YouTube bereichern, indem sie KI Inhalte generieren und diese bei YouTube hochladen und die Werbeeinnahmen kassieren...dann hat die Person sich eben ein paar Werbeeinnahmen reingezogen auf ner relativ einfachen Art. Ich finde das kann man jemanden gönnen...da leidet niemand heftig drunter. Höchstens spendet die ein oder andere Person, dem KI YouTuber was und da kann man sich drüber streiten, ob man da nun sein Geld reinstecken sollte. Aber für mich ist das eigentliche Problem eben der Geldsack, der auf kosten mittelständischer Arbeitnehmer KI einsetzt und Arbeitsplätze streicht um seinen Reichtum zu mehren...Das Thema, dass KI von der Kunst von Künstlern lernt und die Kunst dann mehr oder weniger kopiert und Unternehmen damit Geld machen, starte ich hier gar nicht erst 😅

I love the look of it and had it ordered. But the lack of a right stick for camera control made me have a rethink.

I think the controller could be amazing for vr etc. But without anyway to bank and move the camera at the same time, I'm not sure how many flyers will get on with it.

RobertJasiek, you missed the CUDA part.

But let's clarify: For inferencing, if an application is fully supported and its speed is not dependent on hardware-specific things like CUDA, then the inferencing speed will solely depend on the (V)RAM capacity and bandwidth, but one needs to have the (V)RAM capacity to fit the LLM into the memory first.
You get the point, but you can also post your own "definition".

Last I tested, which is like 5 months ago, on my NV GPU, the llama.cpp CUDA build runs 15-25% faster than the vulkan build, but the vulkan build is much smaller and faster to download and update (460 MB vs 33 MB).