Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]


Groups > de.sci.electronics > #370607 > unrolled thread

lokale KI

Started byLeo Baumann <ib@leobaumann.de>
First post2026-11-10 05:18 +0100
Last post2026-11-12 18:19 +0100
Articles 5 on this page of 25 — 10 participants

Back to article view | Back to de.sci.electronics


Contents

  lokale KI Leo Baumann <ib@leobaumann.de> - 2026-11-10 05:18 +0100
    Re: lokale KI olaf@criseis.ruhr.de (Olaf Kaluza) - 2026-11-10 05:57 +0100
      Re: lokale KI ram@zedat.fu-berlin.de (Stefan Ram) - 2026-11-10 08:08 +0000
      Re: lokale KI Leo Baumann <ib@leobaumann.de> - 2026-11-10 12:45 +0100
    Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 08:15 +0100
      Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-10 09:32 +0100
        Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 22:12 +0100
          Re: lokale KI Axel Berger <Spam@Berger-Odenthal.De> - 2026-11-10 22:46 +0100
            Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 07:10 +0100
              Re: lokale KI Joerg Niggemeyer <joerg.niggemeyer@nucon.de> - 2026-11-11 13:55 +0000
                Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 15:16 +0100
                  Re: lokale KI Gerhard Hoffmann <dk4xp@arcor.de> - 2026-11-11 15:50 +0100
                    Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 16:05 +0100
                      Re: lokale KI Gerhard Hoffmann <dk4xp@arcor.de> - 2026-11-11 16:44 +0100
                        Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 17:18 +0100
                  Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:24 +0100
          Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 07:06 +0100
            Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-11 13:21 +0100
              Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 14:20 +0100
      Re: lokale KI "Chr. Maercker" <Zweistein@gmx-topmail.de> - 2026-11-10 17:12 +0100
        Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 19:51 +0100
          Re: lokale KI olaf@criseis.ruhr.de (Olaf Kaluza) - 2026-11-10 21:08 +0100
            Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-11 17:42 +0100
      Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:23 +0100
    Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:19 +0100

Page 2 of 2 — ← Prev page 1 [2]


#370626

FromHergen Lehmann <hlehmann-usenet26@snafu.de>
Date2026-11-10 19:51 +0100
Message-ID<ul5csm-anlh.ln1@hergen.spdns.de>
In reply to#370617
Am 10.11.26 um 17:12 schrieb Chr. Maercker:

> Hergen Lehmann wrote:
>> Man kann lokale KI mit einer einigermaßen potenten CPU und ausreichend
>> RAM auch ohne Spezialhardware laufen lassen, es dauert damit allerdings
>> schon mal eine Viertelstunde bis zu einer Antwort.
> 
> Arbeitet KI-Software auch mit x86-Befehlssatz oder nur mit dem RIS(C)
> von Grafikprozessoren? 

Die eigentlichen KI-Modelle sind reine Mathematik. Simulierte neuronale 
Netzwerke, repräsentiert durch Tensoren. Um das Netzwerk zum "Denken" zu 
bringen, werden die (zuvor aufbereiteten) Eingabedaten zusammen mit 
etwas Rauschen in einem iterativen Prozess immer wieder durch das 
Netzwerk gejagt, bis sich ein stabiler Zustand einstellt. Dieser latente 
Zustand von Neuronen-Erregungszuständen wird anschließend durch ein 
weiteres neuronales Netz in eine physische Repräsentation (Text, Bild, 
Code, etc.) zurück übersetzt.

Der Code, der die Simulation antreibt und die Tensor-Rechenoperationen 
durchführt, ist in einer (konventionellen) höheren Programmiersprache 
verfasst und lässt sich grundsätzlich für jede Zielplattform compilieren 
- das Resultat läuft je nach Anzahl der verfügbaren Kerne halt mehr oder 
weniger schnell. GPUs sind nur deshalb im Vorteil, weil sie extrem viele 
Kerne haben und diese Kerne bei neueren Modellen zunehmend auch nicht 
mehr reine RISC-Lehre sind, sondern optimierte Spezialbefehle für 
Tensorberechnungen bieten.

Welche GPU- und CPU-Plattformen konkret angeboten werden, ist eine reine 
Marketingentscheidung des Softwareanbieters, aber keine harte technische 
Limitierung.


> Kann sie also CPU und GPU simultan nutzen oder wenigstens wechselweise?

Ist wahrscheinlich selten zielführend, weil dann langsames Shared Memory 
via DMA benutzt werden müsste, anstelle des schnellen VRAM der GPU.

Aber während die GPU rechnet, kann die CPU natürlich ein hübsches UI 
antreiben, dem Nutzer schon mal eine Vorschau dessen präsentieren, was 
gerade im Inneren des neuronalen Netzwerks passiert, bzw. in einer 
Cloud-Umgebung die Lastverteilung im Cluster aus zahlreichen GPUs steuern.


> SM-Studio läuft mit einer 4GByte-GPU + AMD-CPU (Baujahr 2022) praktisch
> gar nicht. 

Zu wenig RAM! Selbst kleine Modelle erwarten i.d.R. 8GByte, größere 
OpenWeight-Modelle sind oft auf jene 16GByte-GPUs optimiert, welche 
gerade noch gut auf den freien Markt erhältlich sind.

[toc] | [prev] | [next] | [standalone]


#370644

Fromolaf@criseis.ruhr.de (Olaf Kaluza)
Date2026-11-10 21:08 +0100
Message-ID<lktvc11.nlrv.ln@fr.a2dfp.net>
In reply to#370626
Hergen Lehmann <hlehmann-usenet26@snafu.de> wrote:

 >weniger schnell. GPUs sind nur deshalb im Vorteil, weil sie extrem viele 
 >Kerne haben und diese Kerne bei neueren Modellen zunehmend auch nicht 
 >mehr reine RISC-Lehre sind, sondern optimierte Spezialbefehle für 

Aehem, noe. :)
Im KI Betrieb fahren die Luefter meiner Grafikkarte deutlich weniger
stark hoch wie im Spielbetrieb. Das besondere der Grafikkarten ist
ihre hohe Speicherbandbreite und das KIs so gross sind und so verteilte
zugriffe benoetigen das man mit Cache nichts mehr ausrichtet.
Man braucht also vor allem sehr schnellen Speicher der so gross
wie moeglich ist.

 >Welche GPU- und CPU-Plattformen konkret angeboten werden, ist eine reine 
 >Marketingentscheidung des Softwareanbieters, aber keine harte technische 
 >Limitierung.

Du kannst KI auf normaler PC-Hardware laufen lassen, aber die sind so lahm
das du die ins Klo kippen kannst. Es gibt spezielle Hardware wo man eine
besonders hohe Speicherbandbbreite realisiert hat. (Apple oder DGX Spark,
beides unified memory) Da bekommst du deutlich schnelleren Speicher, aber
immer noch nur 1/3 so schnell wie eine moderne Grafikkarte. Deine Modelle
laufen also langsamer, allerdings kannst du fuer "relativ" wenig Geld viel
Speicher bekommt. (128GB) und so intelligentere Modelle laufen lassen. 

Das neueste ist dann die kombination aus beiden. (Strata) siehe das von mir
angebene Video.

 >gerade im Inneren des neuronalen Netzwerks passiert, bzw. in einer 
 >Cloud-Umgebung die Lastverteilung im Cluster aus zahlreichen GPUs steuern.

Zahlreihe GPUs sind im privaten Umfeld auch eher expotisch weil man schon
spezielle Mainboards braucht die genug PCI-Lanes haben. Meines kann z.B
gerade mal zwei GPUs und das ist schon ungewoehnlich gut.

Du bis dann schnell im 5stelligen Bereich.

 >Zu wenig RAM! Selbst kleine Modelle erwarten i.d.R. 8GByte, größere 
 >OpenWeight-Modelle sind oft auf jene 16GByte-GPUs optimiert, welche 
 >gerade noch gut auf den freien Markt erhältlich sind.

Unter 16GB brauch man garnicht anzufangen, sinnvoll wird es eigentlich erst
ab 32. Zumal da nicht nur euer Modell sondern auch euer Problem reinpassen
musst. Deshalb gerade der Umweg mit Strata. Eine Nvidia mit 96GB kostet
gerade so in der Gegend 18kEuro.

Olaf

[toc] | [prev] | [next] | [standalone]


#370649

FromHergen Lehmann <hlehmann-usenet26@snafu.de>
Date2026-11-11 17:42 +0100
Message-ID<fhiesm-v6ai.ln1@hergen.spdns.de>
In reply to#370644
Am 10.11.26 um 21:08 schrieb Olaf Kaluza:
> Hergen Lehmann <hlehmann-usenet26@snafu.de> wrote:
>   >weniger schnell. GPUs sind nur deshalb im Vorteil, weil sie extrem viele
>   >Kerne haben und diese Kerne bei neueren Modellen zunehmend auch nicht
>   >mehr reine RISC-Lehre sind, sondern optimierte Spezialbefehle für
> 
> Aehem, noe. :)

Sondern?


> Im KI Betrieb fahren die Luefter meiner Grafikkarte deutlich weniger
> stark hoch wie im Spielbetrieb. 

Das besagt nichts - eine Grafikkarte enthält neben den frei 
programmierbaren Rechenkernen auch noch zahlreiche spezialisierte 
Funktionseinheiten (Shader, Texture Mapping, ROPS, etc.), welche im 
KI-Betrieb brach liegen und entsprechend fast keine Wärme produzieren.


> Das besondere der Grafikkarten ist
> ihre hohe Speicherbandbreite und das KIs so gross sind und so verteilte
> zugriffe benoetigen das man mit Cache nichts mehr ausrichtet.
> Man braucht also vor allem sehr schnellen Speicher der so gross
> wie moeglich ist.

Ja, danke, das hatte ich tatsächlich vergessen zu erwähnen.


>   >Welche GPU- und CPU-Plattformen konkret angeboten werden, ist eine reine
>   >Marketingentscheidung des Softwareanbieters, aber keine harte technische
>   >Limitierung.
> 
> Du kannst KI auf normaler PC-Hardware laufen lassen, aber die sind so lahm
> das du die ins Klo kippen kannst. 

Kommt drauf an, was man damit macht.
Mal schnell eine kleine Illustration in nicht allzu hoher Auflösung zu 
generieren, dauert hier auf einem i7-14700 wenige Minuten. Den Prompt zu 
formulieren, dauert länger, und bei meinen bescheidenen künstlerischen 
Fähigkeiten etwas von Hand zu probieren, erst recht.

Klar, eine fette GPU würde mehr Spaß machen, aber bei den derzeitigen 
Preisen...


> Unter 16GB brauch man garnicht anzufangen, sinnvoll wird es eigentlich erst
> ab 32. Zumal da nicht nur euer Modell sondern auch euer Problem reinpassen
> musst. 

Wie gesagt, kommt drauf an, was man damit macht.
Da GPUs jenseits 16GByte für den Hobbyisten kaum realistisch sind (erst 
recht bei der aktuellen Preistreiberei), sind die gängigen 
OpenWeight-Modelle fast durchweg auf 8 oder 16GByte optimiert. Der 
Speichermangel schränkt sie gegenüber den kommerziellen Modellen etwas 
ein, aber einen Tod muss man halt sterben.

[toc] | [prev] | [next] | [standalone]


#370664

FromArno Welzel <usenet@arnowelzel.de>
Date2026-11-12 18:23 +0100
Message-ID<11d4sm5$4j2m$5@dont-email.me>
In reply to#370609
Hergen Lehmann, 2026-11-10 08:15:

> Am 10.11.26 um 05:18 schrieb Leo Baumann:
> 
> 
>> es gibt irre teure Grafikkarten, die es ermöglichen LLMs in deren 
>> Speicher zu laden und zu nutzen.
> 
> Man kann lokale KI mit einer einigermaßen potenten CPU und ausreichend 
> RAM auch ohne Spezialhardware laufen lassen, es dauert damit allerdings 
> schon mal eine Viertelstunde bis zu einer Antwort.

Alpaca braucht hier je nach Modell selten länger als 10 Sekunden, bis
die Antwort kommt.

Hardware: AMD Ryzen 5950X, 128 GB RAM und eine Radeon RX 7600



-- 
Arno Welzel
https://arnowelzel.de

[toc] | [prev] | [next] | [standalone]


#370663

FromArno Welzel <usenet@arnowelzel.de>
Date2026-11-12 18:19 +0100
Message-ID<11d4sem$4j2m$4@dont-email.me>
In reply to#370607
Leo Baumann, 2026-11-10 05:18:

> es gibt irre teure Grafikkarten, die es ermöglichen LLMs in deren 
> Speicher zu laden und zu nutzen.

Oder man benutzt Alpaca, da braucht man auch keine "irre teure Grafikkarte":

<https://linuxnews.de/alpaca-ki-modelle-offline-lokal-betreiben/>


-- 
Arno Welzel
https://arnowelzel.de

[toc] | [prev] | [standalone]


Page 2 of 2 — ← Prev page 1 [2]

Back to top | Article view | de.sci.electronics


csiph-web