Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]


Groups > de.sci.electronics > #370644

Re: lokale KI

From olaf@criseis.ruhr.de (Olaf Kaluza)
Newsgroups de.sci.electronics
Subject Re: lokale KI
Date 2026-11-10 21:08 +0100
Message-ID <lktvc11.nlrv.ln@fr.a2dfp.net> (permalink)
References <11cu5vh$1a7il$1@solani.org> <pssasm-83bh.ln1@hergen.spdns.de> <11cvfq3$1b4o9$1@solani.org> <ul5csm-anlh.ln1@hergen.spdns.de>

Show all headers | View raw


Hergen Lehmann <hlehmann-usenet26@snafu.de> wrote:

 >weniger schnell. GPUs sind nur deshalb im Vorteil, weil sie extrem viele 
 >Kerne haben und diese Kerne bei neueren Modellen zunehmend auch nicht 
 >mehr reine RISC-Lehre sind, sondern optimierte Spezialbefehle für 

Aehem, noe. :)
Im KI Betrieb fahren die Luefter meiner Grafikkarte deutlich weniger
stark hoch wie im Spielbetrieb. Das besondere der Grafikkarten ist
ihre hohe Speicherbandbreite und das KIs so gross sind und so verteilte
zugriffe benoetigen das man mit Cache nichts mehr ausrichtet.
Man braucht also vor allem sehr schnellen Speicher der so gross
wie moeglich ist.

 >Welche GPU- und CPU-Plattformen konkret angeboten werden, ist eine reine 
 >Marketingentscheidung des Softwareanbieters, aber keine harte technische 
 >Limitierung.

Du kannst KI auf normaler PC-Hardware laufen lassen, aber die sind so lahm
das du die ins Klo kippen kannst. Es gibt spezielle Hardware wo man eine
besonders hohe Speicherbandbbreite realisiert hat. (Apple oder DGX Spark,
beides unified memory) Da bekommst du deutlich schnelleren Speicher, aber
immer noch nur 1/3 so schnell wie eine moderne Grafikkarte. Deine Modelle
laufen also langsamer, allerdings kannst du fuer "relativ" wenig Geld viel
Speicher bekommt. (128GB) und so intelligentere Modelle laufen lassen. 

Das neueste ist dann die kombination aus beiden. (Strata) siehe das von mir
angebene Video.

 >gerade im Inneren des neuronalen Netzwerks passiert, bzw. in einer 
 >Cloud-Umgebung die Lastverteilung im Cluster aus zahlreichen GPUs steuern.

Zahlreihe GPUs sind im privaten Umfeld auch eher expotisch weil man schon
spezielle Mainboards braucht die genug PCI-Lanes haben. Meines kann z.B
gerade mal zwei GPUs und das ist schon ungewoehnlich gut.

Du bis dann schnell im 5stelligen Bereich.

 >Zu wenig RAM! Selbst kleine Modelle erwarten i.d.R. 8GByte, größere 
 >OpenWeight-Modelle sind oft auf jene 16GByte-GPUs optimiert, welche 
 >gerade noch gut auf den freien Markt erhältlich sind.

Unter 16GB brauch man garnicht anzufangen, sinnvoll wird es eigentlich erst
ab 32. Zumal da nicht nur euer Modell sondern auch euer Problem reinpassen
musst. Deshalb gerade der Umweg mit Strata. Eine Nvidia mit 96GB kostet
gerade so in der Gegend 18kEuro.

Olaf

Back to de.sci.electronics | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread


Thread

lokale KI Leo Baumann <ib@leobaumann.de> - 2026-11-10 05:18 +0100
  Re: lokale KI olaf@criseis.ruhr.de (Olaf Kaluza) - 2026-11-10 05:57 +0100
    Re: lokale KI ram@zedat.fu-berlin.de (Stefan Ram) - 2026-11-10 08:08 +0000
    Re: lokale KI Leo Baumann <ib@leobaumann.de> - 2026-11-10 12:45 +0100
  Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 08:15 +0100
    Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-10 09:32 +0100
      Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 22:12 +0100
        Re: lokale KI Axel Berger <Spam@Berger-Odenthal.De> - 2026-11-10 22:46 +0100
          Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 07:10 +0100
            Re: lokale KI Joerg Niggemeyer <joerg.niggemeyer@nucon.de> - 2026-11-11 13:55 +0000
              Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 15:16 +0100
                Re: lokale KI Gerhard Hoffmann <dk4xp@arcor.de> - 2026-11-11 15:50 +0100
                Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 16:05 +0100
                Re: lokale KI Gerhard Hoffmann <dk4xp@arcor.de> - 2026-11-11 16:44 +0100
                Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 17:18 +0100
                Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:24 +0100
        Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 07:06 +0100
          Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-11 13:21 +0100
            Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 14:20 +0100
    Re: lokale KI "Chr. Maercker" <Zweistein@gmx-topmail.de> - 2026-11-10 17:12 +0100
      Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 19:51 +0100
        Re: lokale KI olaf@criseis.ruhr.de (Olaf Kaluza) - 2026-11-10 21:08 +0100
          Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-11 17:42 +0100
    Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:23 +0100
  Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:19 +0100

csiph-web