Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]


Groups > de.sci.electronics > #370649

Re: lokale KI

From Hergen Lehmann <hlehmann-usenet26@snafu.de>
Newsgroups de.sci.electronics
Subject Re: lokale KI
Date 2026-11-11 17:42 +0100
Message-ID <fhiesm-v6ai.ln1@hergen.spdns.de> (permalink)
References <11cu5vh$1a7il$1@solani.org> <pssasm-83bh.ln1@hergen.spdns.de> <11cvfq3$1b4o9$1@solani.org> <ul5csm-anlh.ln1@hergen.spdns.de> <lktvc11.nlrv.ln@fr.a2dfp.net>

Show all headers | View raw


Am 10.11.26 um 21:08 schrieb Olaf Kaluza:
> Hergen Lehmann <hlehmann-usenet26@snafu.de> wrote:
>   >weniger schnell. GPUs sind nur deshalb im Vorteil, weil sie extrem viele
>   >Kerne haben und diese Kerne bei neueren Modellen zunehmend auch nicht
>   >mehr reine RISC-Lehre sind, sondern optimierte Spezialbefehle für
> 
> Aehem, noe. :)

Sondern?


> Im KI Betrieb fahren die Luefter meiner Grafikkarte deutlich weniger
> stark hoch wie im Spielbetrieb. 

Das besagt nichts - eine Grafikkarte enthält neben den frei 
programmierbaren Rechenkernen auch noch zahlreiche spezialisierte 
Funktionseinheiten (Shader, Texture Mapping, ROPS, etc.), welche im 
KI-Betrieb brach liegen und entsprechend fast keine Wärme produzieren.


> Das besondere der Grafikkarten ist
> ihre hohe Speicherbandbreite und das KIs so gross sind und so verteilte
> zugriffe benoetigen das man mit Cache nichts mehr ausrichtet.
> Man braucht also vor allem sehr schnellen Speicher der so gross
> wie moeglich ist.

Ja, danke, das hatte ich tatsächlich vergessen zu erwähnen.


>   >Welche GPU- und CPU-Plattformen konkret angeboten werden, ist eine reine
>   >Marketingentscheidung des Softwareanbieters, aber keine harte technische
>   >Limitierung.
> 
> Du kannst KI auf normaler PC-Hardware laufen lassen, aber die sind so lahm
> das du die ins Klo kippen kannst. 

Kommt drauf an, was man damit macht.
Mal schnell eine kleine Illustration in nicht allzu hoher Auflösung zu 
generieren, dauert hier auf einem i7-14700 wenige Minuten. Den Prompt zu 
formulieren, dauert länger, und bei meinen bescheidenen künstlerischen 
Fähigkeiten etwas von Hand zu probieren, erst recht.

Klar, eine fette GPU würde mehr Spaß machen, aber bei den derzeitigen 
Preisen...


> Unter 16GB brauch man garnicht anzufangen, sinnvoll wird es eigentlich erst
> ab 32. Zumal da nicht nur euer Modell sondern auch euer Problem reinpassen
> musst. 

Wie gesagt, kommt drauf an, was man damit macht.
Da GPUs jenseits 16GByte für den Hobbyisten kaum realistisch sind (erst 
recht bei der aktuellen Preistreiberei), sind die gängigen 
OpenWeight-Modelle fast durchweg auf 8 oder 16GByte optimiert. Der 
Speichermangel schränkt sie gegenüber den kommerziellen Modellen etwas 
ein, aber einen Tod muss man halt sterben.

Back to de.sci.electronics | Previous | Next — Previous in thread | Next in thread | Find similar | Unroll thread


Thread

lokale KI Leo Baumann <ib@leobaumann.de> - 2026-11-10 05:18 +0100
  Re: lokale KI olaf@criseis.ruhr.de (Olaf Kaluza) - 2026-11-10 05:57 +0100
    Re: lokale KI ram@zedat.fu-berlin.de (Stefan Ram) - 2026-11-10 08:08 +0000
    Re: lokale KI Leo Baumann <ib@leobaumann.de> - 2026-11-10 12:45 +0100
  Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 08:15 +0100
    Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-10 09:32 +0100
      Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 22:12 +0100
        Re: lokale KI Axel Berger <Spam@Berger-Odenthal.De> - 2026-11-10 22:46 +0100
          Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 07:10 +0100
            Re: lokale KI Joerg Niggemeyer <joerg.niggemeyer@nucon.de> - 2026-11-11 13:55 +0000
              Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 15:16 +0100
                Re: lokale KI Gerhard Hoffmann <dk4xp@arcor.de> - 2026-11-11 15:50 +0100
                Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 16:05 +0100
                Re: lokale KI Gerhard Hoffmann <dk4xp@arcor.de> - 2026-11-11 16:44 +0100
                Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 17:18 +0100
                Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:24 +0100
        Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 07:06 +0100
          Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-11 13:21 +0100
            Re: lokale KI Eric Bruecklmeier <u@5i7.de> - 2026-11-11 14:20 +0100
    Re: lokale KI "Chr. Maercker" <Zweistein@gmx-topmail.de> - 2026-11-10 17:12 +0100
      Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-10 19:51 +0100
        Re: lokale KI olaf@criseis.ruhr.de (Olaf Kaluza) - 2026-11-10 21:08 +0100
          Re: lokale KI Hergen Lehmann <hlehmann-usenet26@snafu.de> - 2026-11-11 17:42 +0100
    Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:23 +0100
  Re: lokale KI Arno Welzel <usenet@arnowelzel.de> - 2026-11-12 18:19 +0100

csiph-web