Groups | Search | Server Info | Keyboard shortcuts | Login | Register [http] [https] [nntp] [nntps]

Groups > ger.ct > #582285 > unrolled thread

ChatGPT besteht einige Examen der Wharton Business School

Back to article view | Back to ger.ct

Contents

  ChatGPT besteht einige Examen der Wharton Business School Dr. Joachim Neudert <neudert@5sl.org> - 2023-01-24 12:35 +0000
    Re: ChatGPT besteht einige Examen der Wharton Business School Peter Veith <veith@snafu.de> - 2023-01-24 04:56 -0800
    Re: ChatGPT besteht einige Examen der Wharton Business School Dr. Joachim Neudert <neudert@5sl.org> - 2023-01-24 12:58 +0000
      Re: ChatGPT besteht einige Examen der Wharton Business School "Dr. Joachim Neudert" <neudert@5sl.org> - 2023-01-25 09:26 +0100
        Re: ChatGPT besteht einige Examen der Wharton Business School Lars Gebauer <lgebauer@live.de> - 2023-01-25 13:24 +0100
          Re: ChatGPT besteht einige Examen der Wharton Business School Martin Ebert <mx300@gmx.net> - 2023-01-25 18:24 +0100
            Re: ChatGPT besteht einige Examen der Wharton Business School Lars Gebauer <lgebauer@live.de> - 2023-01-25 19:51 +0100
              Re: ChatGPT besteht einige Examen der Wharton Business School Martin Ebert <mx300@gmx.net> - 2023-01-26 17:34 +0100
                Re: ChatGPT besteht einige Examen der Wharton Business School Lars Gebauer <lgebauer@live.de> - 2023-01-26 18:09 +0100
                  Re: ChatGPT besteht einige Examen der Wharton Business School Martin Ebert <mx300@gmx.net> - 2023-01-26 21:46 +0100
        Re: ChatGPT besteht einige Examen der Wharton Business School Walter Brill <WalterBrill@t-online.de> - 2023-01-25 14:13 +0100
          Re: ChatGPT besteht einige Examen der Wharton Business School Ruediger Lahl <ruediger.lahl@gmx.de> - 2023-01-25 15:33 +0100
    Re: ChatGPT besteht einige Examen der Wharton Business School Lars Gebauer <lgebauer@live.de> - 2023-01-24 14:06 +0100
      Re: ChatGPT besteht einige Examen der Wharton Business School "Dr. Joachim Neudert" <neudert@5sl.org> - 2023-01-24 14:59 +0100
        Re: ChatGPT besteht einige Examen der Wharton Business School Ulf Kutzner <Ulf.Kutzner@web.de> - 2023-01-24 06:06 -0800
        Re: ChatGPT besteht einige Examen der Wharton Business School Lars Gebauer <lgebauer@live.de> - 2023-01-24 15:44 +0100
          Re: ChatGPT besteht einige Examen der Wharton Business School "Dr. Joachim Neudert" <neudert@5sl.org> - 2023-01-24 16:04 +0100
            Re: ChatGPT besteht einige Examen der Wharton Business School Peter McD <peter.posts@gmx.net> - 2023-01-24 16:16 +0100
            Re: ChatGPT besteht einige Examen der Wharton Business School klaus reile <klaus.reile@no-more-mail-to.zr> - 2023-01-24 16:43 +0100
              Re: ChatGPT besteht einige Examen der Wharton Business School Ruediger Lahl <ruediger.lahl@gmx.de> - 2023-01-24 17:18 +0100
                Re: ChatGPT besteht einige Examen der Wharton Business School klaus reile <klaus.reile@no-more-mail-to.zr> - 2023-01-24 19:53 +0100
                  Re: ChatGPT besteht einige Examen der Wharton Business School Ruediger Lahl <ruediger.lahl@gmx.de> - 2023-01-24 20:11 +0100
              Re: ChatGPT besteht einige Examen der Wharton Business School Michael Bode <m.g.bode@web.de> - 2023-01-24 17:37 +0100
              Re: ChatGPT besteht einige Examen der Wharton Business School Lars Gebauer <lgebauer@live.de> - 2023-01-24 19:56 +0100
                Re: ChatGPT besteht einige Examen der Wharton Business School klaus reile <klaus.reile@no-more-mail-to.zr> - 2023-01-24 20:40 +0100
            Re: ChatGPT besteht einige Examen der Wharton Business School Michael Bode <m.g.bode@web.de> - 2023-01-24 16:48 +0100
              Re: ChatGPT besteht einige Examen der Wharton Business School "Dr. Joachim Neudert" <neudert@5sl.org> - 2023-01-24 16:52 +0100
            Re: ChatGPT besteht einige Examen der Wharton Business School Andreas Fecht <forum@aftec.de> - 2023-01-24 20:05 +0100
    Re: ChatGPT besteht einige Examen der Wharton Business School Hermann Riemann <nospam.ng@hermann-riemann.de> - 2023-01-24 14:49 +0100
    Re: ChatGPT besteht einige Examen der Wharton Business School Frank Nitzschner <nospam@nitzschner.de> - 2023-01-25 07:40 +0100
    Re: ChatGPT besteht einige Examen der Wharton Business School Mike Grantz <invalid@invalid.invalid> - 2023-01-25 20:48 +0100

Page 1 of 2  [1] 2  Next page →

#582285 — ChatGPT besteht einige Examen der Wharton Business School

University of Pennsylvania, eine Uni der Ivy league.
In Mathe gab es eine 2.

https://www.sueddeutsche.de/wirtschaft/ki-chatgpt-mba-universitaet-1.5737654

Wir hier in ger.ct haben natürlich schon immer vermutet, dass Business
Schools bloß dämlicher Hokuspokus für die Schlipse von der BWL sind. 

Ist halt Sprachverständnis, rechnen kann der Computer sowieso. Hat
gereicht.

Master of Business Administration. 
-- 
please forgive my iPhone typos

[toc] | [next] | [standalone]

#582290

Dr. Joachim Neudert schrieb am Dienstag, 24. Januar 2023 um 13:35:07 UTC+1:

> University of Pennsylvania, eine Uni der Ivy league. 
> In Mathe gab es eine 2. 
> https://www.sueddeutsche.de/wirtschaft/ki-chatgpt-mba-universitaet-1.5737654 
> 
> Wir hier in ger.ct haben natürlich schon immer vermutet, dass Business 
> Schools bloß dämlicher Hokuspokus für die Schlipse von der BWL sind. 

"Die erschreckende Erkenntnis (...) lautet: Jeder deutsche Schüler, der die
gymnasiale Mittelstufe überstanden hat, hat Chancen, das Abschlussexamen
eines wichtigen Kurses eines der prestigeträchtigsten MBA-Programme der
USA zu bestehen."

Das bestätigt erstmal eine Menge Vorurteile.

> Ist halt Sprachverständnis, rechnen kann der Computer sowieso. Hat 
> gereicht. 

"Der härteste Test ist die Tür. Heißt im Umkehrschluss: Wer reinkommt,
hat es eigentlich schon geschafft." ... Die Studiengebühren pro Jahr 
belaufen sich auf etwa 65.000 USD, plus "Taschengeld" vermutlich.

Peter

[toc] | [prev] | [next] | [standalone]

#582291

Stefan Ram <ram@zedat.fu-berlin.de> wrote:
> Dr. Joachim Neudert <neudert@5sl.org> writes:
>> Ist halt Sprachverständnis, rechnen kann der Computer sowieso. Hat
>> gereicht.
> 
>   Bei Sprachmodellen imitiert der Computer Sprachverhalten,
>   das ihm aufgrund einer Textsammlung bekannt ist.
> 
>   Diese Fähigkeit sind zunächst nicht mit den Rechenfähigkeiten
>   der zugrundeliegenden Geräte verbunden, sondern bilden eine
>   darüberliegende Schicht. Dies kann man gut damit vergleichen,
>   daß ein Mensch beispielsweise Wärmesensoren im Gehirn hat
>   (Sensor-Protein TRPM2), aber die Frage "Welche Temperatur
>   hat Dein Gehirn jetzt?" nicht beantworten kann, weil sein
>   Bewußtsein eine Schicht ist, die zwar auf niedrigeren Schichten
>   basiert, aber der diese nicht direkt vollständig zugänglich sind.
> 
>   Es könnte natürlich sein, daß die Ingenieure des Herstellers
>   von Chat-GPT zusätzlich zu dem Sprachmodell-System noch
>   irgendetwas angebaut haben, welches die Fähigkeiten des
>   Sprachmodells ergänzt, beispielsweise um Rechenfähigkeiten.
> 
>   Es wäre auch möglich, daß das Modellsystem so gut ist, daß
>   es sich aus seiner Textbasis praktisch selbst das Rechnen
>   beigebracht hat. Dies wäre dann aber unabhängig von den
>   Rechenfähigkeiten der zugrundeliegenden Computer-Prozessoren.
> 
> 
> 

Tja.

Hier pfeift ein anderer SZ Redakteur ebenso wie ein Kind im dunklen Keller:

https://www.sueddeutsche.de/wirtschaft/kuenstliche-intelligenz-chatgpt-copilot-chatbots-ki-1.5726774

Wobei der konzentriert korrekt gendert, die KI sei "Kollegin und
Sparringspartnerin" für ihn.

"Das Wichtigste aber ist - viertens - eine neue Offenheit für die Maschine
als Kollegin und Sparringspartnerin"

Na ja. In etwa 10 Jahren werden sie wohl akzeptieren, akzeptieren müssen,
daß die Intelligenz der Maschine reicht, sie in ihrem Job auch mal zu
vertreten. Oder gar zu ersetzen?

-- 
please forgive my iPhone typos

[toc] | [prev] | [next] | [standalone]

#582429

Am 24.01.23 um 14:11 schrieb Stefan Ram:
> Dr. Joachim Neudert <neudert@5sl.org> writes:
>> Tja.
> 
>    In Ergänzung meines vorigen Beitrags möchte ich noch schreiben,
>    daß es vorstellbar ist, daß die Textsammlung, aus der Chat-GPT
>    lernt, nicht nur aus natürlichen Texten, sondern auch aus
>    generierten Texten besteht, die von Ingenieuren erzeugt wurden.
> 
>    Darunter könnten sich dann generierte Dialoge befinden, wie:
> 
> Was ist Eins und Eins?
> Eins und Eins ist Zwei.
> 
> Was ist Eins und Zwei?
> Eins und Zwei ist Drei.
> 
> Was ist Zwei und Eins?
> Zwei und Eins ist Drei.
> 
> u.s.w.


Fragen wir sie doch einfach selbst:

F: welche mathematischen Fähigkeiten hat ChatGPT?

A: ChatGPT hat die Fähigkeit, einfache mathematische Ausdrücke und 
Probleme zu verstehen und darauf zu reagieren. Es kann zum Beispiel 
einfache arithmetische Berechnungen durchführen, wie Addition, 
Subtraktion, Multiplikation und Division, sowie Wissen über grundlegende 
Mathematikbegriffe wie Primzahlen und Faktorisierung haben.
Es kann auch einfache algebraische Gleichungen lösen, sowie einfache 
Probleme aus dem Bereich der Geometrie und Trigonometrie lösen, jedoch 
ist seine Leistung auf einfache Probleme beschränkt und es kann nicht 
komplexere Probleme aus dem Bereich der Analysis oder der höheren 
Mathematik lösen.
Es ist jedoch wichtig zu beachten, dass das Verständnis von ChatGPT für 
Mathematik durch seine Schulung auf Texten basiert und es nicht die 
gleiche Fähigkeit wie ein Mensch oder ein spezialisiertes Programm hat, 
um Mathematikprobleme zu lösen.

> 
>    Solche Texte könnte man auch aus Datenbanken erzeugen:
> 
> Was ist die Hauptstadt von Frankreich?
> Die Hauptstadt von Frankreich ist Paris.
> 
> Was ist die Hauptstadt von Italien?
> Die Hauptstadt von Italien ist Rom.
> 
> u.s.w.
> 
>    Ein Fernziel des Projektes "Cyc" ist es, daß Cyc einmal so
>    weit ist, daß es aus natürlichen Texten lernen kann. Bei
>    einem Sprachmodell fängt man dort an, wo Cyc noch nicht
>    angekommen ist: Sprachmodelle können /nur/ aus Texten lernen.
> 
> 

-- 
Bitt um Vrzihung, di Tast " " klmmt manchmal...

[toc] | [prev] | [next] | [standalone]

#582462

Am 25.01.2023 um 13:03 schrieb Stefan Ram:
> Im Grunde ist so, daß diese Systeme sich gegenseitig
> ergänzen könnten. Nur ist es bis jetzt noch niemandem
> gelungen, sie entsprechend zu kombinieren. Man stelle
> sich vor, daß Chat-GPT seine normalen Chat-Fähigkeiten
> für den Smalltalk verwendet, aber, wenn es merkt, daß
> dies nötig wird, andere Systeme nutzen kann, um richtige
> Antworten zu finden.

Alleine die Idee ist schon einigermaßen merkwürdig. Denn hierfür müßte 
ChatGPT "wissen", was denn überhaupt "richtig" ist. /Woher/ sollte 
ChatGPT das "wissen"?

Wer die letzten 2 Jahre nicht völlig verpennt hat sollte doch 
mittlerweile gemerkt haben, daß die Fake News von heute oft (nicht 
immer) das "Wissen" von morgen sind. (Und der Irrtum von übermorgen.)

Viel mehr als richtige Antworten auf die Frage, was 2 + 2 ist, wird 
dabei nicht herauskommen. Und selbst diese Antworten wären diskutabel.

> Zu diesen anderen Systemen könnten
> dann Mathematikprogramme, Datenbanken, Bücher, Suchmaschinen,
> Wörterbücher, Übersetzungsprogramme, andere Software
> oder sogar menschliche Experten gehören. Dabei könnte
> Chat-GPT die Ergebnisse dann in sein Modell aufnehmen,
> so daß es zukünftig, wenn die gleiche Frage noch einmal
> vorkommen sollte, die richtige Antwort schon kennt ...

Ach herrje. Wissenschaft dokumentiert immer "nur" den gegenwärtigen 
Stand des Irrtums. ChatGPT wäre dann eine große Hilfe, den Irrtum zu 
manifestieren.
-- 
German Dream: Vom Tellerwäscher zum Tellerwaschenden.

[toc] | [prev] | [next] | [standalone]

#582494

Am 25.01.23 um 13:24 schrieb Lars Gebauer:
> Am 25.01.2023 um 13:03 schrieb Stefan Ram:

>> Man stelle sich vor, daß Chat-GPT seine normalen Chat-Fähigkeiten 
>> für den Smalltalk verwendet, aber, wenn es merkt, daß dies nötig
>> wird, andere Systeme nutzen kann, um richtige Antworten zu finden.

> Alleine die Idee ist schon einigermaßen merkwürdig. Denn hierfür
> müßte ChatGPT "wissen", was denn überhaupt "richtig" ist. /Woher/
> sollte ChatGPT das "wissen"?

Möglicherweise aus verschiedenen Datenbasen. Eine kleine für das
Spiel-Volk, welches nur mal mitreden will und dem Bot drei dumme Fragen
stellt. Und umfangreichere, wenn es ans Eingemachte geht.

Beispiel:
Ich frage ihn in deutscher Transliteration nach zeitgeschichtlicher
Person. Chatbot: Kenne ich nicht. Ich: Doch, kennste, ist Sohn von ...
Chatbot: Entschuldige bitte, stimmt. Kenne ich. Ich: Sage mir seine
Zeit in Deutschland, was hat er da gemacht. Bot: War nicht in Deutschland.
Ich: Doch, war in Deutschland, prüfe bitte genau. (Ca 30 Sekunden
Pause.) Bot, Entschuldige bitte, es stimmt, er war im Jahr xxx in
Deutschland, da hat er dies und das usw.

(Alternativ nicht mehrere Basen, sondern tieferer Suchzyklus.)

[toc] | [prev] | [next] | [standalone]

#582501

Am 25.01.2023 um 18:24 schrieb Martin Ebert:
> Am 25.01.23 um 13:24 schrieb Lars Gebauer:
>> Am 25.01.2023 um 13:03 schrieb Stefan Ram:
>>> Man stelle sich vor, daß Chat-GPT seine normalen Chat-Fähigkeiten
>>> für den Smalltalk verwendet, aber, wenn es merkt, daß dies nötig 
>>> wird, andere Systeme nutzen kann, um richtige Antworten zu
>>> finden.
> 
>> Alleine die Idee ist schon einigermaßen merkwürdig. Denn hierfür
>> müßte ChatGPT "wissen", was denn überhaupt "richtig" ist. /Woher/
>> sollte ChatGPT das "wissen"?
> 
> Möglicherweise aus verschiedenen Datenbasen. Eine kleine für das
> Spiel-Volk, welches nur mal mitreden will und dem Bot drei dumme Fragen
> stellt. Und umfangreichere, wenn es ans Eingemachte geht.
> 
> Beispiel:
> Ich frage ihn in deutscher Transliteration nach zeitgeschichtlicher
> Person. Chatbot: Kenne ich nicht. Ich: Doch, kennste, ist Sohn von ...
> Chatbot: Entschuldige bitte, stimmt. Kenne ich. Ich: Sage mir seine
> Zeit in Deutschland, was hat er da gemacht. Bot: War nicht in Deutschland.
> Ich: Doch, war in Deutschland, prüfe bitte genau. (Ca 30 Sekunden
> Pause.) Bot, Entschuldige bitte, es stimmt, er war im Jahr xxx in
> Deutschland, da hat er dies und das usw.

Damit hättest Du nur eine weitere Iteration der gegenwärtigen 
Chatbot-Seuche. Die sind ja oft nichts weiter als primitive Suchskripte, 
deren Ergebnisseite "nett" formatiert ist.

Das I in KI bleibt dabei völlig auf der Strecke.
-- 
German Dream: Vom Tellerwäscher zum Tellerwaschenden.

[toc] | [prev] | [next] | [standalone]

#582670

Am 25.01.23 um 19:51 schrieb Lars Gebauer:
> Am 25.01.2023 um 18:24 schrieb Martin Ebert:

>> Beispiel: Ich frage ihn in deutscher Transliteration nach
>> zeitgeschichtlicher Person. Chatbot: Kenne ich nicht. Ich: Doch,
>> kennste, ist Sohn von ... Chatbot: Entschuldige bitte, stimmt.
>> Kenne ich. Ich: Sage mir seine Zeit in Deutschland, was hat er da
>> gemacht. Bot: War nicht in Deutschland. Ich: Doch, war in
>> Deutschland, prüfe bitte genau. (Ca 30 Sekunden Pause.) Bot,
>> Entschuldige bitte, es stimmt, er war im Jahr xxx in Deutschland,
>> da hat er dies und das usw.

> Damit hättest Du nur eine weitere Iteration der gegenwärtigen
> Chatbot-Seuche. Die sind ja oft nichts weiter als primitive
> Suchskripte, deren Ergebnisseite "nett" formatiert ist.

Dem widerspreche ich nicht.

> Das I in KI bleibt dabei völlig auf der Strecke.

Neu ist allerdings, dass natürlichsprachige Antworten generiert
werden. Also neu generiert werden.

[toc] | [prev] | [next] | [standalone]

#582678

Am 26.01.2023 um 17:34 schrieb Martin Ebert:
> Am 25.01.23 um 19:51 schrieb Lars Gebauer:
>> Das I in KI bleibt dabei völlig auf der Strecke.
> 
> Neu ist allerdings, dass natürlichsprachige Antworten generiert
> werden. Also neu generiert werden.

Ja, die Antwort-Ausgabe ist schon eine Sensation. Würde das Ding etwas 
holpriger formulieren, würde es nicht so intelligent rüberkommen.

Vielleicht auch ein Weißer-Kittel-Syndrom: Künstliche Intelligenz -> 
erzeugt die Erwartung einer gewissen Überlegenheit. Und dann formuliert 
das Ding auch noch durchaus eloquent und sicher. Selbst dann, wenn die 
Ausgabe geraten ist.

-> Es blufft.
-- 
German Dream: Vom Tellerwäscher zum Tellerwaschenden.

[toc] | [prev] | [next] | [standalone]

#582684

Am 26.01.23 um 18:09 schrieb Lars Gebauer:
> Am 26.01.2023 um 17:34 schrieb Martin Ebert:

>> Neu ist allerdings, dass natürlichsprachige Antworten generiert
>> werden. Also neu generiert werden.
[...]
> Vielleicht auch ein Weißer-Kittel-Syndrom: Künstliche Intelligenz -> erzeugt die Erwartung einer gewissen Überlegenheit. Und dann formuliert das Ding auch noch durchaus eloquent und sicher. Selbst dann, wenn die Ausgabe geraten ist.

Davon gehe ich fest aus. Stell Dir nur mal vor, es
würde radebrechen wie google-translate.

> -> Es blufft.

"Es lügt unverfroren" würde Vorsatz voraussetzen, den
kann ich allerdings nicht erkennen. Es "weiß" es nicht.

[toc] | [prev] | [next] | [standalone]

#582469

Hallo,

Am 25.01.23 um 13:03 schrieb Stefan Ram:
> "Dr. Joachim Neudert" <neudert@5sl.org> zitierte:
>> Es ist jedoch wichtig zu beachten, dass das Verständnis von
>> ChatGPT für Mathematik durch seine Schulung auf Texten basiert
> 
>    Danke! Das bestätigt ja, was ich zuvor schrieb:
>    "Bei Sprachmodellen imitiert der Computer Sprachverhalten,
>    das ihm aufgrund einer Textsammlung bekannt ist." und
>    "Sprachmodelle können nur aus Texten lernen.".
> 
>    Aber natürlich ist es auch möglich, daß Chat-GPT und ich
>    sich dabei beide irren!

Und wieder das alte Lied:

*Prekäre Klickarbeit hinter den Kulissen von ChatGPT*
"Arbeiter:innen in Kenia sollten teils traumatisierende Texte lesen, um 
ChatGPT zu optimieren. Ihr Stundenlohn: bis zu zwei US-Dollar...."
<https://netzpolitik.org/2023/globaler-sueden-prekaere-klickarbeit-hinter-den-kulissen-von-chatgpt/>

Ciao
Walter

[toc] | [prev] | [next] | [standalone]

#582478

*Walter Brill* schrieb:

> *Prekäre Klickarbeit hinter den Kulissen von ChatGPT*
> "Arbeiter:innen in Kenia sollten teils traumatisierende Texte lesen, um
> ChatGPT zu optimieren. Ihr Stundenlohn: bis zu zwei US-Dollar...."

Entspricht fast dem durchschnittlichen örtlichen Stundenlohn.
Traumatisiert dürften da durch ihre elende Lebensbedingungen sowieso
schon viele sein.

Irgendeiner kommt gleich um die Ecke und wird uns erzählen, wie viel
Strom jetzt für chatgpt verbraten wird und wir unsere Umwelt dadurch nun
endgültig in den Abgrund reißen.

Rued- ...und denkt denn niemand an die Kinder? -iger
-- 
bis denne

[toc] | [prev] | [next] | [standalone]

#582292

Am 24.01.2023 um 13:35 schrieb Dr. Joachim Neudert:
> University of Pennsylvania, eine Uni der Ivy league.
> In Mathe gab es eine 2.
> 
> https://www.sueddeutsche.de/wirtschaft/ki-chatgpt-mba-universitaet-1.5737654
> 
> Wir hier in ger.ct haben natürlich schon immer vermutet, dass Business
> Schools bloß dämlicher Hokuspokus für die Schlipse von der BWL sind.

Ach. Am 30.12. schrieb ich hier:

Ach wieso. Wenn ich das richtig verstanden habe, reicht es immerhin für 
eine ausreichende Simulation medizinischer Kompetenz:

https://arxiv.org/abs/2207.08143

| Although large language models (LLMs) often produce impressive
| outputs, it remains unclear how they perform in real-world scenarios
| requiring strong reasoning skills and expert domain knowledge. We set
| out to investigate whether GPT-3.5 (Codex and InstructGPT) can be
| applied to answer and reason about difficult real-world-based
| questions. We utilize two multiple-choice medical exam questions
| (USMLE and MedMCQA) and a medical reading comprehension dataset
| (PubMedQA). We investigate multiple prompting scenarios: Chain-of-
| Thought (CoT, think step-by-step), zero- and few-shot (prepending the
| question with question-answer exemplars) and retrieval augmentation
| (injecting Wikipedia passages into the prompt). For a subset of the
| USMLE questions, a medical expert reviewed and annotated the model's
| CoT. We found that InstructGPT can often read, reason and recall
| expert knowledge. Failure are primarily due to lack of knowledge and
| reasoning errors and trivial guessing heuristics are observed, e.g.\
| too often predicting labels A and D on USMLE. Sampling and combining
| many completions overcome some of these limitations. Using 100
| samples, Codex 5-shot CoT not only gives close to well-calibrated
| predictive probability but also achieves human-level performances on
| the three datasets. USMLE: 60.2%, MedMCQA: 57.5% and PubMedQA: 78.2%

Google scheint das sogar noch besser zu können:

https://arxiv.org/abs/2212.13138

| Large language models (LLMs) have demonstrated impressive capabilities
| in natural language understanding and generation, but the quality bar
| for medical and clinical applications is high. Today, attempts to
| assess models' clinical knowledge typically rely on automated
| evaluations on limited benchmarks. There is no standard to evaluate
| model predictions and reasoning across a breadth of tasks. To address
| this, we present MultiMedQA, a benchmark combining six existing open
| question answering datasets spanning professional medical exams,
| research, and consumer queries; and HealthSearchQA, a new free-
| response dataset of medical questions searched online. We propose a
| framework for human evaluation of model answers along multiple axes
| including factuality, precision, possible harm, and bias. In addition,
| we evaluate PaLM (a 540-billion parameter LLM) and its instruction-
| tuned variant, Flan-PaLM, on MultiMedQA. Using a combination of
| prompting strategies, Flan-PaLM achieves state-of-the-art accuracy on
| every MultiMedQA multiple-choice dataset (MedQA, MedMCQA, PubMedQA,
| MMLU clinical topics), including 67.6% accuracy on MedQA (US Medical
| License Exam questions), surpassing prior state-of-the-art by over
| 17%. However, human evaluation reveals key gaps in Flan-PaLM
| responses. To resolve this we introduce instruction prompt tuning, a
| parameter-efficient approach for aligning LLMs to new domains using a
| few exemplars. The resulting model, Med-PaLM, performs encouragingly,
| but remains inferior to clinicians. We show that comprehension, recall
| of knowledge, and medical reasoning improve with model scale and
| instruction prompt tuning, suggesting the potential utility of LLMs in
| medicine. Our human evaluations reveal important limitations of
| today's models, reinforcing the importance of both evaluation
| frameworks and method development in creating safe, helpful LLM models
| for clinical applications.

Wobei ich mir da mit mir noch nicht so ganz einig bin, ob das was über 
die Qualität des Sprachmodells oder über die Qualität der Medizin aussagt.

Auch hier dürfte gelten: Muß ja gar nicht perfekt sein. Reicht 
vollkommen, wenn es besser ist als ein menschlicher Arzt.

Und natürlich, wenn es billiger ist als ein menschlicher Arzt. Dann wird 
die Versuchung groß.


-- 
German Dream: Vom Tellerwäscher zum Tellerwaschenden.

[toc] | [prev] | [next] | [standalone]

#582303

Am 24.01.23 um 14:06 schrieb Lars Gebauer:

> Wobei ich mir da mit mir noch nicht so ganz einig bin, ob das was über 
> die Qualität des Sprachmodells oder über die Qualität der Medizin aussagt.
> 
> Auch hier dürfte gelten: Muß ja gar nicht perfekt sein. Reicht 
> vollkommen, wenn es besser ist als ein menschlicher Arzt.
> 
> Und natürlich, wenn es billiger ist als ein menschlicher Arzt. Dann wird 
> die Versuchung groß.
> 
> 


Heise meint heute das Gegenteil:

https://www.heise.de/meinung/Zum-Einsatz-von-ChatGPT-In-der-Medizin-dauern-Revolutionen-immer-etwas-laenger-7468149.html

"Kommentar: ChatGPT kann Ärzte nicht ersetzen"


Was für meine Zunft besonders beruhigend ist: Schwätzen ist nur ein 
kleiner Teil davon. Auch Wissen ist nur  kleiner Teil davon. Können – 
das ist ein großer Teil.

Du erinnerst dich, als du voriges Jahr um diese Zeit einige Tage offline 
warst wegen eines Notfalleingriffs.

Du hast später hier in ger.ct  selbst davon berichte, ich verrate also 
nichts  was Du nicht selbst  mitgeteilt hast. Du kannst es aber selber 
gern detailllierter  berichten tun wenn Du magst.

Hättest du stattdessen lieber mit ChatGPT über deine Schmerzen sprechen 
wollen? Oder nicht doch auf das Wissen und die Erfahrung und das Können 
des Chirurgen zu bauen, der erst die Diagnose gestellt hat und die 
Indikation zum Notfalleingriff aufgrund der beobachteten Symptome 
gestellt hat, und ihn dann erfolgreich selbst durchgeführt hat?


Wir Mediziner sind wohl recht gut gesichert, ähnlich wie die 
Gemüsepflücker und Klempner. Solange keine KI mit perfektem Körper 
voller Sensoren und Effektoren  die defekten Rohre unter deinem 
Waschbecken  in deinem Haushalt reparieren kann oder die Gefäße in 
deinem Herzen, solange sind Klempner und interventionelle Kardiologen 
noch nicht zu ersetzen...  :-

[toc] | [prev] | [next] | [standalone]

#582305

Ländischwätzi schrieb am Dienstag, 24. Januar 2023 um 14:59:52 UTC+1:

> Wir Mediziner sind wohl recht gut gesichert, ähnlich wie die 
> Gemüsepflücker und Klempner.

Der Arbeitsmarkt für Kartoffelroder ohne
Vollernterkenntnisse ist in Deutschland
allerdings weitgehend verschlossen.

[toc] | [prev] | [next] | [standalone]

#582314

Am 24.01.2023 um 14:59 schrieb Dr. Joachim Neudert:
> Du erinnerst dich, als du voriges Jahr um diese Zeit einige Tage offline 
> warst wegen eines Notfalleingriffs.
> 
> Du hast später hier in ger.ct  selbst davon berichte, ich verrate also 
> nichts  was Du nicht selbst  mitgeteilt hast. Du kannst es aber selber 
> gern detailllierter  berichten tun wenn Du magst.
> 
> Hättest du stattdessen lieber mit ChatGPT über deine Schmerzen sprechen 
> wollen?

Du wirst lachen aber: Ich habe da mit niemandem geredet. Denn mehr als 
drei zusammenhängende Worte habe ich wegen der Schmerzen überhaupt nicht 
herausbekommen. Ich wollte etwas sagen - aber es ging nicht.

> Oder nicht doch auf das Wissen und die Erfahrung und das Können 
> des Chirurgen zu bauen, der erst die Diagnose gestellt hat und die 
> Indikation zum Notfalleingriff aufgrund der beobachteten Symptome 
> gestellt hat,

Das hat gefühlte Ewigkeiten gedauert. Und in meiner Erinnerung stand da 
eine Gruppe von Personen um mein Bett und hat - zugeguckt. Ewig lange. 
Vielleicht haben die untereinander gesprochen. Aber das habe ich nicht 
mitbekommen.

> und ihn dann erfolgreich selbst durchgeführt hat?

Am nächsten Tag wurde mir der junge Mann vorgestellt, der die Operation 
durchgeführt hatte. Der hat mir sehr ausführlich etwas erklärt. 
Vermutlich das, was er getan hatte. Aber da war ich 1.) noch völlig 
fertig und 2.) war Deutsch nicht seine Muttersprache. Deswegen kann ich 
über dieses "Gespräch" inhaltlich auch nichts sagen.

Aber alle anderen 4 oder 5 Mediziner, die währenddessen um mein Bett 
herumstanden, schienen sehr große Stücke auf den jungen Arzt gehalten zu 
haben. Die wirkten, als seien sie von seiner Leistung sehr angetan 
gewesen. Das wurde irgendwie deutlich.

-- 
German Dream: Vom Tellerwäscher zum Tellerwaschenden.

[toc] | [prev] | [next] | [standalone]

#582317

Am 24.01.23 um 15:44 schrieb Lars Gebauer:
> Am 24.01.2023 um 14:59 schrieb Dr. Joachim Neudert:
>> Du erinnerst dich, als du voriges Jahr um diese Zeit einige Tage 
>> offline warst wegen eines Notfalleingriffs.
>>
>> Du hast später hier in ger.ct  selbst davon berichte, ich verrate also 
>> nichts  was Du nicht selbst  mitgeteilt hast. Du kannst es aber selber 
>> gern detailllierter  berichten tun wenn Du magst.
>>
>> Hättest du stattdessen lieber mit ChatGPT über deine Schmerzen 
>> sprechen wollen?
> 
> Du wirst lachen aber: Ich habe da mit niemandem geredet. Denn mehr als 
> drei zusammenhängende Worte habe ich wegen der Schmerzen überhaupt nicht 
> herausbekommen. Ich wollte etwas sagen - aber es ging nicht.
> 
>> Oder nicht doch auf das Wissen und die Erfahrung und das Können des 
>> Chirurgen zu bauen, der erst die Diagnose gestellt hat und die 
>> Indikation zum Notfalleingriff aufgrund der beobachteten Symptome 
>> gestellt hat,
> 
> Das hat gefühlte Ewigkeiten gedauert. Und in meiner Erinnerung stand da 
> eine Gruppe von Personen um mein Bett und hat - zugeguckt. Ewig lange. 
> Vielleicht haben die untereinander gesprochen. Aber das habe ich nicht 
> mitbekommen.
> 
>> und ihn dann erfolgreich selbst durchgeführt hat?
> 
> Am nächsten Tag wurde mir der junge Mann vorgestellt, der die Operation 
> durchgeführt hatte. Der hat mir sehr ausführlich etwas erklärt. 
> Vermutlich das, was er getan hatte. Aber da war ich 1.) noch völlig 
> fertig und 2.) war Deutsch nicht seine Muttersprache. Deswegen kann ich 
> über dieses "Gespräch" inhaltlich auch nichts sagen.
> 
> Aber alle anderen 4 oder 5 Mediziner, die währenddessen um mein Bett 
> herumstanden, schienen sehr große Stücke auf den jungen Arzt gehalten zu 
> haben. Die wirkten, als seien sie von seiner Leistung sehr angetan 
> gewesen. Das wurde irgendwie deutlich.
> 

Danke für den freizügigen und ehrlichen Bericht.

Der auch sehr schön zeigt, warum man in meiner Profession noch keine 
Angst vor KI, Chatbots, Robotern und Automaten hat.

Journalisten geht gerade die Düse, habe ich dn Eindruck. Auch die sind 
klug und wissen daher, wie der Fortschritt sich entwicklt.

KLempner, Erntehelfer und operativ tätige Ärzte sind nicht verunsichert.

-- 
Bitt um Vrzihung, di Tast " " klmmt manchmal...

[toc] | [prev] | [next] | [standalone]

#582322

Am 24.01.23 um 16:04 schrieb Dr. Joachim Neudert:

> ...
> Journalisten geht gerade die Düse, habe ich dn Eindruck. Auch die sind 
> klug und wissen daher, wie der Fortschritt sich entwicklt.
> 
> KLempner, Erntehelfer und operativ tätige Ärzte sind nicht verunsichert.

Handwerker halt;-)

[toc] | [prev] | [next] | [standalone]

#582335

On Tue, 24 Jan 2023 16:04:14 +0100
"Dr. Joachim Neudert" <neudert@5sl.org> wrote:

> Der auch sehr schön zeigt, warum man in meiner Profession noch keine 
> Angst vor KI, Chatbots, Robotern und Automaten hat.
> 
> Journalisten geht gerade die Düse, habe ich dn Eindruck. Auch die
> sind klug und wissen daher, wie der Fortschritt sich entwicklt.
> 
> KLempner, Erntehelfer und operativ tätige Ärzte sind nicht
> verunsichert.

Wie sieht es aber mit Otto-Normalverbraucher/in aus? Hier will man
unbedingt die Stromzähler zu einer digitalen Version hin wechseln. Wenn
ich da so lese, was manche Politiker für Ideen haben, kann man als
normaler people schon das Gruseln kriegen:

"Köln – Ratspolitiker Jörg Detjen (Linke) wirft Oberbürgermeisterin
Henriette Reker Zynismus und „Abgehobenheit“ gegenüber Menschen vor,
die angesichts der steigenden Energiepreise finanzielle Sorgen haben.
Reker befürworte Stromsperren für Kundinnen und Kunden, die die
Rechnungen von Energieversorgern nicht mehr bezahlen können, kritisiert
Detjen.

Im Interview mit dem „Kölner Stadt-Anzeiger“ sagte Reker auf die Frage,
ob die Rhein-Energie darauf verzichten solle, Strom oder Gas
abzustellen, wenn Menschen ihre Rechnungen nicht mehr zahlen können:
„Manche Leute brauchen dieses Damoklesschwert der Sperre, damit sie
vernünftig mit ihrem Energieverbrauch umgehen.“ "

Ganzer Artikel:

https://www.ksta.de/koeln/joerg-detjen-wirft-koelner-ob-henriette-reke-zynismus-vor-351706?cb=1674573990418

Das bedeutet dann, wenn die meinen Zähler fernablesen können und
meinen, ich verbrauche zu viel Strom oder Gas, dann knipsen die mich
einfach weg? Da muss ich dann fragen, was haben die aus unserem Land
gemacht?


-- 
Wer Waffen liefert, will Krieg. Wer Frieden will, schickt Diplomaten.
    
Meinungsfreiheit ist solange angesagt, wie die geäusserte Meinung mit
der von den Meinungsfreiheit Propagierenden übereinstimmt.

[toc] | [prev] | [next] | [standalone]

#582342

*klaus reile* schrieb:

> Ganzer Artikel:

Vom 30.09.2022!

> https://www.ksta.de/koeln/joerg-detjen-wirft-koelner-ob-henriette-reke-zynismus-vor-351706?cb=1674573990418

Hier der Link zum Interview. Aus dem Zusammenhang gerissene Sätze sind
scheiße.

https://www.ksta.de/koeln/koelns-ob-reker-schoen-wird-der-11-11-auch-dieses-jahr-nicht-359122
vom 28.09.2022

 ,----
|  KStA: Sollte die städtische Rhein-Energie darauf verzichten, Menschen
|  Strom oder Gas abzustellen, wenn sie ihre Rechnungen nicht mehr bezahlen
|  können?
|  
|  Reker: Die Rhein-Energie versucht immer, das zu verhindern. Auf der
|  anderen Seite braucht es den Preis als gewissen Regulator, manche Leute
|  brauchen dieses Damoklesschwert der Sperre, damit sie vernünftig mit
|  ihrem Energieverbrauch umgehen.
 `----

_MANCHE Leute_ Dem stimme ich vollumfänglich zu. Du nicht?

> Das bedeutet dann, wenn die meinen Zähler fernablesen können und
> meinen, ich verbrauche zu viel Strom oder Gas, dann knipsen die mich
> einfach weg?

Das interpretierst du in obige Äußerung hinein? Da oben steht nur, was
seit es Stromzähler gibt, gelebte Praxis ist.
-- 
bis denne

[toc] | [prev] | [next] | [standalone]

Page 1 of 2  [1] 2  Next page →

Back to top | Article view | ger.ct

csiph-web