Wir haben eine KI zum Abi geschickt - mit Christian Schiffer | TINCON Berlin

[@tobiasurban8065]

Es geht nicht darum, ob man ChatGPT die Frage hätte anders stellen müssen, damit die Prüfung bestanden werden kann, sondern ChatGPT die gleichen Kontextinformationen zur Rolle, Prüfungsformat, Benotungskriterien, Erwartungen, etc., bereitzustellen, die dem Schüler bekannt waren.

[@patrickhanft]

Absolute Zustimmung. Wer halbwegs professionell mit Chatbots agiert, versucht sie mit maximalem Kontext zu primen und entsprechend iterative Verbesserungen zu erzielen. Also so ähnlich wie die Schülerinnen und Schüler, die sich aufs Abitur vorbereiten … 😉

[@Narohja]

Es wäre schon interessant für ChatGPD optimierte Fragen danach von Oberstufenschülern oder sogar "in der Fußgängerzone" lösen zu lassen. Vielleicht wären die Ergebnisse ebenfalls überraschend...

[@kaihenne]

@@patrickhanft Ich stecke da manchmal so viel Arbeit rein, dass ich es schneller selbst machen könnte. Und gerade ChatGpt ist vergesslicher als Olaf Scholz.

[@linesplitter9161]

Ja aber dem Schüler ist die Mindestwortzahl bekannt. Auch dass man Nebensätze bilden soll und wie ein Kommentar aussehen soll. Sprich dass was der Schüler während des Unterrichts vorab lernt was wichtig ist, muss man GPT natürlich auch in den Promt geben. Ergo ist dass schon wichtig Infos zu geben die über die reine Aufgabe hinaus gehen. Man könnte zb ein Custom GPT dafür erstellen.

[@markushuber512]

Ladet doch mal jemanden ein, der Ahnung von KI hat

[@AlexanderWeixelbaumer]

Bei dem Fach Deutsch wäre es wichtig gewesen im Prompt zu erwähnen dass eloquente und dynamische Sprache verwendet werden soll. Die Standard-Sprache von ChatGPT ist tatsächlich sehr "platt". Der Mangel an Fachbegriffen in Geschichte könnte vermutlich auch mit dem richtigen Prompt behoben werden, z.B. "verwende Fachbegriffe wie sie ein deutscher Hochschulabsolvent verwenden würde". Grundsätzlich ist ChatGPT wie ein Taschenrechner. Der war früher an Schulen auch nicht erlaubt, weil, Zitat meiner Lehrer "Niemand immer ein Taschenrechner bei sich hätte". Die Geschichte belehrt. Ich programmiere hobbymässig und ChatGPT macht mich ca. 3 Mal schneller. Vieles klappt auf anhieb nicht, aber meistens im zweiten oder dritten Anlauf mit menschlichen Einwirken.

[@407wrld3]

ChatGPT ist aber eher so wie der erste Casio. Da kommt bald noch mehr, jeder kann bald ein (auch fähiges) LLM lokal laufen lassen und es deutet alles darauf hin, dass nahezu alle Modelle unter trainiert sind. Bei LLMs ist es aktuell so, dass sowohl software- und auch hardwareseitig noch einiges optimiert werden muss. Mal abgesehen von den anderen Faktoren die optimiert werden können. Wie du bereits geschrieben hast, kann durch Prompt Engineering, welches auf das Modell abgestimmt ist, auch noch einiges rausgeholt werden.

[@viktorhugo8252]

Vielleicht war die Prüfung Abi 2023 einfacher als die von 2022. das erklärt das bessere Abschneiden.

[@zapl80]

Wenn ich Abitur als Benchmark nehme schaffe ich ein neues Optimierungsproblem was nichts darüber aussagt wie gut ein allgemeines Modell ist

[@altEnte]

Das zeigt einfach, dass man sich als Mensch nicht künstlich aufblasen sollte, nur weil man an paar Wissensprüfungen bestanden hat.

[@marcs.3853]

Imagine du musst bei der Hamburger Abi-Prüfung noch ChatGPT benutzen. 🤣

[@Silerra]

Zu den echt schwierigen Fragen in der Fragerunde gab es verblüffend gute Antworten. Ich brauche nichts mehr hinzuzufügen, da alle wichtigen somit aufgegriffen wurde.

[@DanielD168]

Sry ich entwickle viel in GPT und verwende es um Knowledge Graphen anzureichern und die Menschen in dem Video reden einfach nur ... . Warum mussten die Menschen die zu Wort kamen keine Kompetenz Preuefung machen? GPT koente zuerst die Qualifizierung der Sprecher checken, und dann entscheiden ob die passend fuer so einen Vortrag sind. Einfach mal umkehren und sehen in wie fern etwas besseres raus kommt XDD

[@chrystal108reading4]

@DanielD168 Lieber Daniel, wie steht es denn mit Deiner SPRACH- und SCHREIB-Kompetenz ? ;)

[@danieldefiebre]

@@el_carlitosway Naja es gibt durch LLMs eine ganz neue Berufsgruppe die nennt sich Prompt Engineer. Der macht nichts anderes als die Anweisungen an GPT so zu optimieren, dass das beste Ergebnis herauskommt. Das alles wird hier in dem Vortrag nicht beruecksichtigt

[@DanielD168]

@@chrystal108reading4 sehr schlecht, ich eine lese rechtschreib schwaeche. Leider schaffe ich es nicht, das auf ein normales Level zu bringen.

[@korbendallasmultipass1524]

Claude 3.5 hätte das wahrscheinlich hinbekommen. Habe ähnliche Aufgaben hier lösen lassen und das Ergebnis war bei längeren Texten deutlich besser.

[@DanielD168]

wie war das Prompt engineering? das beeinflusst die qualitaet der ergebnisse. Wurde mit GPTs gearbeitet oder custom models? Das setting des Experimentes wurde nicht geframt

[@tobiasurban8065]

13:36 - Die Aussage ärgert mich sehr, dass es ungewöhnlich sei, wie sehr die Leistung je nach Fach variiert, wobei man es bei Schülern eher mit isgesamt leistungsschwächeren oder leistungsstärkeren Schülern zu tun hätte? Bitte, wo ist der Beleg für diese These? Ich kenne dazu keine Studie. Was ich aus eigener Erfahrung weiß, ist, dass es sehr häufig vorkommt, dass Schüler in manchen Fächern sehr gut sein können und andere ihnen nicht liegen. Das Problem ist immer die Lehrkraft, die meint, von ihrem Fach auf die Gesamtleistung zu schließen. Es ist doch nicht so, dass die Fachlehrkraft am Ende das Abiturzeugnis vorgelegt bekommt.

[@janbao7668]

Ich glaube der Geschichtslehrer hat die Varianz der Antwortqualität innerhalb des Geschichtsabiturs gemeint. Alles andere würde mich wundern.

[@tobiasurban8065]

@@janbao7668- ein paar Sekunden früher, ab 13:16 wird es eindeutig

[@benjaminbeier4036]

Ebenfalls interessant wäre es gewesen die KI mit menschlicher Unterstützung das Abi schreiben zu lassen. Der Mensch selbst sollte dabei wenig Ahnung von den Prüfungsthemen haben, aber im Umgang mit ChatGPT geschult sein. Einfach um zu sehen wie weit jemand kommen kann, der keinen Peil hat aber schummelt.

[@Simon-od1iy]

Wie waren den die Ergebnisse bei GPT 4 bei den übrigen Fächern?

[@Aufklaerung_Christentum]

Naja, ChatGPT hat nicht wirklich die ABI-Prüfung ausgefüllt, ansonsten bräuchte man noch eine Kamera, ein Texterkennungssystem (OCR) die Fragen erkennt und ein Roboterarm, der die Fragen mit Kuli beantwortet und die Blätter umdreht.

[@datapanda5856]

Was für eine schräge Methodik

[@lalapatala781]

Auch total schlecht gepromted... Dass es keine 800 Wörter sind, hätte z.B. im Prompt explizit stehen müssen und wie überhaupt geschrieben werden soll. Finde das mehr als fragwürdig. Jemand, der sich damit auseinandersetzt, muss das einfach wissen.

[@irinaciboch]

na, dann sind wir froh darüber, man muss Chat GPT so füttern, dass das richtige rauskommt. Würde Chat GPT kreativ werden und selbst denken, hätten wir sehr bald ein sehr großes Problem :D

[@Nickname_42]

In Bayern ist es eh wichtiger, dass du eine Alpenkuh mit einer Hand melken kannst und Dein Geld im Fußballstadion lässt.

[@florianlion8215]

Kommst du aus Bayern? :D

[@Nickname_42]

@@florianlion8215 Ich muss ja auch nicht aus China kommen, um zu wissen, dass dort überwiegend mit Stäbchen gegessen wird. Kommst du aus Sachsen?

[@407wrld3]

Finde es krass, wie ChatGPT schon personifiziert wird. "Er hat ... gemacht". Zeigt schon, wie überzeugend menschlich das Modell wirkt.

[@richardpolt3706]

... er ist dann einfach stehen geblieben, der blöde BMW ... ... sie geht nicht auf, die Tür ... #generischesmaskulin

[@zapl80]

​@@richardpolt3706 der BMW ist nicht generisches Maskulinum sondern der Artikel. Der Mond und die Sonne sind halt grammatikalisches Geschlecht. Generisches Maskulinum gibt es nur da wo es wirklich um menschliches Geschlecht geht und Dinge können in der Regel sowohl mit "der" als auch mit "die" bezeichnet werden. ChatGPT wird allgemein als Sache betrachtet und sprachlich so behandelt. Einen richtigen Artikel für ChatGPT gibt es auch nicht, der die das ChatGPT ist alles Blödsinn, es ist Englisch und damit "the", wir könne nicht anders als ein verglechbares deutsches Wort zu suchen und dessen Artikel zu nehmen. Lustig zu sehen bei der/die/das Quest.

[@balyboo5856]

...künstliche Intelligenz nur so schlau wie die Frage die man ihr stellt... nein, nur so gut wie die Quellen und wenn genug Leute mit Berliner Abitur im Internet behaupten KI Qualität hängt vor allem mit der Qualität der Fragen zusammen dann 'glaubt' das halt auch die KI. ChatGPT hat aus meiner Sicht auch noch ein massives Ideologie Problem, also dass Fragen zu aktuellen Themen, was ja bei einem Abitur durchaus passieren könnte, durch eine extrem linke Brille betrachtet werden. Da hätte der Copilot von Microsoft bessere Chancen, der scheint mir deutlich neutraler. Physik eine Aufgabe Lecksuche mit radioaktivem Thorium, da würde ChatGPT sicher mit unterbringen Atomkraft böse, Solarkraft toll, lass doch das Thorium weg.

[@RobertMusil-w2b]

Und das können Sie beurteilen? Wir wissen alle nicht, was in 6 Monaten ist, vor allem Sie nicht!

[@pusel9016]

Ich glaube ja eher, dass du ein kleines Ideologieproblem hast.