Neuer lokaler KI-Chatbot auf dem eigenen PC (CC2tv Folge 367)

Рет қаралды 42,038

5 ай бұрын

Website: www.cc2.tv
Shop: www.cc2.shop
Spenden: paypal.me/cc2tv
Wer dachte, dass KI-Chatbots wie ChatGPT nur in großen Rechenzentren laufen, sollte dieses Video nicht verpassen. Wir zeigen ein Sprachmodell, das auf dem eigenen Computer unter allen gängigen Betriebssystemen lauffähig ist und mit den großen Modellen absolut mithalten kann.
Link zu Llamafile: github.com/Mozilla-Ocho/llama...

Пікірлер: 156

@felixalexander945

Es ist beachtlich, wie viele Schlafschafe es auch hier in den Kommentaren bzw. unter Ihren Zuschauern gibt, Herr Rudolph. Man kann es nicht oft genug sagen: Wer beginnt, Cloudlösungen zu nutzen, kann sich auch gleich völlig in jeglicher Öffentlichkeit entblößen. Vor 10 Jahren war man noch viel kritischer, heute merkt man die Spuren, die Big Tech hinterlassen hat, leider sehr. Machen Sie weiter so und lassen sie sich nicht von den gehirngewaschenen Kommentaren verunsichern!

@lutzhaber

Entweder sind alle noch im Bett, oder beim Einkaufen.

@strandkaufhaus

Null Kommentare... Schade. Reflektiert Eure Arbeit keineswegs. -- Wie immer sehr interessant. Danke. Bleibt bitte dabei. :) Zum Thema: es ist gut, wenn die Leute wissen, dass man nicht immer alle persönlichen Daten an irgendwelche Konzerne abgeben muss.

@kittykatie3003

KI im Bundestag als beratende Tätigkeit wäre mal interessant.

@autingo6583

schade, herr rudolph, dass sie, anders als ihr vater damals, zu seinen besten zeiten im computer club 1, 80er jahre, so sehr in der vergangenheit kleben geblieben sind und sich nicht für aktuelle technik begeistern können. ich bin wahrscheinlich so alt wie sie, beschäftige mich tiefgreifend mit der aktuellen ki-forschung der top-labore (dank viel open-source, arxiv und huggingface kein problem) und liebe trotzdem retro-technologie bis herunter zu röhrentechnik (youtube-tipps: usagi electric und curious marc).

@fabianh.5848

Trotzdem weiß niemand, wie diese Systeme wirklich funktionieren

@Anrufbeantworter

Mit dem ZX81 konnte man unter BASIC schon ein Programm nutzen, dass das "Heitere Beruferaten" simulieren konnte. Es kannte anfangs nur 2 Berufe, und hat durch Fragen, wie sich die Berufe unterscheiden, selbst weitere nicht geratene Berufe und die zielführenden Fragen hinzugefügt. Auf ähnlicher Basis mit mehreren Auswahlen pro Frage haben wie, ebenfalls unter BASIC, ein Programm zur systematischen Fehlersuche an komplexen Maschinensteuerungen für CP/M80 PCs entwickelt. Später haben die die Steuerprogramme selbst zuerst nur Fehlercodes, und später genaue Fehlermeldungen ausgegeben.

@axelurbanski2828

😂 Unterwältigt das Wort für diesen Monat.

@b-h-t

Also anhand der gezeigten Beispiele würde ich sagen, dass das Modell noch deutlich nicht auf gpt3.5 Niveau ist.

@AmonReich

Geiles Video! Vielen Dank für den Blick hinter die Kulisse. Witzig auf der einen Seite wie z.B. der vergleich mit der Politik oder dem Eichhörnchen. Auf der anderen Seite zeigt es, wie enorm Wichtig eine Regulierung und Überprüfung ist, die weit über Landesgrenzen hinausgeht.

@GeorgHackerson

Großes Lob an eure Videos ! Man lernt so viel dabei :)

@Manuel-th7qi

Vielleicht sollte man noch betonen, dass ChatGPT um Welten bessere Ergebnisse liefert als dieser Versuch hier.

@Jurtenhund

Moin, jau habe es auch mal ausprobiert. Ganz nett als Zeitvertreib. Das die Modelle alle wohl etwas schwindeln ist klar, selbst ChatGPT erfindet Sachen, wenn es nicht weiter weiß. Manchmal ist es recht lustig was die KI's sich so alles ausdenken.

@joanarling

Hmm. Meine erste Sitzung mit Llama:

@thomaskaser1560

CC2tv, ihr seid die Besten!!!

@RagonTheHitman

Sorry, aber das gezeigte ist nur ein Beispiel dafür, das ein kleines LLM auf schlechter Hardware auch schlechte Ergebnisse liefert. Nachfolgend kann jeder der möchte, einen ersten Teil von einem Aufsatz lesen, den mein lokales Modell (Mixtral mit 70B Parameter) geschrieben hat (auf einem High End PC mit einer 2k teuren Grafikkarte). Das gesamte Dokument sind ca. 9000(!) Tokens: 1. Einleitung