Alle Open Source KI-Modelle als Offline-Chatbots auf jedem PC nutzen | Mozilla Llamafile Tutorial

[@uwegenosdude]

Toll, dass ihr nun auch mehr technische Tutorials macht! Vielen Dank. Auf einem Mac muss vermutlich Xcode installiert sein. Ich probiers einfach aus. Bisher habe ich es noch nicht gebraucht, da mit brew alles zu kriegen war. Bin gespannt, wie ein 36 GB Mac mit dem 22 GB Modell WizardCoder-Python-34B klarkommt. Sicherheitshalber lade ich auch das 7 GB Modell gerade runter ;-)

[@JasperIrving]

Es wäre cool wenn ihr ein Video erstellen könntet wie man ein ganz kleines einfaches KNN in Excel umsetzt, damit man wirklich Schritt für Schritt sieht wie eine KI lernt und funktioniert.

[@DigitaleProfis]

Link zum Artikel: digitaleprofis.de/kuenstliche-intelligenz/ki-chatbots/tutorial-mit-llamafile-ki-modelle-lokal-verwenden/

[@Andzej-PL_DE]

Hallo Digitale Profis, ich finde eure Tutorials immer sehr hilfreich und informativ. Könntet ihr vielleicht ein Tutorial zur AutoTrain-Funktionalität von HuggingFace machen? Es wäre toll, wenn ihr auch zeigen könntet, wie man in der kostenlosen Variante eigene Daten verwendet, um Modelle nachzutrainieren. Vielen Dank für eure großartige Arbeit!

[@stahlpedia]

Sehr wertvoller Beitrag 👍 Zwei Fragen habe ich dazu: 1. Wenn ich Modelle als Llamafile ausführe, laufen sie fast immer in eine Endlosschleife mit gebrabbel ab ca. 10 Sätzen. Wie kann man das unterbinden? 2. Könnte man, ähnlich wie bei Ollama, auch schon Systempromts in einem Llamafile einbetten?

[@DigitaleProfis]

Hey! Zu 1: Passiert das bei allen Modellen? Wir hatten das Phänomen beim Testen auch bei einigen Versuchen, aber eigentlich nur dann, wenn wir zu kurze Prompts eingegeben haben und die KI sich dann in eine unvollständige Antwort "verstrickt" hat. Bei größeren Modellen ab Richtung Mixtral 8x7B ging es bei uns eigentlich immer problemlos. Zu 2: Sehr gute Frage, ich konnte es gerade eben noch nicht richtig testen, die Doku von Llamafile ist leider auch noch nicht wirklich vollständig, ich denke aber dass es eigentlich gehen müsste. Unter dem Abschnitt Source Installation im Repo gibt es ein paar (leider nicht vollständig erklärte) Parameter github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#source-installation, die vielleicht für Versuche weiterhelfen. Aber wenn wir da etwas Definitives finden, ergänzen wir das auf jeden Fall im Artikel. LG Johannes

[@stahlpedia]

@@DigitaleProfis Ja, Punkt 1 passierte mit fast jedem Model und bei fast jeder Eingabe. Es wirkt, als ob da ein Stopp-Parameter fehlte. Wenn ich mich richtig erinnere, gab nur Phi3:mini "normale" Antworten aus. Leider kann ich aus Performancegründen nur bis 9b testen.

[@Der_Stand_der_Dinge]

Danke für das Tutorial. Ok, ich sehe den Vorteil dass man keine zusätzliche Software benötigt. Allerdings muss man eben auch auf die Konsole achten, ausführbare Files erstellen etc. Um mit Open Source zu experimentieren nutze ich am PC dann doch lieber ein einmalig Installiertes LM Studio oder GPT4All mit deren Interface und Optionen. Welche weiteren Vorteile des Mozilla Projekts seht ihr, neben der Portabilität?

[@nasobem5772]

Super! Danke. Gibt es die Möglichkeit, diese lokal laufenden Modelle mit eigenen Daten zu trainieren? Wenn ja, dann wäre ein entsprechendes Tutorial super.

[@Andzej-PL_DE]

Ich bin auch für ein fine tuning Tutorial inkl Datenaufbau. Ich habe schon Datasets zum testen auf huggingface veröffentlicht. Ich teste gerade die kostenlose Variante von huggingface AutoTrain leider scheitern meine trainingsversuche meistens an der Hardware Limitierung von AutoTrain.

[@Kryssi_79_Berlin]

@@Andzej-PL_DE die Idee für ein fine tuning Tutorial finde ich gut 🙂

[@anihe8892]

Sehr informatives Video. Ich habe von Technik keine Ahnung, hätte aber gerne eine lokale kleinere KI, die auf Höhere Mathematik spezialisiert ist. Gibt es das und wenn ja, wo? Möglichst so einfach zu benutzen wie die Llamafiles.

[@thomass.5430]

Danke für den tollen Beitrag. Gibt es irgendwo eine Hilfestellung, welches der Modelle für welchen Zweck geeignet ist? Ich möchte ungern alle möglichen Modelle durchprobieren.

[@wolfgangbauer2553]

Super 👍

[@heinzpeterklein9383]

Cool, danke.

[@WilfriedStrecke]

Danke!

[@ActorsPunk]

Interessant wäre wie ich als absoluter Python Laie mit Null Programmiererkenntnissen die Ergebnisse von Claude (Artfacts) oder ChatGPT umwandeln kann. 🙏🙏🙏🙏🙏🙏 Landing Pages Apps Benutzeroberflächen Dashboard für Finanzdaten etc.

[@ActorsPunk]

Denn manchmal sind bei Claude Grenzen gesetzt und man kommt nicht weiter

[@Investmentpunk1]

Was ist der Unterschied zwischen Llamafile and Ollama?

[@DigitaleProfis]

Hey, eigentlich ist es ganz einfach. Das Endergebnis ist ähnlich, aber Ollama ist erst einmal ein Programm, dass man installieren muss, und damit dann externe Modell-Dateien ausführen. Das funktioniert bei Llamafile zwar auch, aber man hat eben auch einfach die Llamafile-Dateien, die man einfach ausführen kann, ohne etwas installieren zu müssen. Ich kann zum Beispiel auch auf meinem Rechner verschiedene Llamafiles aus Modellen erstellen und die an Bekannte weitergeben, die können sie einfach ausführen auf Mac, Linux, Windows, Android, etc. ohne irgendwas herunterladen oder installieren zu müssen. LG Johannes

[@Investmentpunk1]

@@DigitaleProfis danke

[@catwiesl4192]

Das ist nicht meine Religion! Religion=wiederverwurzeltsein Meine Religion sind meine Erlebnisse und Erfahrungen!!!

[@eingoogleuser]

Wo gibt es Arbeit für KI interessierte Menschen? 🤔

[@martinshkreli9681]

Kommt drauf an, was genau du machen willst. Aber grundsätzlich sollte es viele neue jobs geben.

[@eingoogleuser]

@@martinshkreli9681 Eben Mal bei der Jobbörse der BA nach Stellen gesucht. Suchbegriff: KI Wo: München Umkreis: 50 km Wenig vorhanden. Für mittelmäßig Qualifizierte praktisch nichts. Persönlich würde ich gerne bei der Digitalisierung von kaufmännischen Abläufen / Vertriebsdigitalisierung mitwirken.