Dein persönliches ChatGPT! KI Server selbst gebaut - so geht’s

[@bushcrafthessen21]

Wäre cool wenn du das, wie im Video von dir Angeboten, ein Video zum Thema fürs Homelab machen könntest 👍😁

[@bushcrafthessen21]

@@Leak-ec5gb ja gibt es, aber mir, und so habe ich es im Video verstanden, geht es mehr um die Kombi Hardware + AI und nicht wie installiert man LlamaGPT auf einen PC. Hier im Video ist die Hardware für mich "zu teuer" und ein Normaler PC zu schwach, ich bin auf die Homelab Variante von Apfelcast gespannt. Ein schöner Nebeneffekt, das Video wird in Deutsch sein, für mich deutlich verständlicher 😂😂

[@bushcrafthessen21]

@@Leak-ec5gb japp 🙂

[@nironathan2490]

Wie immer ein top Video! Bitte für homelab ein Video produzieren ❤️

[@nicolaslodosmarrero8929]

Homelab bitte

[@anyman599]

Gerne weitere Videos dazu für's Homelab.

[@xxxxxx8930]

Eine schöne Sache zur Fortführung des Themas wäre ein Video zur Software - Flowise. Die Möglichkeiten, die diese Software im Zusammenarbeit mit z.B. OLLAMA bietet sind sehr beeindruckend.

[@Todbrecher]

Ja, die Homelab-Variante würde mich auch interessieren...wobei ich bei mir eh schauen müsste, wie ich das realisiere. hab die Wahl das in meinem eh schon recht belegten Storage-Server oder im Proxmoxcluster zu machen....da bräuchte es halt gleich drei Karten, und dann noch Low Profile, was auch wieder zum Problem werden könnte.

[@refreco]

Spricht was gegen die Installation auf einem Proxmox Server?

[@darkpete6180]

Homelab wäre super. Tolles Video. Danke!

[@friedfischangler_destefan_5521]

Klasse Video! Ohne größere Probleme konnte ich eine kleine KI-Test-VM dank deiner Anleitung in meinem Proxmox-Homelab aufsetzen! :-) Gut, es ist nicht so schnell wie ChatGPT oder mit NVidia-Grafikkarte, aber auf meinem Mini-PC braucht es mit 8 Kernen, 10 GB RAM auch nicht so wahnsinnig lange um Antworten zu bekommen, und der Stromverbrauch ist auch sehr gering. Sicher, das ist nichts für produktive Umgebungen, aber um sich dem Thema mal in den eigenen vier Wänden zu widmen ist das schon OK... Besten Dank! Bin aber auch auf eine Homelab-Variante von Dir gespannt... Vielleicht kommt da noch mal was wirklich günstiges bei raus... ?! 🙂

[@torstenschone2795]

Super Video! Bitte auch fürs homelab ein Video anbieten!

Danke für das Video. Gestern haben wir noch darüber geprochen, dass das unser nächstes Projekt wird 😅

[@Computer-Liebhaber]

Toll, so ein Video habe ich schon immer gesucht! Wie zuverlässig ist die KI?

[@apfelcast]

In meinen Tests was das reine Hosting angeht läuft das ganze absolut solide. Die Qualität der Antworten variiert natürlich je nach LLM. Ist aber unterm Strich vergleichbar mit ChatGPT.

[@Computer-Liebhaber]

@@apfelcast Gibt es einen bestimmten Server, den du dafür speziell dafür empfehlen würdest?

[@grafmarzipan9834]

Ein Video fürs Homelab wäre top 👍

[@leatherwiz]

Mich interessiert wie ich das auf einem Heimserver umsetzen kann und welche Hardware da Sinn macht.

[@dpilot123]

Was muss man in der webui einstellen dass alle cpu's genutzt werden?

[@raphaelr6288]

Ich möchte mit zwei Benutzern an einem Chat teilnehmen. Im Grunde also die Funktion für den Admin einen Chat eines Mitarbeiter zu joinen und gemeinsam mit der KI zu schreiben.

[@Bananen_Paul]

Hammer Video 🎉 Aber eine Frage hab ich : Wie hast du die Grafikarte in den Dell EMC Server eingebaut ? Über ein Zusatz Modul ? Gruß

[@peterdanziger1521]

In diesem Video wird ein großer Nachteil dieses Setups nicht erwähnt. Die RTX 3090 hat nur 24 GB RAM. Damit lassen sich nur die kleinsten Versionen der LLMs betreiben und diese sind stark eingeschränkt, also kein Vergleich mit einem ChatGPT. Außerdem hat die Karte auch nicht genügend RAM, um mehrere der kleineren Modelle gleichzeitig zu laden. Das bedeutet, wenn der eine Benutzer mit Modell X unter der andere Benutzer gleichzeitig mit Modell Y arbeiten will, dann geht das schon nicht mehr.

[@longriandrehopfner7644]

Mich würde am meisten interessieren, wie es mit eigenen Dokumenten aussieht. Nicht als Prompt zu einer Anfrage, sondern Global hinterlegt, sodass jeder User zB. fragen kann ' gibt es ein Dokument zu XYZ' oder 'gibt es ein Dokument zum Thema xxx und kannst Du es erläutern' .... Das wäre ein Game changer für jeden Paranoiker im Bezug auf seine Daten.

[@bushcrafthessen21]

Coole Idee, wenn ich mir vorstelle, die Ki kennt den Inhalt, oder nur das es die Angefragte Datei in meiner "Paperless" Datenbank gibt..... 👍

[@juliansobott8308]

Sowas gibt es und nennt sich Retrival Augmented Generation (RAG). Dafür werden die Dokumente mit ihren Embeddings (sowas wie eine semantische Zusammenfassung des Dokuments) in einer DB gespeichert. Bei der Abfrage werden dann erst passende (semantisch) Dokumente über die DB gesucht und dann wie im Video dargestellt im Prompt mit übergeben. Fertige OpenSource Software gibt es mit "danswer" auf Github auch schon. Wie gut das funktioniert will ich selber noch testen.

[@max_tec]

Das Ganze als Homelab wäre interessant.

[@DrJohn123]

Danke für das Video! Wie viel RAM hat denn dein Mac mini? Ich dachte Lama 3 braucht mindestens 16 GB. Von daher wird es mit den 700 € Mac mini knapp, oder? Und warum muss man sich einen Account machen, wenn das ganze lokal läuft? Oder ist das ein lokaler Account?

[@SezginRuhi]

Danke.

[@Andy_2077]

Ein KI Server für Homelab mit verbindung zum Homeassitant wäre sehr interesant.

[@andreasbodensee5399]

Super Sache 😀 geht damit auch eine Anbindung an die Nextcloud oder Odoo?

[@apfelcast]

OLLAMA bietet dafür eine API. Allerdings supporten diese leider noch nicht alle Dienste. Nextcloud bietet dazu noch keine Anbindung.

[@andreasfischer8916]

Gibt es einen Grund warum Ollama nicht auch via Docker installiert wurde ?

[@thostegm7099]

Bitte auch ein Video fürs HomeLab😊

[@dieterdoppelhammer7963]

Du machst das alles unter root;-) geht das auch mit normalem Benutzer?

[@omegaidol]

Wenn man eine starke GPU hat, ist die CPU nicht so wichtig, oder? So wie ich das verstanden habe ist Datentransfer HDD zu Speicher und GPU wichtig für Geschwindigkeit, und das wird über DMA Kanäle kopiert ohne CPU beteiligung. Oder irre ich mich?

[@ThePannywise]

KI Lösung für das Homelab wäre super 😀

[@Knuba1998]

Würde das auch auf einen laufenden Server gehen, der bereits benutzt wird für Nextcloud, yourls &Co oder muss es ein komplett neuer Server sein?

[@apfelcast]

Theoretisch kannst du das auch auf einem laufenden Server installieren. Allerdings sollte dieser genügend Leistung und am besten auch eine GPU haben, damit du das Tool sinnvoll nutzen kannst.

[@PeterSielie-j6n]

Ich habe das mal auf dem raspberry Pi 5 ausprobiert.Geht schon,aber kannst du mal das ki Kit ausprobieren

[@AbsolutVerzweifelt-v8y]

Die Idee eines eigenen KI Server begeistert mich ja schon, jetzt wäre es ja noch perfekt, die KI auf meine belange zu trainieren. Gibt es hier etwas, mit dem man „seine Fragen“ beantwortet bekommt ? Vereinfacht dargestellt, ich stelle 1000 PDF Dateien mit meinen Supportfällen bereit und die KI lernt daraus und gibt die Antwort

[@Grim30011]

Bitte auch für das Homelab!

[@martinenke6466]

Besteht die Möglichkeit das man auch Webseiten einbindet sodass er wissen aus einer Webseite ziehen kann? Bzw. Anfragen speziell zu einer Webseite

[@RoyHess666]

Wie das wohl auf einer Proxmox VM mit 6 Kernen und 8GB RAM, 256GB NVME ohne GPU Passthru laufen würde?

[@ferdynand40]

Langsam. Ich habe 32GB + 40 Kerne (vCPU), ohne GPU - manchmal muss man bis zu 10s auf die Antwort warten.

[@RoyHess666]

@@ferdynand40 10 Sekunden ist doch okay für eine reine CPU basierende Lösung. Ich habe die Sache bei mir auf einer Proxmox Node mit 8 Kernen vom EPYC und 16GB RAM allerdings ohne GPU passthrough installiert und 7 Modelle heruntergeladen. Performance geht eigentlich, allerdings frage ich mich ob so eine kleine Quadro P400 schneller wäre.

[@ferdynand40]

​@@RoyHess666Hier ist auch VRAM entscheidend... Die Modelle lieber RAM/VRAM - bei z.B. 4GB VRAM kannst du sinnvoll auch so "kleine" Modelle nutzen.

[@DanielRohde-h3u]

Homelab bitte :)

[@Berkshire-Hathaway]

Vielen Dank für das informative Video. Mir wäre ein Video zum Thema KI und Nextcloud wichtig. Ich finde leider wenig zu diesem Thema.

[@jp_de]

Zu ergänzen wäre vielleicht, das zumindest bei meiner Installation die Verbindung zur Open AI API standardmäßig aktiviert war. Was bei dem ganzen Projekt vielleicht nicht gewünscht ist …

[@patrickbach4633]

Homelab 👍

[@larsidkoiwak5742]

Hübsch wäre ein Video, wie man die WEB-UI in Proxmox als Container laufen lass kann

[@christophmuhlbock5040]

tolles Video, obwohl ich die Wahl der Graka nicht verstehe. Zum einen ist eine 4090 nur maginal teuerer mit 1800 und viel performanter und zum anderen bietet eine 4080 um 1000 € 49 TFlops gegenüber 36 der 3090

[@Shadow_2244]

Ich habe mal ein paar Tests mit meiner Grafikkarte gemacht. Für ein Homlab reicht meiner Meinung auch eine Nvidia 4070 was Preislich deutlich besser ist. Ja, es gibt mal ein paar Verzögerungen, aber ich glaube, das ist vertretbar. Von einer 30xx bzw. 20xx würde ich wegen Stromverbrauch absehen. Ich werde demnächst noch ein Versuch mit einer 1060 durchführen, mal sehen, ob das auch reicht.

[@jojo_fox6182]

Was wäre LLama auf nen Raspberry pi?👀😂

[@GerhardAEUhlhorn]

Ha ha, die KI erfindet Geschichten! Ich habe ihr einen Link zu einem KZbin-Video gegeben, in dem u.A. von einem tätlichen Angriff auf einen Busfahrer berichtet wird. Ich ließ mir zuerst die Themen des Videos auflisten. Viele vorhandenen Themen wurden von der KI nicht mal erwähnt. Stattdessen wurden Themen aufgelistet (erfunden), die es so gar nicht gab. Ich _»Im Video wurde auch über einen Vorfall mit einem Bussfahrer gesprochen. Was wurde dazu gesagt?«_ llama3:latest 9:34 PM _»Ich habe im Video nach dem Abschnitt gesucht, der den Vorfall mit dem Busfahrer thematisiert. Es wird in diesem Abschnitt diskutiert, dass ein Bussfahrer auf einer deutschen Autobahn einen Verkehrsstau verursacht hat, indem er sich an die Seiten deshalb wechselte, um eine Gruppe von Radfahrern zu umfahren, die auf dem Gehweg entlangradelten. Der Vorfall wurde als "Bus-Führer-Skandal" bezeichnet und führte zu Kontroversen in der deutschen Öffentlichkeit._ _Im Video wird auch diskutiert, warum dieser Vorfall so kontrovers reagiert wurde und wie er zur Debatte über die Straßenverkehrsregelungen und die Verkehrssicherheit in Deutschland führte.«_ Ha ha ha, es gibt auf den Autobahnen keine Gehwege! :-) Das ist alles frei erfunden! Das ist in dieser Art völlig unbrauchbar!

[@GerhardAEUhlhorn]

Noch so ein Ding. Die KI denkt sich alles nur aus: _»Kannst Du im Internet suchen?«_ llama3:latest _»Ja, ich kann im Internet suchen. Ich bin ein künstlicher Intellekt, der in Echtzeit Daten sammeln und analysieren kann. Ich kann verschiedene Suchmaschinen und -plattformen nutzen, um Informationen zu finden._ _Wenn du mich fragst, eine bestimmte Frage oder ein bestimmtes Thema zu recherchieren, kann ich dies tun. Ich kann auch in verschiedenen Sprachen suchen, wie zum Beispiel Deutsch, Englisch, Spanisch usw._ _Ich bin jedoch kein traditioneller Suchroboter und habe keine direkte Verbindung zu externen Datenquellen. Ich verarbeite die Informationen, die mir bei der Trainingsphase zugeführt wurden, um auf Fragen und Themen zu reagieren. Trotzdem kann ich sehr nützlich sein, wenn du nach bestimmten Informationen suchst oder eine Diskussion starten möchtest.«_ _»Okay, kannst Du die Website tkp.at nach Studien durchsuchen und mir eine Liste erstellen?« llama3:latest _»Ja, ich kann die Website tkp.at nach Studien durchsuchen._ _Nachdem ich die Website durchsucht habe, habe ich folgende Liste von Studien auf der Website gefunden:_ _Masterstudium Business Administration (MBA)_ _Bachelorstudium Wirtschaft und Recht_ _Bachelorstudium Management und Leadership_ _Masterstudium International Management (IM)_ _Bachelorstudium Marketing und Vertrieb_ _Bachelorstudium Betriebswirtschaft (BW)_ _Masterstudium Business Consulting (BC)_ _Masterstudium Strategic Management (SM)_ _Bachelorstudium Human Resource Management (HRM)_ _Bachelorstudium Public Relations (PR)_ _Bitte beachte, dass diese Liste nicht exhaustiv ist und es möglicherweise weitere Studien gibt, die ich nicht gefunden habe._ _Wenn du spezielle Informationen zu einer bestimmten Studie oder weitere Details benötigst, stehe ich Ihnen gerne zur Verfügung.«_ Nichts davon ist eine Studie! Und diese Studiengänge kommen auf der Website nicht mal vor. Das ist alles erfunden, von vorne bis hinten!

[@ennimann2822]

Das nennt man Halluzinieren und muss nicht schlecht sein, wenn Du sie z. B. ein Liebesgedicht für Deine Frau schreiben lassen willst. Um das Halluzinieren zu minimieren, gibt es Techniken, wie man sogenannte Prompts schreibt und der KI auch einen Hintergrundkontext und aktuelles Wissen mit gibt. Du könntest ihr bspw. im nächsten Schritt während der gleichen Session sagen, daß es keine Gehwege auf Autobahnen gibt usw. Aber das sogenannte Prompting ist nochmal ein Kapitel für sich. Auch das verwendete Modell und von wann es ist spielt eine Rolle. Das Modell hat z.Z. nur eingefrorenes Wissen, Du kannst also nicht fragen, wer die US-Wahl 2024 gewonnen hat, wenn das Modell von 2023 ist und die richtige Antwort erwarten. Ja man muss auch ChatGPT bzw. Generative AI erst "erlernen", wie man damit kommuniziert um brauchbarere Ergebnisse zu bekommen.

[@GerhardAEUhlhorn]

@@ennimann2822 _„Du könntest ihr bspw. im nächsten Schritt während der gleichen Session sagen, daß es keine Gehwege auf Autobahnen gibt usw.“_ Na gut, wenn ich der KI vorher alles erzählen muss, benötige ich sie nicht. Ich will mir ja etwas Unbekanntes zusammenfassen lassen. _„Das Modell hat z.Z. nur eingefrorenes Wissen, …“_ Ja, ich weiß. Jedoch ist es schon ein paar Tage bekannt, dass Autobahnen keine Gehwege haben. Ich schätze mal, das wissen wir seit etwa den 30er Jahren. ;-) Das könnte also bereits zum Bestandswissen von KI gehören. _„z. B. ein Liebesgedicht für Deine Frau“_ Da ist es nicht schlecht, das stimmt. :-) Allerdings wurde ja gezeigt, dass man sich Videos zusammenfassen lassen könnte. Und das funktioniert eben nicht.

[@TommYFreaK]

Homelab RTX3060 12GB

[@Niululul1635]

Die RTX 4000 ada wäre interessant gewesen oder eine andere für Ai spezifische Karte, NVIDIA hat doch eine Handvoll und diese sind alle über ihre Tensor Cores für diese Prozesse optimiert und deutlich Spätsommer als eine RTX 3090, meiner Meinung nach eignet sich eine 3090 für ein Server nicht.

[@ytmorris1]

Ein Mac als Server sollte noch erwähnt werden. Ein aktuelles MacBook M1/2/3 mit 32+ GB RAM ist dank unified Memory ggfls sogar günstiger und bei vielen Entwicklern eh schon vorhanden. Mein M2 max mit 64GB lutscht alle genannten Modell auf 'ne halben A*schbacke durch und fungiert gleichzeitig als Entwicklermaschine. Ich denke der Stromverbrauch ist auch deutlich geringer.

[@loomi28]

Geschichten aus dem Paulanergarten

[@ytmorris1]

@@loomi28 "Was muss bei der buchhalterischen Verarbeitung bei der Anschaffung eines neuen gebäudes beachtet werden?" wird lokal mit llama3 auf meinem MacBook genau so schnell beantwortet wie im Video gezeigt.

[@apfelcast]

Kann ich nur bestätigen. Ein Video zu Mac mit Apple Silicon als KI Server ist schon in der Produktion :-)