Dein persönliches ChatGPT! KI Server selbst gebaut - so geht’s

[@bushcrafthessen21]

Wäre cool wenn du das, wie im Video von dir Angeboten, ein Video zum Thema fürs Homelab machen könntest 👍😁

[@bushcrafthessen21]

@@Leak-ec5gb ja gibt es, aber mir, und so habe ich es im Video verstanden, geht es mehr um die Kombi Hardware + AI und nicht wie installiert man LlamaGPT auf einen PC. Hier im Video ist die Hardware für mich "zu teuer" und ein Normaler PC zu schwach, ich bin auf die Homelab Variante von Apfelcast gespannt. Ein schöner Nebeneffekt, das Video wird in Deutsch sein, für mich deutlich verständlicher 😂😂

[@bushcrafthessen21]

@@Leak-ec5gb japp 🙂

[@nicolaslodosmarrero8929]

Homelab bitte

[@nironathan2490]

Wie immer ein top Video! Bitte für homelab ein Video produzieren ❤️

[@anyman599]

Gerne weitere Videos dazu für's Homelab.

[@friedfischangler_destefan_5521]

Klasse Video! Ohne größere Probleme konnte ich eine kleine KI-Test-VM dank deiner Anleitung in meinem Proxmox-Homelab aufsetzen! :-) Gut, es ist nicht so schnell wie ChatGPT oder mit NVidia-Grafikkarte, aber auf meinem Mini-PC braucht es mit 8 Kernen, 10 GB RAM auch nicht so wahnsinnig lange um Antworten zu bekommen, und der Stromverbrauch ist auch sehr gering. Sicher, das ist nichts für produktive Umgebungen, aber um sich dem Thema mal in den eigenen vier Wänden zu widmen ist das schon OK... Besten Dank! Bin aber auch auf eine Homelab-Variante von Dir gespannt... Vielleicht kommt da noch mal was wirklich günstiges bei raus... ?! 🙂

[@Todbrecher]

Ja, die Homelab-Variante würde mich auch interessieren...wobei ich bei mir eh schauen müsste, wie ich das realisiere. hab die Wahl das in meinem eh schon recht belegten Storage-Server oder im Proxmoxcluster zu machen....da bräuchte es halt gleich drei Karten, und dann noch Low Profile, was auch wieder zum Problem werden könnte.

[@xxxxxx8930]

Eine schöne Sache zur Fortführung des Themas wäre ein Video zur Software - Flowise. Die Möglichkeiten, die diese Software im Zusammenarbeit mit z.B. OLLAMA bietet sind sehr beeindruckend.

[@grafmarzipan9834]

Ein Video fürs Homelab wäre top 👍

[@torstenschone2795]

Super Video! Bitte auch fürs homelab ein Video anbieten!

[@Computer-Liebhaber]

Toll, so ein Video habe ich schon immer gesucht! Wie zuverlässig ist die KI?

[@apfelcast]

In meinen Tests was das reine Hosting angeht läuft das ganze absolut solide. Die Qualität der Antworten variiert natürlich je nach LLM. Ist aber unterm Strich vergleichbar mit ChatGPT.

[@Computer-Liebhaber]

@@apfelcast Gibt es einen bestimmten Server, den du dafür speziell dafür empfehlen würdest?

[@refreco]

Spricht was gegen die Installation auf einem Proxmox Server?

[@andreaskanarek4191]

Ein KI Server für Homelab mit verbindung zum Homeassitant wäre sehr interesant.

[@darkpete6180]

Homelab wäre super. Tolles Video. Danke!

[@longriandrehopfner7644]

Mich würde am meisten interessieren, wie es mit eigenen Dokumenten aussieht. Nicht als Prompt zu einer Anfrage, sondern Global hinterlegt, sodass jeder User zB. fragen kann ' gibt es ein Dokument zu XYZ' oder 'gibt es ein Dokument zum Thema xxx und kannst Du es erläutern' .... Das wäre ein Game changer für jeden Paranoiker im Bezug auf seine Daten.

[@bushcrafthessen21]

Coole Idee, wenn ich mir vorstelle, die Ki kennt den Inhalt, oder nur das es die Angefragte Datei in meiner "Paperless" Datenbank gibt..... 👍

[@juliansobott8308]

Sowas gibt es und nennt sich Retrival Augmented Generation (RAG). Dafür werden die Dokumente mit ihren Embeddings (sowas wie eine semantische Zusammenfassung des Dokuments) in einer DB gespeichert. Bei der Abfrage werden dann erst passende (semantisch) Dokumente über die DB gesucht und dann wie im Video dargestellt im Prompt mit übergeben. Fertige OpenSource Software gibt es mit "danswer" auf Github auch schon. Wie gut das funktioniert will ich selber noch testen.

[@peterdanziger1521]

In diesem Video wird ein großer Nachteil dieses Setups nicht erwähnt. Die RTX 3090 hat nur 24 GB RAM. Damit lassen sich nur die kleinsten Versionen der LLMs betreiben und diese sind stark eingeschränkt, also kein Vergleich mit einem ChatGPT. Außerdem hat die Karte auch nicht genügend RAM, um mehrere der kleineren Modelle gleichzeitig zu laden. Das bedeutet, wenn der eine Benutzer mit Modell X unter der andere Benutzer gleichzeitig mit Modell Y arbeiten will, dann geht das schon nicht mehr.

[@raphaelr6288]

Ich möchte mit zwei Benutzern an einem Chat teilnehmen. Im Grunde also die Funktion für den Admin einen Chat eines Mitarbeiter zu joinen und gemeinsam mit der KI zu schreiben.

[@ThePannywise]

KI Lösung für das Homelab wäre super 😀

[@thostegm7099]

Bitte auch ein Video fürs HomeLab😊

[@leatherwiz]

Mich interessiert wie ich das auf einem Heimserver umsetzen kann und welche Hardware da Sinn macht.

[@dpilot123]

Was muss man in der webui einstellen dass alle cpu's genutzt werden?

[@Bananen_Paul]

Hammer Video 🎉 Aber eine Frage hab ich : Wie hast du die Grafikarte in den Dell EMC Server eingebaut ? Über ein Zusatz Modul ? Gruß

[@DanielRohde-h3u]

Homelab bitte :)

[@AbsolutVerzweifelt-v8y]

Die Idee eines eigenen KI Server begeistert mich ja schon, jetzt wäre es ja noch perfekt, die KI auf meine belange zu trainieren. Gibt es hier etwas, mit dem man „seine Fragen“ beantwortet bekommt ? Vereinfacht dargestellt, ich stelle 1000 PDF Dateien mit meinen Supportfällen bereit und die KI lernt daraus und gibt die Antwort

[@DrJohn123]

Danke für das Video! Wie viel RAM hat denn dein Mac mini? Ich dachte Lama 3 braucht mindestens 16 GB. Von daher wird es mit den 700 € Mac mini knapp, oder? Und warum muss man sich einen Account machen, wenn das ganze lokal läuft? Oder ist das ein lokaler Account?

[@max_tec]

Das Ganze als Homelab wäre interessant.

[@Berkshire-Hathaway]

Vielen Dank für das informative Video. Mir wäre ein Video zum Thema KI und Nextcloud wichtig. Ich finde leider wenig zu diesem Thema.

[@Grim30011]

Bitte auch für das Homelab!

[@Shadow_2244]

Ich habe mal ein paar Tests mit meiner Grafikkarte gemacht. Für ein Homlab reicht meiner Meinung auch eine Nvidia 4070 was Preislich deutlich besser ist. Ja, es gibt mal ein paar Verzögerungen, aber ich glaube, das ist vertretbar. Von einer 30xx bzw. 20xx würde ich wegen Stromverbrauch absehen. Ich werde demnächst noch ein Versuch mit einer 1060 durchführen, mal sehen, ob das auch reicht.

[@christophmuhlbock5040]

tolles Video, obwohl ich die Wahl der Graka nicht verstehe. Zum einen ist eine 4090 nur maginal teuerer mit 1800 und viel performanter und zum anderen bietet eine 4080 um 1000 € 49 TFlops gegenüber 36 der 3090

[@omegaidol]

Wenn man eine starke GPU hat, ist die CPU nicht so wichtig, oder? So wie ich das verstanden habe ist Datentransfer HDD zu Speicher und GPU wichtig für Geschwindigkeit, und das wird über DMA Kanäle kopiert ohne CPU beteiligung. Oder irre ich mich?

[@andreasbodensee5399]

Super Sache 😀 geht damit auch eine Anbindung an die Nextcloud oder Odoo?

[@apfelcast]

OLLAMA bietet dafür eine API. Allerdings supporten diese leider noch nicht alle Dienste. Nextcloud bietet dazu noch keine Anbindung.

[@andreasfischer8916]

Gibt es einen Grund warum Ollama nicht auch via Docker installiert wurde ?

[@martinenke6466]

Besteht die Möglichkeit das man auch Webseiten einbindet sodass er wissen aus einer Webseite ziehen kann? Bzw. Anfragen speziell zu einer Webseite

[@Knuba1998]

Würde das auch auf einen laufenden Server gehen, der bereits benutzt wird für Nextcloud, yourls &Co oder muss es ein komplett neuer Server sein?

[@apfelcast]

Theoretisch kannst du das auch auf einem laufenden Server installieren. Allerdings sollte dieser genügend Leistung und am besten auch eine GPU haben, damit du das Tool sinnvoll nutzen kannst.

[@dieterdoppelhammer7963]

Du machst das alles unter root;-) geht das auch mit normalem Benutzer?

[@nicozeier195]

Die RTX 4000 ada wäre interessant gewesen oder eine andere für Ai spezifische Karte, NVIDIA hat doch eine Handvoll und diese sind alle über ihre Tensor Cores für diese Prozesse optimiert und deutlich Spätsommer als eine RTX 3090, meiner Meinung nach eignet sich eine 3090 für ein Server nicht.

[@SezginRuhi]

Danke.

[@TommYFreaK]

Homelab RTX3060 12GB

[@jp_de]

Zu ergänzen wäre vielleicht, das zumindest bei meiner Installation die Verbindung zur Open AI API standardmäßig aktiviert war. Was bei dem ganzen Projekt vielleicht nicht gewünscht ist …

[@larsidkoiwak5742]

Hübsch wäre ein Video, wie man die WEB-UI in Proxmox als Container laufen lass kann

[@Stantology_71]

Homelab bitte und danke für das Video.

[@jojo_fox6182]

Was wäre LLama auf nen Raspberry pi?👀😂

[@patrickbach4633]

Homelab 👍

[@GerhardAEUhlhorn]

Ha ha, die KI erfindet Geschichten! Ich habe ihr einen Link zu einem KZbin-Video gegeben, in dem u.A. von einem tätlichen Angriff auf einen Busfahrer berichtet wird. Ich ließ mir zuerst die Themen des Videos auflisten. Viele vorhandenen Themen wurden von der KI nicht mal erwähnt. Stattdessen wurden Themen aufgelistet (erfunden), die es so gar nicht gab. Ich _»Im Video wurde auch über einen Vorfall mit einem Bussfahrer gesprochen. Was wurde dazu gesagt?«_ llama3:latest 9:34 PM _»Ich habe im Video nach dem Abschnitt gesucht, der den Vorfall mit dem Busfahrer thematisiert. Es wird in diesem Abschnitt diskutiert, dass ein Bussfahrer auf einer deutschen Autobahn einen Verkehrsstau verursacht hat, indem er sich an die Seiten deshalb wechselte, um eine Gruppe von Radfahrern zu umfahren, die auf dem Gehweg entlangradelten. Der Vorfall wurde als "Bus-Führer-Skandal" bezeichnet und führte zu Kontroversen in der deutschen Öffentlichkeit._ _Im Video wird auch diskutiert, warum dieser Vorfall so kontrovers reagiert wurde und wie er zur Debatte über die Straßenverkehrsregelungen und die Verkehrssicherheit in Deutschland führte.«_ Ha ha ha, es gibt auf den Autobahnen keine Gehwege! :-) Das ist alles frei erfunden! Das ist in dieser Art völlig unbrauchbar!

[@GerhardAEUhlhorn]

Noch so ein Ding. Die KI denkt sich alles nur aus: _»Kannst Du im Internet suchen?«_ llama3:latest _»Ja, ich kann im Internet suchen. Ich bin ein künstlicher Intellekt, der in Echtzeit Daten sammeln und analysieren kann. Ich kann verschiedene Suchmaschinen und -plattformen nutzen, um Informationen zu finden._ _Wenn du mich fragst, eine bestimmte Frage oder ein bestimmtes Thema zu recherchieren, kann ich dies tun. Ich kann auch in verschiedenen Sprachen suchen, wie zum Beispiel Deutsch, Englisch, Spanisch usw._ _Ich bin jedoch kein traditioneller Suchroboter und habe keine direkte Verbindung zu externen Datenquellen. Ich verarbeite die Informationen, die mir bei der Trainingsphase zugeführt wurden, um auf Fragen und Themen zu reagieren. Trotzdem kann ich sehr nützlich sein, wenn du nach bestimmten Informationen suchst oder eine Diskussion starten möchtest.«_ _»Okay, kannst Du die Website tkp.at nach Studien durchsuchen und mir eine Liste erstellen?« llama3:latest _»Ja, ich kann die Website tkp.at nach Studien durchsuchen._ _Nachdem ich die Website durchsucht habe, habe ich folgende Liste von Studien auf der Website gefunden:_ _Masterstudium Business Administration (MBA)_ _Bachelorstudium Wirtschaft und Recht_ _Bachelorstudium Management und Leadership_ _Masterstudium International Management (IM)_ _Bachelorstudium Marketing und Vertrieb_ _Bachelorstudium Betriebswirtschaft (BW)_ _Masterstudium Business Consulting (BC)_ _Masterstudium Strategic Management (SM)_ _Bachelorstudium Human Resource Management (HRM)_ _Bachelorstudium Public Relations (PR)_ _Bitte beachte, dass diese Liste nicht exhaustiv ist und es möglicherweise weitere Studien gibt, die ich nicht gefunden habe._ _Wenn du spezielle Informationen zu einer bestimmten Studie oder weitere Details benötigst, stehe ich Ihnen gerne zur Verfügung.«_ Nichts davon ist eine Studie! Und diese Studiengänge kommen auf der Website nicht mal vor. Das ist alles erfunden, von vorne bis hinten!

[@RoyHess666]

Wie das wohl auf einer Proxmox VM mit 6 Kernen und 8GB RAM, 256GB NVME ohne GPU Passthru laufen würde?

[@ferdynand40]

Langsam. Ich habe 32GB + 40 Kerne (vCPU), ohne GPU - manchmal muss man bis zu 10s auf die Antwort warten.

[@RoyHess666]

@@ferdynand40 10 Sekunden ist doch okay für eine reine CPU basierende Lösung. Ich habe die Sache bei mir auf einer Proxmox Node mit 8 Kernen vom EPYC und 16GB RAM allerdings ohne GPU passthrough installiert und 7 Modelle heruntergeladen. Performance geht eigentlich, allerdings frage ich mich ob so eine kleine Quadro P400 schneller wäre.

[@ferdynand40]

​@@RoyHess666Hier ist auch VRAM entscheidend... Die Modelle lieber RAM/VRAM - bei z.B. 4GB VRAM kannst du sinnvoll auch so "kleine" Modelle nutzen.

[@ytmorris1]

Ein Mac als Server sollte noch erwähnt werden. Ein aktuelles MacBook M1/2/3 mit 32+ GB RAM ist dank unified Memory ggfls sogar günstiger und bei vielen Entwicklern eh schon vorhanden. Mein M2 max mit 64GB lutscht alle genannten Modell auf 'ne halben A*schbacke durch und fungiert gleichzeitig als Entwicklermaschine. Ich denke der Stromverbrauch ist auch deutlich geringer.

[@loomi28]

Geschichten aus dem Paulanergarten

[@ytmorris1]

@@loomi28 "Was muss bei der buchhalterischen Verarbeitung bei der Anschaffung eines neuen gebäudes beachtet werden?" wird lokal mit llama3 auf meinem MacBook genau so schnell beantwortet wie im Video gezeigt.

[@apfelcast]

Kann ich nur bestätigen. Ein Video zu Mac mit Apple Silicon als KI Server ist schon in der Produktion :-)