Ollama: Guida Completa per Usare Llama 3.2 in Locale GRATIS!

[@gearbox3385]

Tra tanti video inutili e sensazionalistici, fa piacere trovare qualcuno che finalmente la tecnologia la spiega veramente!

[@FrancescoGruner]

Grazie del feedback!

[@MassimoVanin-y4z]

Ottimi suggerimenti, grazie!

[@FrancescoGruner]

Grazie del feedback :)

[@francescotriolo3119]

Soliti fantastici e validissimi contenuti

[@FrancescoGruner]

Grazie mille :)

[@MassimoVecchio02]

Grazie, mi hai aperto un mondo 👍

[@giuseppevero2359]

Buongiorno Francesco. Grazie per la condivisione della tua professionalità. Sulla falsa riga di questo ultimo video, potresti approfondire con un esempio di RAFT (retrieval augmented fine tuning) ossia specializzare un modello partendo da un PDF come 'base knowledge' ?

[@FrancescoGruner]

Ciao Giuseppe, il RAFT è davvero una cosa molto interessante e sicuramente è da approfondire, nel frattempo se ti interessa usare i tuoi file come "sorgente di dati" potresti usare il RAG e il modelfile per limitare le allucinazioni. Sicuramente il RAFT è una spanna avanti anche a livello di velocità, grazie per la dritta, lo affronterò sicuramente. Comunque sembra sia abbastanza accessibile usando Azure AI Studio, ti lascio questo link come approfondimento, magari l'hai già letto: techcommunity.microsoft.com/blog/aiplatformblog/raft-a-new-way-to-teach-llms-to-be-better-at-rag/4084674

[@raffaeledigennaro6733]

Ciao Francesco grande video! sei l'unico che ne parla così bene di questo argomento! sei riuscito ad utilizzare anche bolt in locale?

[@FrancescoGruner]

Ciao e grazie mille per il supporto! Si ho provato Bolt in locale e devo dire che se viene utilizzato con le API di Anthropic o OpenAI è davvero uno strumento potentissimo, se usi LLM locali però come qwen coder e llama 3.2 per avere un risultato più o meno simile devi usare i modelli più pesanti, quelli da 3/4B di parametri non riescono sempre a creare l'ambiente virtuale né i file del progetto, ti rispondono stile chat e basta. Se hai un PC potente potresti provare Qwen coder 2.5 da 32B :)

[@raffaeledigennaro6733]

@@FrancescoGruner grazie mille per il consiglio proverò!

[@ken81tube]

Il file di configurazione si può modificare nel tempo per integrare informazioni di base sul modello? Ottimo video 👍

[@FrancescoGruner]

@@ken81tube si, puoi cancellare il modello generato e rifarlo con le nuove informazioni. Altrimenti se usi tools come openwebgui puoi provarlo a fare anche dal pannello di amministrazione. Fai un po' di prove :)

[@pooleventsfederspia]

Ciao, ho un problema con il caricamento del file per insegnargli il modello... mi potresti aiutare? Mi da questo errore: command must be one of "from", "license", "template", "system", "adapter", "parameter", or "message" il file creato inizia così: FROM llama3.2:latest SYSTEM Tu ti chiami Adelmo Sei un esperto Web Content Strategist... Non capisco dove sbaglio... Grazieeee

[@FrancescoGruner]

Ciao, prova a farlo senza andare a capo dopo SYSTEM e controlla la formattazione del testo. Un consiglio, prova a gpt come risolvere l'errore che ti dà e incolla tutto il testo del file. Fammi sapere

[@pooleventsfederspia]

@@FrancescoGruner grazieee, effettivamente erano gli a capo... ora ripulito e caricato. Grazie ancora per la velocità e la competenza!

[@Ytuber.33]

Quali sono le specifiche hardware minime per fare girare questi modelli di intelligenza artificiale menzionati nel video? Processore I5, 16 GB e SSD 500 GB può essere sufficiente?

[@FrancescoGruner]

@@Ytuber.33 ciao dipende da quale processore intendi, se sono generazioni recenti direi di sì, puoi provare usando il modello llama 3.2 da 1B e 3B parametri ollama.com/library/llama3.2:3b e se hai una scheda video con supporto CUDA ancora meglio (tipo Nvidia). Provare non costa nulla, questi modelli sono ancora tra i più leggeri disponibili

[@ilfabio953]

da quello che ho capito mi sembra una specie di pinokio dove puoi far girare altre ai in locale

[@FrancescoGruner]

Si esattamente, Pinokio ha davvero tanti script, software e dei modelli per audio/foto e video. Mentre Ollama è più verticalizzato ai modelli linguistici come Llama, Gemma ecc... Se usi entrambi gli applicativi riesci ad avere una bella suite ed integrare le varie cose senza doverti fare ambienti virtuali o docker a mano :)