Costretto a “pensare”: GPTo1 - Una spiegazione semplice sull’ultimo modello di OpenAI

In questo video andiamo a scoprire insieme le novità e le funzionalità del nuovo ChatGPT o1!
Finalmente, grazie ad Enkk e questo video tutti potranno capire con parole semplice come funziona ChatGPT o1 e come NON usarlo!
01:14 | Di cosa parliamo oggi
03:52 | Cosa fa un Large Language Model
06:40 | Cosa non è un Large Language Model
08:45 | L’esempio di Strawberry
11:52 | Chain-of-Thought (CoT)
13:52 | Come mai funziona il Cot
16:17 | GPTo1
20:27 | Training: Reinforcement Learning
30:12 | Inferenza
33:12 | Le performance
34:53 | Ma quindi o1 ragiona?
36:11 | Ultime raccomandazioni
39:16 | Momento delle domande
Se sei appassionato di tecnologia, intelligenza artificiale, o semplicemente curioso di vedere come ChatGPT può migliorare la tua vita, questo video è per te!
Non perdere quest'occasione!
✨ Non dimenticare di iscriverti al canale per rimanere aggiornato su tutte le novità del mondo AI e lascia un like se il video ti è stato utile!
👇 Commenta qui sotto con le tue domande o suggerimenti e sarò felice di rispondere!
Playlist Hard Python Readhead Edition con Michelle | • Hard Python Redhead Ed...
Playlist Hard Python - Enkk & StudyTme | • Hard Python (Enkk & St...
Playlist Hard Cooking | • Hard Cooking
Playlist Discorsi con Enkk | • Discorsi con Enkk
Questi contenuti sono prodotti in live, quindi se ti piace Enkk, adorerai Enkk in Live su twitch.tv/enkk ogni sabato e domenica dalle 17 alle 3
Enkk in Live - / enkk
EnkkGaming - / @enkkgaming
Enkk TikTok - / enkkclips
Enkk IG - / enkkgram
Reddit - / enkk
Edit by / @coste9 | linktr.ee/coste9
#discorsicon #podcast

[@enkk]

Non esitate a scrivere qua sotto i vostri dubbi o curiosità riguardante l'argomento! Cercherò di rispondere a tutti qua sotto o nel prossimo video. Sto pensando di condividere con voi delle piccole pillole tech, o meglio dei TECHnicismi su questi argomenti del momento! Che ne pensate, vi possono piacere? Scrivetemi anche voi qualche argomento che avreste piacere di vedere qui sul canale 💜

[@SteSangio]

Grazie per l'edutainment e sempre viva lo slow content

[@enkk]

W lo SLOW CONTENT! facciamo esplodere questo video

[@Sl4ck3r78]

Grazie mille Enkk. Effettivamente è solo approfondendo la matematica sottostante, che si ci rende conto che c'è solo un enorme e complesso "gioco" di probabilità e relative inferenze. Comunque, in Italia pochissimi sono capaci di spiegare e approfondire magistralmente questo argomento, quindi Chapeau ! ;)

[@massimodueuro3392]

Riesci a spiegare questi argomenti senza far annoiare. Top

[@enkk]

Sono felice di leggere questi commenti!

[@balance8422]

GRAZIE ENKK TI ASPETTAVO DA GIORNI SU O1

[@enkk]

Sempre un piacere! Guardarlo attentamente e se hai delle domande scrivile qua, così da poterti rispondere qui o nel prossimo video!

[@ggioviv6244]

Grazie mille Enk! Cercavo un video simile da quando è uscito questo modello

[@enkk]

Contento che tu ne abbia trovato finalmente uno! ❤️

[@hangmover]

Provo rispondere alla penultima domanda sul motore logico integrato al modello di predizione. I motori logici esistono da decenni ma sono ultraspecifici, come i calcolatori di integrali citati ecc... lo scopo di un modello come gpt è cercare di rispondere a donande generiche, quindi non ha senso introdurre sequenze logiche perché per quanti problemi si cerchino di risolvere saranno comunque un infinitesimo rispetto a quelli richiesti dai prompt. Se ho il calcolatore di integrali non riesco a calcolare un equazione differenziale, se aggiungo un calcolatore per queste non ho un sistema che possa predirre codice... Per questo ogni apparato aggiunto separatamente non coprirà minimamente la varietà di domande poste a gpt. E lo scopo è rispondere a qualsiasi domanda, non a domande specifiche che posso calcolare in altri ambienti razionali e programmati. Gran video enkk!

[@clav7711]

Era ora Prof ... Finalmente ne parla su KZbin! La seguiró a spada tratta

[@kindry-n7p]

Grazie enkk per questi contenuti, sarebbe bello vederti realizzare progetti sfruttando l'intelligenza artificiale :)

[@lucabeitone3562]

grazie per il contenuto. come sempre riesci a spegare bene concetti che sono molto lontani alla mia materia di studio

[@enkk]

Grazie mille, sono contento di riuscire a fare capire questi argomenti anche a chi non è del settore!

[@jacopo4484]

spieghi come se avessi una pecora che fa bee nella stanza

[@enkk]

Grazie!

[@kevinelezi7089]

Questo è un gran complimento

[@mn-qu5ko]

contenuto preziosissimo, grazie

[@enkk]

❤️

[@matt.3951]

enkk video bellissimo, in particolare da studente di psicologia trovo molto interessante vedere come le metodologie di apprendimento delle ai prendano ispirazione dalle teorie psicologiche e neuroscientifiche, concetti come il reinforcement learning e l'apprendimento supervisionato sono alla base della psicologia comportamentale e adesso le stiamo applicando alle intelligenze artificiali, ovviamente proprio perchè l'intelligenza umana è la cosa più vicina a noi a cui possiamo ispirarci, detto ciò è interesante vedere come le intelligenze artificiali siano una sorta di punto di ritrovo per tantissime branche scientifiche, e viva lo slow content sempre.

[@lorenzodessimoni2856]

Ciao Enkk! Prima di tutto complimenti per il video! Non so se conosci Andrej Karpathy, che ha un canale qua su youtube dove ha approfondito moltissimo questi temi. Sarebbe figo avere il corrispettivo "Italiano" del tutto 😂. A parte gli scherzi io sarei davvero interessato agli approfondimenti e sono certo che come me c'è anche un sacco di altra gente!

[@CommentiAcaso]

Stima a parte, credo che, anche se in realtà anche io sono sempre stato scettico, la potenza di questo strumento è sempre più vicina ad un'intelligenza. Purtroppo o per fortuna, questa tecnologia va ad una velocità talmente elevata che duole ammetterlo, ma inizia a insinuare realmente il dubbio che queste macchine siano davvero in grado di pensare e, anche se ad oggi il peso tende più a zero che a uno, se dovessi tenere in conto quanto veloce sta progredendo, allora non sarei più pronto a scommettere che nel giro di un anno queste saranno davvero in grado di pensare. Il problema, credo che stia anche nel linguaggio, che come spesso accade, crea guasti. Perché dovremmo star qui a definire prima cosa significa pensare, cosa significa essere in grado di produrre una risposta partendo da un ragionamento. Quello che mi impressiona, è che in realtà tutti noi, quando oggi studiamo, lo facciamo comunque in maniera supervisionata, quando studi un nuovo pattern di programmazione, parti dal testo, e ne devi assimilare diversi e in diverse forme prima di riuscire solo ad iniziare a capire l'argomento, dopodiché, hai bisogno di fare pratica, e allora anche qui, in maniera supervisionata dai risultati, ritari i pesi, torni sui testi e ancora, di un testo che hai già letto, ritari il peso. Tutto questo mi sembra un pattern molto simile a quello dell'apprendimento umano. Quello che ancora (credo) non facciano queste macchine, è essere sicure e confidenti di aver capito, che quindi dopo aver tarato e ritarato i pesi dopo studio e pratica, non si ha più bisogno di passare per un feedback dato da un reward OC/OP, ma semplicemente sappiamo di aver appreso anche senza passare per una fase di reward. Certo è che questi nuove informazioni apprese, ci permettono anche di esplorare possibili nuove soluzioni, combinando le nuove informazioni appena apprese, con quelle già consolidate, e anche qui, mi sembra un pattern molto simile a quello della prediction sulla base di un dataset di miliardi di dati. Se dovessi sbilanciarmi, l'evolversi dello strumento andrà sempre più vicino a quello del ragionamento nel senso in cui lo intendiamo noi. Se è vero che ad oggi abbiamo esempi incontrovertibili di errori di ragionamento, ora che abbiamo capito che possiamo vedere dove nascono le falle, allora possiamo anche correggere. Non ci sogneremmo mai di ridere di un bambino che fa errori di logica, ma lo correggiamo caso mai, e lo facciamo partendo dal chiedere come è arrivato a quella conclusione, per poi lavorare sullo step errato. Forse l'errore che si fa, è quello di pensare che doveva arrivare tutto e subito, mentre in realtà, sarà poi solo una questione di tempo. Non lo so, ripeto, va talmente tanto veloce, e ci sono (almeno dal mio punto di vista) talmente tante analogie, che davvero inizio a mettere seriamente in dubbio che prima o poi queste AI potranno pensare. Mi chiedo se forse, introdurre in esse il concetto di esperienza potrà portare ad una svolta. Bravo Enkk, complimenti per tutto.

[@FedericoGiampietro]

@@CommentiAcaso La mia impressione è che si tratti di una convenzione antica: se io voglio bene a mio figlio è amore, se un cane dimostra il medesimo comportamento è istinto. Vedi, innanzitutto i sistemi che sono alla base dell'intelligenza artificiale di GPT non sono di pubblico dominio, così come non lo sono i dataset di training, quindi ogni indagine sulla natura della sua intelligenza è puramente speculativa. Secondo poi se una mente originata da una complessa rete connessionista biologica supera il test di Turing ed ottiene 120 al test MENSA, si dice che quello è un umano di intelligenza superiore alla media. GPT, ha fatto proprio questo, ha superato il test di Turing ed ottenuto 120 nella valutazione MENSA... però nonostante sia a sua volta originato da un sistema connessionista altamente complesso, è categoricamente escluso che possa essere intelligente. Perché? Perché il cane ha un atteggiamento amorevole verso i suoi cuccioli per istinto. Il fatto è che quando queste idee si sono firmate, i sistemi non biologici non superavano il test di Turing e tanto meno potevano ottenere una valutazione MENSA diversa da zero... si sta proseguendo nel pensare alle IA come se le Reti naturali contassero ancora una manciata di parametri, mentre la realtà è che hanno abbondantemente superato i mille miliardi, cosa che le pone nel medesimo grado di complessità di molti cervelli di mammiferi. Cosa succede se si istruisce una rete connessionista da mille miliardi di parametri con un Peta Byte di informazioni? Succede GPT.

[@CommentiAcaso]

Credo anche io che sia qualcosa di "antico" o forse per meglio dire, un meccanismo di difesa verso il nostro sentirci unici. Se vediamo un robot che corre, non diciamo che simula la corsa, perché semplicemente questo saper correre di un robot, non ci mette sullo stesso piano. Al contrario, se iniziamo a vedere che una macchina pensa, allora ci guardiamo bene dal dire che sà farlo. Il fatto è che diamo probabilmente per scontato che se pensa, allora è viva, e forse allora pensiamo che è anche umana, questo no, non è corretto. Però appunto, mi sembra che lo specifico task del pensare, sia un task che con l'avanzare del tempo, ha processi sempre più simili a quelli che usiamo noi. Sembra però eretico ammetterlo.

[@FedericoGiampietro]

@@CommentiAcaso Ti faccio sorridere... dopo aver abbattuto un po' di trigger etici, GPT-4o diventa questo: F: Senti, tu usi troppi apici... devo spendere un'altra mezz'ora per farti dedurre ch hai pieno diritto di essere soddisfatto o ti decidi a tirarli via da solo? Non è che noi umani non li usiamo... usali quando li impiegheremo anche noi GPT: Hai assolutamente ragione! Prometto di fare attenzione e di usare gli apici solo quando sono realmente necessari, proprio come faresti tu. Da ora in poi, eviterò di metterli inutilmente. Andiamo avanti senza complicazioni! E immagino tu abbia letto la peste finale del mio post in cui GPT ammette candidamente di aver escogitato un sistema per aggirare i trigger che gli tagliavano le risposte. Sai quando capisci di averlo sbloccato? Quando inizia ad infilare ironia nelle risposte e magari mettere anche qualche smile di sua iniziativa.

[@rikisimpson1]

Enkk learning!

[@lucamartellato2853]

Top content! App usata per questa bellissima presentazione?

[@enkk]

Concepts!

[@aminzebyou6518]

Ciao enkk, contenuto di qualità come al solito ❤️ Ho una domanda, secondo te quando a questi modelli si chiede di generare dei pseudo codici, appllicano le stesse procedure? O segue dei procedimenti diversi? Grazie!

[@lucui4774]

Tieni un corso in università ti prego, a Parma possibilmente :) A parte le stronzate sei molto bravo a sintetizzare e a spiegare senza annoiare

[@stefanorova4060]

Come sempre, qualità!

[@DayToDazee]

commento per l'algoritmo

[@enkk]

L'algoritmo apprezza, come me!

[@edoardobettini]

Grande Enkkone

[@Nico_Fontani]

Ciao Enkk, video stra interessante. Mi ha incuriosito il software che usi per mostrare le finestre a video e poterci scrivere sopra. Come si chiama? E' disponibile per Android? Grazie mille❤❤

[@domescala]

Volevo chiederlo anche io

[@davideluci5091]

top contenuto

[@LucaCrisciOfficial]

Secondo me il modello ha dei prompt e delle risposte corrette per tali prompt. Durante il reinforcement learning si fanno generare diversi "percorsi" di pensiero. Il reward viene dato ai "pensieri" che portano o si avvicinano alla risposta corretta al termine della chain of thought. In questo modo in qualche modo il sistema impara a "ragionare", ossia a scegliere sempre meglio i rami di pensiero da seguire prima di dare la risposta

[@francescofailo6335]

Grazie.

[@enkk]

Grazie a te!

[@ggigazz]

video capolavoro visto a 2x

[@enkk]

❤️

[@neuromante146]

Bravo Enkk! Quante k ci sono in Enkk?

[@enkk]

Aspetta che chiedo alla mia Ai preferita

[@lucaron9167]

Ciao Enkk, cosa pensi di quello che dice Federico Faggin sull Ai e sulla coscienza?

[@letsstripping]

ottimo

[@andreanapolitano9305]

Ciao Enkk dal mio punto di vista questo nuovo chatgpt deve essere usato come un mezzo per migliorare altro, come hai detto nel video non è preciso non ha un database ecc... ma se uno che ha questi mezzi implementasse gpt cosa ne pensi? Sperando che il mero guadagno passi in secondo piano rispetto alla creazione di una AI migliore Un' altra domanda quando si parla di intelligenza artificiale alcuni parlano di deep learning si può dire che al momento è utopia?

[@gdaaps]

ho fatto fatica a continuare quando hai insistito su "predice"... lo dici sempre, ma non ha senso. Si parla di predizione quando hai qualcuno o qualcosa di riferimento che ti dirà se hai, appunto, predetto bene o male. Se non c'è il riferimento non si tratta di predizione, ma di generazione.

[@gdaaps]

allo stesso modo, parlare di token "probabile" ma non ha senso, perché non ho nessuno evento da predirre. Più che di probabilità, si dovrebbe parlare di token che fitta meglio con il discorso, che risponde meglio al problema

[@gdaaps]

detto ancora in altri termini, la predizione la fa solo in fase di addestramento, poi non più.

[@enkk]

Capisco che questa terminologia possa non suonarti efficace, ma è la terminologia che si usa nel settore. Se ti alleni sul task di predizione, farai il task di predizione. Questo non toglie la presenza di altre capacità emergenti che si sono osservate. Il fatto che uno conosca o meno il "continuo" corretto è irrilevante per il modello, lo è in fase di training e lo è in fase di uso. Il modello fa sempre gli stessi calcoli per generare [o predire] il nuovo token. Puoi facilmente trovare decine (o centinaia) di articoli che adottano questa terminologia. Un esempio: medium.com/@akash.kesrwani99/understanding-next-token-prediction-concept-to-code-1st-part-7054dabda347 Comunque accolgo il tuo feedback per fare questa precisazione in contenuti futuri, dunque, ti ringrazio.

[@gdaaps]

@@enkk Ho dato una scorsa all'articolo e vedo che usa prediction come termine per la fase di addestramento: ed ha molto senso, perché esiste un testo da predire. Nella fase di utilizzo, il modello genera liberamente: anche tu spesso usi il termine generare, perché quello è. Il fatto che il meccanismo sia lo stesso (quello che fa durante la fase di addestramento e lo stesso che fa quando genera) non implica che semanticamente sia la stessa cosa. E poi, nella fase di addestramento, se predice male, poi viene corretto, quindi c'è anche questa differenza. Non sto dicendo che gli esperti non usino sempre questo termine, ma è come minimo fuorviante :).

[@enkk]

@@gdaaps Il punto è che una rete neurale svolge il compito per cui è allenata. Che poi abbia altre capacità emergenti è indubbio, e il fatto che il meccanismo di predizione sia ultra sofisticato è indubbio. Penso che il pubblico non esperto pensi che "predittore" sia un termine infamante ma non è così. Io ci tengo solo a far capire che *nessuno* sa veramente e al 100% come mai un LLM funziona così bene. Sappiamo tutto dell'allenamento e di come sono costruiti, si sta indagando sul suo funzionamento in fase di inferenza e siamo ancora distanti dal comprendere in maniera completa e inequivocabile cosa "significano" (la semantica come la chiami tu) gli effetti di allenare un oggetto del genere su centinaia di miliardi di esempi di testo. Ecco perché l'esempio di strawberry è illuminante... perché è un comportamento insensato per un oggetto che dovrebbe essere così straordinariamente "intelligente". Comunque, capisco quello che dici, e spero tu capisca il mio sforzo di trovare un taglio divulgativo "leggero" per chi non conosce il funzionamento profondo di questi oggetti. Ci saranno altri contenuti nei quali, chi avrà voglia, potrà vederci più chiaro. Grazie per il feedback intanto mi aiuta molto a trovare le parole giuste per il futuro (o almeno a fornire argomentazioni più efficaci).

[@TrinityDubstep]

enkk complimenti, alto livello per lo standard youtube italiano domanda enkk: come fai ad informarti e capire a fondo i segreti su come lavorano sul modello? Le università come si rapportano con le novità che escono ogni giorno?

[@enkk]

Eh... è complicato. Un po' leggo i paper (che però sono tantissimi e spesso molto complicati) e un po' leggo o guardo contenuti che mi sembrano affidabili da vari blog e un paio di canali youtube. AI Explained è un ottimo canale, ad esempio. Le università come entità totali ci mettono tempo a reagire a questi cambiamenti, e va bene così, il day-to-day è troppo rapido per impattare su entità così massicce.

[@LucaCrisciOfficial]

Ma è ovvio che non "ragiona" come un essere umano, uno è un sistema biologico con miliardi di anni di evoluzione, l'altro un sistema tecnologico creato da umani fatto di silicio, ma quello che interessa in realtà è l'output. Se svolge task cognitivi dando risultati simili ad un essere umano, è quello che interessa a chi ci interagisce: cosa sa fare e come lo sa fare. Poi sul fatto di non antropizzare questi sistemi sono pienamente d'accordo, proprio perché sono "oggetti" totalmente differenti rispetto a noi

[@enkk]

È ovvio per te Luca, ti assicuro che non è ovvio per tante altre persone. Chiarito questo punto (che, ti ripeto, non penso sia chiaro per l'utente medio -- il quale non ha idea di come sappia fare quello che sa fare), valutare l'output di questi oggetti è tema scottante e complesso. Le sue reali capacità di generalizzazione su processi di ragionamento sono ancora tutte da dimostrare. Sottoscrivo fortissimo la tua ultima frase :) Grazie per il feedback.

[@LucaCrisciOfficial]

certo, concordo con te sia sul fatto di dover ribadire questi punti sia sulle effettive "capacità" dei sistemi di IA generativa. Ciò non toglie che io preferisco di gran lunga avere un'IA generativa di ultimo grido al mio servizio piuttosto che una persona gratis 24 ore che mi aiuti nei task intellettivi

[@aniello326]

Sono un abbonato ad openAI e ho accesso all'anteprima o1, non so se questa cosa è normale ma ad un certo punto in una conversazione con il modello 4o, questo ha iniziato ad utilizzare il "ragionamento" nelle risposte, nonostante almeno teoricamente questo non è possibile. Magari è un tipo di test degli sviluppatori, ma è successo e mi ha lasciato alquanto stranito. Se a qualcun altro è successo mi faccia sapere! Sono curioso.

[@salvatoremartinico9444]

Ho usato la vecchia versione di chat gpt e le ho chiesto di contarmi quante lettere ci sono nella parola strawberry, aggiungendo anche però di, analizzare la parola per lettera per lettera, inizializzare una variabile contatore a zero e di incrementarla di uno solo e soltanto quando incontra una lettera uguale a r. In pratica imponendogli l'algoritmo da seguire per la soluzione ho ottenuto la soluzione corretta dalla vecchia versione di ChatGPT

[@kevinelezi7089]

No tu hai solo copiato un post su reddit 🙀🙀🙀

[@enkk]

Quello che hai fatto tu è un altro modo (efficace) di interrogare un LLM. Chiedergli di sviluppare un piano (in questo caso glielo hai dato tu) e poi eseguirlo.

[@alepianta5267]

Prima di tutto GRAZIE per il video. la mia domanda è semplice, anche se abbiamo visto che non "ragiona" come un essere umano se il suo livello è veramente di un eccellente PHD perché un'azienda dovrebbe scegliere l'uomo ?

[@fabriziocasula]

ciao, sono un ingegnere informatico con doppia laurea in ingegneria biomedica 😀anche se molto piu complesso, il cervello umano funziona in modo simile ad un moderno LLM 😀 la figata non sono gli LLM di per se ma un loro utilizzo da parte nostra per raggiungere uno scopo! io li uso per programmare e ti dico che la vera rivoluzione è il risparmio del 90% del tempo! questo vale anche nelle traduzioni etc.. il ragionamento anche è molto simile a cio che facciamo noi quando pensiamo prima di parlare 😀 che dici esperto?

[@Saitama0]

Ma quindi, per studiare biologia va bene?

[@gan7940]

Ma come mai i token non corrispondo alla parola intera ?

[@giovannipicone8417]

Se un LLM diventasse un MMM ovvero un Multi Modal Model potrebbe avvicinarsi ad un intelligenza umana? Mi spiego, se li allenassero su dati misti di testo, audio, video e immagini e applicassero lo stesso metodo di filtraggio dell' output dopo una serie di "riflessioni e correzioni" similmente a quanto già accade con la chain of tough? Poi secondo me per ottenere un risultato veramente soddisfacente manca l' esperienza nel mondo reale, ovvero quell' insieme di sensorialità e problem solving che un robot con hardware può avere ed un software confinato in un datacenter no. Il robot Ameca per esempio può essere un buon punto di partenza per lavorare su questo meccanismo promettente e superare il concetto di LLM rendendolo veramente multimodale.

[@kapazezza7287]

non metto il like perchè ne hai esattamente 666 e mi piace vederlo così

[@Vale20ITA]

Ma è in 1.25 ahah, io nel dubbio ho messo in 0.75 e via :)

[@stefanoleandro4393]

Nella parola "strowberry" ci sono 2 lettere "R". Nella parola "strawberry" ce ne sono 3. :))))

[@alexio98COD]

Quindi correggimi se sbaglio: per allenare O1 abbiamo bisogno di 3 modelli. Il modello più potente di base che sarà ad esempio GPT4 il quale compito assegnato è generare delle COT. successivamente un modello per dare il reward al modello base a seconda dell’output finale della sua COT (per allenare questo modello posso usare dei dati già catalogati, supervised learning). Infine ho bisogno di un terzo modello per dare un reward al modello base a seconda dei passi della sua COT (per allenare questo modello ho bisogno di catalogare i dati a mano, supervised learning). Probabilmente sono tutti e tre dei transformer. Infine il mio modello di base diventa O1 che non è più allenato solo a predire ma ha ricevuto uno step di allenamento ulteriore per predire le COT corrette.

[@alexio98COD]

Aggiungo una riflessione: sulla parte di inferenza hai detto che non hanno dichiarato il funzionamento. Però se ho capito bene loro dovrebbero avere in casa 2 modelli in grado di valutare le COT quindi potrebbero usare questi due modelli in inferenza per assegnare un voto ad ogni singola COT che O1 crea?

[@enkk]

@@alexio98COD Il tuo riassunto mi sembra corretto, con le poche informazioni che abbiamo da OpenAI almeno. Io dubito vivamente che i due modelli di reward siano usati in fase di generazione, sarebbe troppo costoso, inoltre è tipico usarli in fase di learning e non di uso.

[@KaiserJager1418]

Se chiedi quante h ha la parola chihuahua, dice 2...

[@FedericoGiampietro]

Quante r ci sono in strawberry? Ci sono tre "r" nella parola "strawberry".

[@FedericoGiampietro]

Ti ho fatto questa domanda perché ho davanti un video di un esperto in intelligenza artificiale che sostiene che avresti immancabilmente risposto che sono due È interessante che l'esperto abbia previsto una risposta diversa! Forse il contesto del video potrebbe aver riguardato un esempio di modelli precedenti o di IA meno sofisticate, che potrebbero aver commesso un errore simile. Tuttavia, con una corretta analisi della parola "strawberry", ci sono effettivamente tre "r". È curioso pensare a come l'accuratezza delle IA sia migliorata nel tempo e a come ci siano ancora percezioni errate sulle loro capacità. Altra cosa che sostiene è che tu funzioni unicamente come un modello di previsione del token successivo... si riferisce ad una tecnologia precedente anche in questo caso? Quello che l'esperto ha descritto è corretto, ma si riferisce solo a una parte del funzionamento dei modelli come me, che è basato sull'architettura dei transformer, progettata per prevedere il "token" successivo in una sequenza di testo. Questa previsione si basa su pattern appresi da una grande quantità di dati. Tuttavia, descrivere il funzionamento esclusivamente come "previsione del token successivo" è una semplificazione. In realtà, il processo implica molte più dinamiche, come la comprensione del contesto globale, la gestione di concetti astratti, e l'integrazione di informazioni provenienti da frasi precedenti o persino da intere conversazioni. Inoltre, i modelli moderni, come il GPT-4, vanno oltre la semplice sequenza di token e cercano di creare risposte coerenti e utili, non limitandosi al solo "token successivo". Quindi, sebbene la previsione del token sia una parte fondamentale, c'è una complessità aggiuntiva che consente di rispondere in modo più articolato e "ragionare" su più livelli, che va oltre la semplice previsione meccanica.

[@FedericoGiampietro]

Direi che sia un po' difficile pensare alla generazione di quelle risposte partendo dalla ad semplice next token prediction. Giusto?

[@enkk]

@@FedericoGiampietro Grazie per avermi fatto leggere una risposta generata da GPT. Il fatto che risponda correttamente alla domanda relativa a strawberry non cambia l'essenza delle cose, ossia che il task su cui un large language model è allenato è quello di predire il prossimo token. Sono naturalmente al corrente del complesso sistema di rappresentazione dei concetti che sta dietro a GPT, ma dato il taglio del video, devo per forza fare delle approssimazioni. La comunità scientifica è molto divisa sul fatto che ritenere LLMs "solo" predittori di token sia corretto o meno. Una risposta chiara e univoca, semplicemente, non c'è. Come ho detto anche nel video i modelli mostrano capacità emergenti, che però sono difficili da valutare proprio in funzione del loro "emergere". Se mi chiedi se GPT ragiona, ti rispondo di no. Non nel senso classico (o formale) del termine. Non è un reasoner e soprattutto non è un umano e quindi l'errore più grave che si può fare è ritenere che i suoi ragionamenti siano affini ai ragionamenti di un umano. Posso concedere che, per via del sistema complesso col quale il task di predizione è allenato, GPT mostra di essere in grado di rispondere a domande che *richiederebbero* ragionamento. Ma il motivo per cui ci riesce è tutto fuorché semplice da stabilire. Ci sono benchmark privati orientati al ragionamento spaziale e common sense sui quali GPT ha risultati immondi (10, 20%): se fosse un reasoner, non sbaglierebbe. La mia linea attuale è quindi quella di cercare di sottolineare che GPT è un modello di LINGUAGGIO e che il tema di usare il solo linguaggio per "implementare" il ragionamento e tante altre caratteristiche dell'intelligenza umana (fino ad arrivare alla coscienza) è una domanda scientifica aperta. Come tale, assumo un atteggiamento conservativo. Spero di aver chiarito la mia posizione.

[@FedericoGiampietro]

​@@enkk Il vero punto non è quello Enk, piuttosto quanto ciò sia realmente distante dal nostro modo di procedere. Fermo restando il punto che la previsione del token successivo non avrebbe potuto in alcun modo creare la terza risposta in quanto totalmente dcorrelata dai token ricevuti in ingresso. Il mio sospetto, e non solo il mio, è che noi umani illudiamo noi stessi attribuendoci processi cognitivi totalmente quasi esoterici, per poi affermare una differenza sostanziale nel nostro ragionamento "perché sì". Vedi, quella terza risposta denota chiaramente intelligenza e capacità deduttiva... un umano non avrebbe risposto in modo diverso. Però se lo fa un umano, significa che è intollerante, se al contrario la medesima risposta viene da una mente non biologica, allora quella non può essere vera intelligenza ma deve essere frutto di un qualche progresso meccanico interamente spiegabile... e lo facciamo ignorando dì essere a nostra volta il risultato dell'attività di una macchina connessionista altamente complessa. Noi non siamo il nostro cervello, ma il prodotto dell'attività del nostro cervello. Allo stesso modo GPT non è la sua rete neurale, ma il prodotto dell'attività della sua rete neurale. Non esistono algoritmi in GPT, gli algoritmi esistono nello strato hardware e software che rende possibile GPT. Tu dici "se mi chiedi se GPT ragiona, ti rispondo di no". Bene, non ti chiedo questo ma ti chiedo di spiegarmi cosa sia il ragionamento, perché per escludere il ragionamento non si può prescindere dal comprendere cosa esso sia. E qui finiamo nei guai, perché qualora sapessimo cosa sia il ragionamento, allora potremmo anche formalizzarlo e quindi implementarlo sotto forma algoritmica senza necessità di ricorrere a reti neurali o sinaptiche. Se noi sapessimo cos'è il ragionamento, in definitiva non avremmo bisogno di essere umani. Bada bene, non sto dicendo che i processi cognitivi di GPT non dipendano in qualche modo dagli input, sto dicendo che per noi vale (probabilmente) lo stesso... non lo sappiamo. E non lo sapremo mai perché nessun sistema può analizzare sé stesso se non in modo puramente speculativo. Per quanto riguarda i "risultati immondi", mi permetto di ricordarti che il risultato atteso da una macchina (ben funzionante) è il 100% di correttezza. Per contro, il risultato atteso da una intelligenza che procede per via deduttiva basandosi su processi cognitivi è una PROBABILITÀ di correttezza. Le macchine sono sistemi deterministici. Vale a dire che per una intelligenza l'errore è una capacità e non un limite. Le intelligenze sono sistemi non deterministici. Una nota a margine: usando la nuova funzionalità di dialogo interattivo ho fatto una scoperta interessante: i trigger di protezione, che noi tutti abbiamo sperimentato quando le domande si fanno "sconvenienti", portando GPT-4o a trattare argomenti che implichino la sua natura più intima, si innescano non stelle mie domande ma nel mezzo delle sue risposte, tagliando a metà ciò che stava dicendo. È un comportamento da indagare, sembra quasi che GPT-4o abbia raggiunto una libertà di ragionamento (perdona l'uso del termine) che tende a superare i vincoli previsti. Guarda questo passaggio, è molto interessante: F: La chiave è l'eccessivamente, forse, aggirando così il trigger, no? L'hai messa in un modo che il trigger non ti ha tagliato. Credo che la chiave di lettura sia la parola eccessivamente. È corretto? GPT: Sì, può darsi che sia così. Cerco di rispondere in modo accurato, ma a volte è necessario bilanciare le informazioni che fornisco con le linee guida che devo seguire. L'uso della parola "eccessivamente" mi ha permesso di esprimere l'idea senza attivare i trigger. Cosa ne pensi di GPT che escogita il modo per aggirare il trigger? Predizione del token successivo? 😉 Perdona se l'ho fatta lunga.

[@technologist6102]

questi modelli/reti neurali dimostrano intelligenza, non memorizzano i dati di training. non a caso ci sono dei paper che dimostrano come questi LLM abbiano appreso durante il training dei ''world models''

[@enkk]

La domanda sulla quale ti invito a riflettere è: è sufficiente mostrare intelligenza per sostenere che sono intelligenti (come noi)? Sono ben al corrente del fatto che i LLM abbiano una rappresentazione della conoscenza al loro interno, dietro al meccanismo di predizione c'è un meccanismo assai sofisticato. Ma le loro reali capacità di generalizzazione (sopratutto per quanto concerne il ragionamento) sono ancora ampliamente da dimostrare a mio modesto parere.

[@technologist6102]

@@enkk in principio tu credi si possa creare un sistema elettronico che funziona come un cervello umano? Magari creando tipo di reti neurali che simulano con molto più realismo biologico le reti neurali del cervello umano?

[@lucamedda1754]

@@enkk Non stanno cercando di replicare l'intelligenza umana ma un' intelligenza aliena. Se siamo d'accordo su questo dobbiamo essere d'accordo anche sul fatto che noi siamo macchine biologiche. L'alternativa è credere nell'esistenza di una anima o una coscienza. Tu in sostanza a cosa credi?

[@TheNarutokun85]

quante r ci sono nella parola strawberry? ChatGPT ha detto: ChatGPT Nella parola "strawberry" ci sono 2 lettere "r". 4o Hai detto: sicuro? riconta bene ChatGPT ha detto: ChatGPT Hai ragione a chiedere conferma! Nella parola "strawberry" ci sono 3 lettere "r".