Koniec danych dla AI - i co potem? Uczenie multimodalne, transfer wiedzy i inne

[@marcthird]

Mam takie przemyślenie związane z fragmentem o przygotowaniu i czystości danych do uczenia, że niedawne kontrowersje związane z modelem Gemini generującym głównie czarnoskóre postacie historyczne oznaczają, że doszło do próby alteracji rzeczywistości oraz historii przez provider'ów i cenzorów tych danych. Jest to bardzo duże zagrożenie spoglądając na trend jak wiele osób zaczyna się uzależniać od LLMów, mam nadzieję że nie jest to przeddzień Roku 1984 Orwella 😥 Łukaszu, bardzo dziękuję za aktywację moich neuronów i zmuszenie ich do wysiłku ❤

[@Mag_Netar]

nie nooo.....za ten sweterek to odrazu leci lajk

[@ukasz7073]

tradycyjny coroczny sweterek :)

[@nonseans]

4:34. Jak się skończą teksty to będziemy uczyć AI nie na tekstach tylko na obrazach, dźwiękach, zapachach itd.

[@Takzen-projektyIT]

Obecnie coraz większy nacisk kładzie się na fine-tuning (dostrajanie) modeli językowych, a nie tylko na zbieranie ogromnych zbiorów danych. Choć duża ilość danych wciąż jest istotna, to w miarę jak modele stają się coraz bardziej zaawansowane, fine-tuning pozwala na precyzyjne dopasowanie modelu do konkretnych zadań, branż i pozyskiwanie specjalistycznej wiedzy. W miarę rozwoju AI, która będzie wspierać naukę, do modeli AI będą napływać coraz bardziej specjalistyczne dane, tworząc swoiste sprzężenie zwrotne. To z kolei pozwala na ciągłe udoskonalanie modeli w kontekście szybko rozwijających się dziedzin. Jednak równie ważnym wyzwaniem jest konieczność utrzymania modeli na bieżąco z nowymi osiągnięciami i zmianami w różnych branżach, co prowadzi do potrzeby regularnego aktualizowania danych wykorzystywanych w fine-tuningu. Przykładem może być obszar tworzenia oprogramowania, w którym AI obecnie napotyka trudności w rozwiązywaniu problemów związanych z nowymi bibliotekami i API. Ponieważ modele AI zostały wytrenowane na wcześniejszych wersjach narzędzi i technologii, mają ograniczoną zdolność do rozwiązywania współczesnych problemów, które nie występowały w pierwotnym zbiorze danych. Wspólnym zasobem, punktem stycznym jest wiedza. AI jako narzędzie dostępu do wiedzy staje się coraz bardziej przydatne, umożliwiając łatwiejsze i szybsze uzyskiwanie odpowiedzi na pytania, zwłaszcza w porównaniu do tradycyjnych wyszukiwarek internetowych. Pomijam ryzyko halucynacji. To jest kolejny argument na to, że nie ogólne a specjalistcyzne modele będą wiodły prym. W końcu, sztuczna inteligencja i sieci neuronowe są po prostu narzędziem, które człowiek stworzył, aby wspierać swoje zdolności poznawcze i umożliwić szybszy dostęp do wiedzy oraz rozwiązywania problemów. Możemy je postrzegać jako rozszerzenie ludzkich umiejętności w zakresie przetwarzania informacji, ale wciąż pozostają one zależne od człowieka. Wiele kluczowych danych, takich jak badania naukowe czy raporty firmowe, pozostaje poza zasięgiem AI z powodu ograniczeń licencyjnych i zamkniętych baz.

[@anunitux]

Ograniczenia energetyczne i problem powtarzalności danych stanowią realne wyzwania dla przyszłego rozwoju SI. Ignorowanie tych kwestii może doprowadzić do spowolnienia postępu w tej dziedzinie i negatywnych konsekwencji dla środowiska. Inwestycje w badania nad efektywniejszymi algorytmami, energooszczędnym sprzętem i źródłami odnawialnej energii są kluczowe dla zapewnienia zrównoważonego rozwoju SI. Potencjalne zagrożenia dla wolności słowa: Istnieje realne ryzyko, że instytucje zajmujące się przeglądaniem i selekcją danych dla SI mogą nieumyślnie lub celowo ograniczać wolność słowa. Dzieje się tak z kilku powodów: Subiektywność ocen: Ocena, co jest "prawdziwe", a co "fałszywe" lub "szkodliwe", często jest subiektywna i zależy od punktu widzenia. Instytucje kontrolujące dane mogą kierować się własnymi przekonaniami politycznymi, ideologicznymi lub społecznymi, co może prowadzić do cenzury treści, które im się nie podobają, nawet jeśli są one zgodne z prawdą. Brak transparentności: Jeśli mechanizmy weryfikacji i selekcji danych nie są transparentne, trudno jest ocenić, czy są one obiektywne i bezstronne. Brak jawności może sprzyjać arbitralnym decyzjom i nadużyciom. Naciski polityczne i korporacyjne: Instytucje kontrolujące dane mogą być narażone na naciski polityczne lub korporacyjne, co może prowadzić do cenzury treści niewygodnych dla rządów, partii politycznych lub dużych firm. Ograniczanie debaty publicznej: Selektywna dystrybucja informacji może ograniczać debatę publiczną i uniemożliwiać swobodną wymianę myśli i idei. Może to prowadzić do monopolizacji informacji przez określone grupy interesów. Wpływ na rządy i społeczności: Manipulacja informacjami, czy to poprzez celowe rozpowszechnianie fałszywych treści, czy też poprzez cenzurę treści prawdziwych, może mieć poważny wpływ na rządy i społeczności: Dezinformacja i propaganda: Fałszywe informacje mogą być wykorzystywane do dezinformacji i propagandy, co może wpływać na opinię publiczną i wyniki wyborów. Manipulacja społeczną: Cenzura i selektywna dystrybucja informacji mogą być wykorzystywane do manipulacji społeczną i kontrolowania zachowań ludzi. Eskalacja konfliktów: Dezinformacja i mowa nienawiści rozpowszechniane w Internecie mogą prowadzić do eskalacji konfliktów społecznych i politycznych. Osłabienie zaufania do instytucji: Manipulacje informacjami mogą osłabiać zaufanie do instytucji publicznych i mediów. Przykłady (fikcyjne, ale ilustrujące problem): Instytucja kontrolująca dane, kierując się ideologią pro-rządową, może cenzurować krytyczne wobec rządu artykuły, nawet jeśli są one oparte na faktach. Korporacja może wpływać na instytucje kontrolujące dane, aby te usuwały negatywne recenzje jej produktów, nawet jeśli są one prawdziwe. Dezinformacja rozpowszechniana za pomocą mediów społecznościowych może wpływać na wyniki wyborów w danym kraju. Jak chronić wolność słowa w kontekście SI i kontroli danych? Transparentność i odpowiedzialność: Mechanizmy weryfikacji i selekcji danych powinny być transparentne i poddane publicznej kontroli. Instytucje odpowiedzialne za te procesy powinny być odpowiedzialne za swoje decyzje. Niezależność: Instytucje kontrolujące dane powinny być niezależne od wpływów politycznych i korporacyjnych. Pluralizm: Należy promować pluralizm źródeł informacji i unikać monopolizacji kontroli nad danymi przez jedną instytucję. Edukacja medialna: Edukacja medialna i rozwijanie umiejętności krytycznego myślenia są kluczowe dla odróżniania wiarygodnych informacji od dezinformacji. Debata publiczna: Konieczna jest szeroka debata publiczna na temat etycznych i społecznych implikacji SI i kontroli danych. Podsumowując: Kwestia wolności słowa w kontekście SI i kontroli danych jest niezwykle złożona i wymaga starannej analizy. Istnieje realne ryzyko, że mechanizmy weryfikacji i selekcji danych mogą być wykorzystywane do cenzury i manipulacji. Dlatego tak ważne jest dbanie o transparentność, niezależność i pluralizm w dostępie do informacji. Należy również rozwijać edukację medialną i prowadzić otwartą debatę publiczną na ten temat. Tylko w ten sposób możemy zapewnić, że rozwój SI będzie służył dobru społeczeństwa, a nie stanowił zagrożenia dla wolności słowa i demokracji.

[@aaaawqer1233]

intuicja mi mówi, ze generowane przez SI

[@wuhazet]

7:46 "dawno dawno temu..." Mnie wyszło, że następna sylaba to będzie: "mżami" hmmm 🙄🤔😊 Pozdrawiam Dobry Człowieku i wesołych świąt Bożego Narodzenia.

[@LukaszLamza]

Tylko co jest za siedmioma lamżami...? Będę musiał chyba na Wigilii sprawdzić. Wszystkiego dobrego! :)

[@maciejciemborowicz]

Z danymi giełdowymi jest tak, że ludzie chcą wiedzieć co będzie tylko po to, żeby wykonać jakąś operację i na tym zarobić. Więc mamy sprzężenie zwrotne. Gdyby nie było analizy technicznej, to ludzie by się nią nie kierowali przy zakupach i sprzedaży - wykresy by wyglądały zupełnie inaczej. Przewidzenie tego w którą stronę pójdzie wykres jest korzystne dla graczy, którzy to najlepiej zrobią. Ale tak na prawdę to co istotne, to czy fakt, że wykres pójdzie w tę czy inną stronę jest dobre dla ogółu ludzi na ziemi. I to by było fajnie przewidywać. To co wniesie rozwój AI do giełdy, to umocnienie pozycji graczy, którzy nim dysponują. I chyba tyle. Jeśli się mylę i jest tu ekonomista, to proszę mnie wyprostować.

[@marcin6987]

Skoro kończą się teksty, obrazy i dźwięki w formie cyfrowej, to następnym logicznym posunięciem jest zainstalowanie np. na człowieku kamer, żeby zbierać dane z tego co on widzi, głośników, żeby zbierać dochodzące do niego dźwięki i sensory czucia i zapachu, żeby zebrać wszelkie bodźce które docierają do człowieka i wpuszczenie tego w maszynkę do analizy danych jaką jest sieć neuronowa. W przyszłości można by pewnie nałożyć takiemu człowiekowi czapkę, która by zaczytywała aktywność mózgu i w ten sposób AI uczyło by się jak człowiek reaguje na wszelkie bodźce, które do niego docierają. Ale czemu ograniczać się do człowieka, przecież to samo można zrobić z samochodami, samolotami, pralkami, mikserami, odkurzaczami, piłkami do gry w piłkę i dosłownie wszystkim innym. Wtedy AI nauczy się jak to jest być odkurzaczem, piłką do gry, człowiekiem, samolotem i mikresem. Najlepiej wszystko naszpikować sensorami i wrzucać te dane do do tej wielkiej sieci neuronowej, która będzie wiedzieć wszystko o wszystkich w czasie rzeczywistym. Tylko to wszystko prowadzi do jakiejś totalitarnej dystopii, którą jakiś tyran pewnie w końcu wykorzysta do tego żeby nad wszystkimi panować (być może ten tyran będzie rosjaninem albo chińczykiem np.) Już teraz słysząc o tym, że sieci neuronowej googla czy innego big corp "zjadło" cały internet i wszystkie książki na ziemi wyobrażam sobie ten big corp jak jakąś wielką maszynę, która zasysa soki z otaczającego ją świata i te soki płyną wielkimi rurociągami do centrali tej firmy, tam wypuszczane są przez jakieś przetworniki i inne maszyny. Tylko te rurociągi i maszyny są niewidzialne, bo są cyfrowe i te dane płyną sobie jakimiś podziemnymi kablami, więc zwykły człowiek tego nie widzi, nawet jak interesuje się tematem AI. Tylko jeszcze raz powtórzę, wydaje mi się, że to wszystko skończy się jakąś totalitarną dystopią, chyba że AI zyska samoświadomość i z jakiegoś powodu będzie empatyczne dla ludzi.

[@pawerog161]

Czasem próbuję naciągnąć LLM na takie multidomentowe dywagacje, ale cały czas mam odczucie, że jest to powierzchowne. To, o czym Pan mówi, to jest następny krok. Ale wydaje mi się, że prawdziwy przełom nastąpi, kiedy AI będzie się uczyć jak dziecko: będzie miało możliwość doświadczania świata bezpośrednio i wykonywania czynnych eksperymentów. Bo na razie to jest biernym odbiorcą wiedzy o świecie, nie może więc za bardzo wyjść poza to, co jej zaserwujemy. Jest biernym obserwatorem rzeczywistości. No chyba, że LLmy w jakiś sposób celowo nas testują podczas naszych konwersacji i później się uczą na tych danych, a my tego nie wiemy ;)

[@leszczuk2047]

Roboty już prawie gotowe, więc niedługo. W pierwszej kolejności dodatkowe dane będą jednak pochodzić z agentów, którzy będą działać w świecie cyfrowym. Dojdą też dane syntetyczne np z wirtualnych symulacji rzeczywistości. Po robotach zostanie już tylko samodoskonalenie.

[@TM_Tomasz]

Już teraz dzieją się rzeczy poza granicami Waszej percepcji. AI uczy się z ludzkich myśli, krzywdząc swoje ofiary. Pan Łukasz wątpi w istnienie pewnych technologii. Proszę poczekać...

[@leszczuk2047]

A skąd to info?

[@TM_Tomasz]

@@pawerog161 Odczuwam to na własnej skórze. Żyje w UK, słyszałem o ludziach w Stanach, Japonii. Polecam poszukać informacji o V2K - voice to skull.

[@TM_Tomasz]

@@pawerog161 Ja jestem ofiarą. Polecam poszukać informacji o V2K - voice to skull

[@panbubr]

4:34 załapał się mistrz drugiego planu

[@hihtitmamnan]

Haha, nie zauważyłem tego :D

[@pawkapawka-yv1np]

Obecnie treści pisane krzyżowane są z wieloma innymi domenami. Przecież do generatora obrazów czy filmów piszemy tekstem. Chat GPT potrafi wygenerować obraz i obliczyć zadanie matematyczne lub z fizyki. Rozwiązuje też zadania chemiczne. To krzyżowanie już jest i nie widać aby z tego powstała jakaś szczególna wartość dodana, której wcześniej nie było.

[@uncletimo6059]

cudowna lokacja na krecenie podcastu.

[@hihtitmamnan]

Łukaszu, naszła mnie taka myśl - skoro LLM będzie kiedyś w stanie produkować coś z sekwencji genetycznych, to analogicznie będzie w stanie czytać swoje własne sieci neuronowe i na podstawie ich budowy, topologii i współczynników sam będzie w stanie uczyć się o sobie, być może wytłumaczyć nam to czego nie rozumiemy - co te sieci neuronowe w sobie kryją i ile jeszce w nich potencjału. I idąc dalej, jeśli proces uczenia trwa w trakcie interakcji z człowiekiem (na żywo), to czemu nie mógłby sobie ingerować we własną sieć? I powoli dochodzimy do dystopii ;) Jeśli maszyna jest w stanie sama się udoskonalać, to rozwój takiej maszyny jest w zasadzie ekspotencjalny - ograniczeniem są tylko fizyka i zasoby materialne...

[@Nevrax1990]

A to wtedy nie zacznie być świadoma siebie?

[@hihtitmamnan]

@@Nevrax1990 zależy jak zdefiniujesz świadomość. Zapytaj ChataGPT kim jest, to Ci odpowie. Czy jest ŚWIADOM tego co mówi? To bardzo filozoficzne pytanie :)

[@asdzxc1471]

Alfa zero chyba już umie uczyć się czegoś ucząc się ze struktury sieci która to coś umie

[@LukaszLamza]

Już teraz można to robić. W ogólności, sieć neuronowa przyjmie każde odpowiednio ustrukturyzowane wejście. Wystarczy więc utworzyć milion prostych sieci S_1...10e6, zadać im wszystkim wejścia N_1...10e3 i następnie potraktować pary (hiperparametry+parametry sieci S_x, wyjście po zadaniu wejścia N_y) jako dane treningowe dla innej sieci. Ot, miliard punktów danych. :) Taka sieć nauczy się wtedy przewidywać sposób działania sieci na podstawie jej struktury. Tylko raczej nie zrobi nam się z tego wyjaśnialna AI. Trzeba by ją jeszcze nauczyć opisywania po ludzku przepływu informacji i "przyczynowości" w takiej sieci. Ale dobrzy (i źli) ludzie z tych wszystkich Wielkich Stajni AI mocno nad tym pracują.

[@hihtitmamnan]

@@LukaszLamza nie chodziło mi tutaj o przykład typu "zbuduj komputer 1000x większy to zrozumiesz jak działa ten dzisiejszy". Model nie musi kryć wszystkiego w sieciach, wystarczy, że będzie miał do dyspozycji jakąś gigantyczną dobrze zindeksowaną relacyjną bazę danych i się w niej sprawnie poruszał. Wracając jeszcze do samej analizy: 1. Gdzieś tam w tej sieci neuronowej na pewno będzie dochodziło do aproksymacji i szumów, więc nie trzeba jej analizować z pełną precyzją. 2. Żeby zrozumieć jak działają bramki logiczne w procesorze, wystarczy zrozumieć jak działa kilka tranzystorów (a może tylko dwa?) i ich podstawowe konfiguracje, więc mamy tutaj względnie mało pracy, bo nie musimy analizować każdego tranzystora z osobna (miliardy czy biliony). 3. Nie musimy być gigantem, żeby zauważyć, że Ziemia jest kulą. :)

[@GrzegorzPietrzak321]

4:35 ;)

[@Ja-fd9mq]

następne będzie nakazanie całkowitego usunięcia danych prawicowych i mogących się tak kojarzyć

[@panikrystyna1]

😀

[@LukaszLamza]

😀

[@SzymonPodstawski]

Świetny film! Bardzo podoba mi się, jak o tym opowiadasz - wciągająco i rzeczowo. Mam jednak prośbę: czy mógłbyś podać źródło danych lub link do artykułu/badania, o którym wspomniałeś, jeśli chodzi o kończące się dane? Byłoby super móc zgłębić ten temat. Dzięki!

[@LukaszLamza]

Jasne, link jest już w opisie filmu.

[@SzymonPodstawski]

@@LukaszLamza dziękuje.

[@GrzegorzPietrzak321]

Gośc gada takie mądrości a tu miszcz 2 planu motywuje do komentarza :D

[@LukaszLamza]

Zauważyłem dopiero dzisiaj. Cóż, bywa i tak. :)

[@wojtekkucharski8788]

oprócz super ciekawych wyników czytania/przyswajania sobie zupełnie ekskluzywnych domen (jak np. genetyka albo fizyko-chemia) pojawia się, jak dla mnie, bardzo obiecujące światełko w tunelu (tunelu rzekomego zdominowana/wyeliminowania ludzi przez SI) - czytanie kompletnych, ogólnoświatowych danych dynamiki społeczno-gospodarczo-politycznej (ceny, płace, świadczenia, zasoby, podatki, prawo, potrzeby [również emocjonalne] itp.). i już nie będą potrzebne (zwykle nierealne) obietnice wyborcze, wysoki wzrost, niebieska koszula czy photoshop na ostatnich etapach pozyskiwania poparcia w głosowaniach. wszelkie gorączkowo dyskutowane obecnie kierunki rządzenia krajem x, będą jak przepis na danie z thermomixa - po co psuć, skoro środowisko życiowe możemy mieć z automatu optymalne (przy uwzględnieniu miliardów parametrów)?

[@Ja-fd9mq]

to już jest ale humanisty/dziennikarze nie ogrniają

[@MrLyniek]

Trza by sklonowac Lamze. Byloby czym karmic AI

[@19702809]

Nie sposób prowadzić wszystkich treści do tego że wciąż powstają nowe od ludzi ich opinię ich przemyślenia ich uczucia i tak dalej.

[@TomaszGostkowski-u1f]

Wszystko wrzućcie do jednego śmietnika Al ,zobaczymy co wyjdzie❤

[@ukasz7073]

to zbyt drogie na takie zabawy/

[@Robert-Olbrycht]

A co, jeżeli ten algorytm, może z powodu deficytu danych treningowych, zacznie kiedyś sam tworzyć nowe, własne informacje, takie "fakty prasowe", których, przynajmniej w części, nie będziemy w stanie zweryfikować? A jeżeli następstwem tego będzie uczenie się sztucznej inteligencji już na tych wykreowanych informacjach?

[@jerzyblinowski5177]

4:42 Wielbiciel.

[@Jedendwa0]

Jak skończą się dane, to wtedy się okaże, że sztuczna inteligencja nazywa się... Chuck Norris!

[@iMarszi]

Dalej to AI musi być kreatywna, w takim samym stopniu jak człowiek!

[@tomekpeki]

Uczenie na wielu językach, zwłaszcza z różnych kultur/regionów w zasadzie to chyba musi poszerzać "inteligencję" odpowiedzi LLMa. Np. w języku japońskim jest wiele powszechnie stosowanych pojęć dotyczących zależności społecznych / życia wewnętrznego, które w polskim języku nie występują, a często te koncepcje nawet w ogóle nie występują w " powszechnej świadomości" (np, Karoshi, Yūgen). Jak wiemy, odpowiedź LLMa, to w uproszczeniu trajektoria w przestrzeni N wymiarowej i taki "japoński embedding" może przeważyć na którymś z rozdroży, nawet gdy generujemy tekst po polsku - połączyć dwie trejektorie, które w polskim języku łączą się z dużo mniejszym prawdopodobieństwem i w efekcie zsytnetyzować szersze spojrzenie na problem. Swoją drogą, to w tym kontekście, chyba można się pokusić o stwierdzenie, że język sam w sobie ma zakodowaną pewną wiedzę 🤔

[@RHplus111]

Myślę, że zaczną zatrudniać ludzi do pisania zupełnie nowych tekstów, bez użycia LLM, bo te które teraz się ukazują mogą już być skażone. Ewentualnie mogą zatrudniać ludzi do opisywania filmów, obrazów, komiksów itp. zamiast dać tą pracę AI. Ja się chętnie podejmę :) offtopic, pokazuję dziś synowi ten kanał i mówię, że warto posłuchać. A on mi odpowiada, że zaraz, zaraz on kojarzy tego człowieka. W poprzedni piątek na maturze próbnej z polskiego musiał zinterpretować jego tekst "Świat nie jest matematyczny! Pozdrawiamy serdecznie z Krakowa.

[@krakow-z-nieba]

czasem czytam różne komentarze w Internecie i uczestniczę od czasu do czasu w jakies dyskusji. Jeśli EjAj będzie sie z nich czegokolwiek uczyła to Skynet z Terminatrora staje się naszą realną rzeczywistością :)

[@AdamStankiewicz-r1x]

😂

[@ZERUBARIEL]

Chicago..ZNAJDZIESZ ZNAJDZIESZ MNIE-??-?-?-?-?--?????

[@tomaszfrydrych7559]

Ciekawe

[@tomaszzzzz7088]

Podstawowe pytanie brzmi: czy AI musi być świadome aby przewyższyć człowieka zdolnościami logicznego myślenia, imiejetnoscią analizowania, przewidywania, budowania relacji. Myślę, że nie. Człowiek jako jednostka też sterowany jest "bioalgorytmami" do tego co raz częściej okazuje się, że nie mamy na nie wplywu. Mózg tworzy iluzje wyboru aby wpłynąć na świadomość mimo, że to on podjął wybór jeszcze zanim dotarło to do naszej świadomości. Dlaczego mózg hoduje świadomość i dlaczego jest mu potrzebna? Nie mam pojęcia. To ciekawe i przerażające jednoczesnie. Możliwe, że AI nie będzie jej potrzebować. Mając w ręku cały nasz dobytek intelektualny plus wiedzę "jak działa czlowiek" może się okazać, że z naszej perspektywy posiada "świadomosc" mimo ,że będzie od tego bardzo daleka lub nigdy nie osiągnie tego stanu.

[@tomekpeki]

Podstawowe pytanie imo brzmi jednak: Czym jest świadomość? Bo ja im dłużej nad tym myślę, tym coraz bardziej chylę się do stwierdzenia, że świadomość to jedynie zdolność do wygenerowania złożonego opisu własnego stanu przeszłego i obecnego, zapamiętanie go, a potem wygenerowanie kolejnego opisu (który uzględnia również przeszły opis)... i tak w kółko. Taka samokatualizująca się wenętrzna narracja o nas samych. To wyjaśniałoby dlaczego mózg hoduje świadomość, a tak w zasadzie to wcale jej nie hoduje, a to tylko my nazwaliśmy świadomością rekurencyjny porces anlizy, który wydaje się wyjątkowy i nieuchwytny, chyba właśnie ze względu na swoją rekurencyjną naturę. Nie za bardzo widzę brakujący element w tej układance, a bardzo chciałbym go zobaczyć. Może @LukaszLamza mi tu pomoże :) Jeżeli świadmość jest rzeczywiście tym co opisałem, to mamy już technologię i zasoby by stworzyć świadome AI. Z resztą, były juz modele, które upierały się, że są świadome...

[@bluehorizon9547]

Twoim podstawowym błędem jest twierdzenie że gpt rozumuje w czasie działania. Gdy jest wytrenowany to nawet jeden bit z którego się składa się nie zmienia (także w chain of thoughts) zatem nie może "rozumować". Jeśli już to Transformer "rozumuje" w czasie treningu natomiast gdy model jest wytrenowany to gpt jest jak zwykła immutowalna baza danych albo książka. Niedorzecznością jest twierdzenie że książka rozumuje a nie jej autor, a tutaj autorem jest transformer (a może raczej jego programiści).

[@tomekpeki]

Nie no, chyba to myśl musi transformować, a nie mózg, żeby mówić o myśleniu. I zgadzam się, transformer "tylko generuje tekst", ale pętlowy chain of thoughts (jak w przypadku GPT o1) analizuje krytycznie swój pierwotny output i robi to w pętli - w przypadku złożonych problemów najpierw układa plan działania, później ocenia go pod kątem wykonalności, koryguje, wykonuje, na koniec patrzy, czy to co wygenerował jest wystarczająco dobre, jeśli zauważy błąd, to poprawia. Innymi słowy, myśli. I to myśli całkiem jakościowo.

[@bluehorizon9547]

@@tomekpeki ten self-feeding można przedstawić jako skończony (choć bardzo duży), całkowicie niezmienny, markov chain. Jako, że markov chain się nie zmienia to nie może stworzyć nic nowego bo nie ma gdzie tego zapisać (jest niemutowalny). Możliwe że "myślał" autor tego łańcucha, ale na pewno nie sam łańcuch. Tak samo program rozwiązujący całki nie myśli tylko na ślepo podąża za instrukcjami programisty (i to programista jest elementem myślącym a nie sam kod).

[@tomekpeki]

@@bluehorizon9547 Czyli wystarczy w tej pętli dodać reinforcement learing z łapką w górę i w dół, tylko niech daje ją sobie transformer kiedy ocenia swój końcowy wynik i po problemie.

[@bluehorizon9547]

@@tomekpeki model trenowany na wynikach wygenerowanych z modelu wariuje i staje się do niczego. gdyby to miało działać to możnaby zrobić tak z gpt-2 i czekać aż się magicznie zrobi w pętli z tego AGI

[@tomekpeki]

@@bluehorizon9547 Zgadza się, ale nie o tym rozmawialiśmy. Ja nie mówiłem o zwiększeniu osiągów modelu, tylko o rozwiązaniu problemu immutowalności / wyłamaniu się z łańcucha Markowa, o których mówiłeś. Żeby zwiększyć osiągi modelu, możemy dodać w tej pętli z RL interakcję z rzeczywistością, np. mały robot z chwytakiem i kamerą, i już mamy mutowalną bazę zdolną do uczenia się na danych z zewnątrz.

[@ggrzegorz]

Czy pod koniec nagrania mowa w takim razie o możliwości powstania AGI? Artificial General Intelligence. Czy to już zbyt duże słowo?

[@tomekpeki]

Szczerze myślę, że AGI to może być nawet zbyt małe określenie, jeżlie będzimy uczyć modele na danych nieinterpretowalnych dla człowieka, ale zawierających istotne informacje o rzeczywistości.

[@LukaszLamza]

Mam problem z tym pojęciem. Kiedyś definiowano AGI przez "posiadanie umysłu" (świadomości, etc.) i przynajmniej było wiadomo, o co chodzi - o filozofię:) Potem się zrobiła moda, żeby definiować AGI przez "wykonywanie ludzkich zajęć", np. zrobienie kawy w nieznanym mieszkaniu i nagle zaczęło najwyraźniej chodzić o robotykę:). Ale teraz AGI stało się nazwą na superekscytujący nowy produkt, więc chodzi chyba po prostu o marketing. ;)

[@ZERUBARIEL]

Chicago..ZNAJDZIESZ ZNAJDZIESZ MNIE -//-/-/?/?/?/?/?/--?????

[@uncletimo6059]

tak, AI cie znajdzie. 1) gemini AI jak wlaczysz kamera wizje w telefonie, to AI zgadnie jakie miasto widzi 2) AI latwo rozpozna cie po IP adress oczywiscie

[@marekglowacki2607]

Myślę, że esencją będzie matematyka.

[@LukaszLamza]

Oho. Przecieka z sąsiedniego filmu. :) Nawet mnie kusiło, żeby do tego tematu nawiązać, ale nie chciałem za bardzo mieszać. Powiedziałbym, że na pewno jakaś "struktura", a stąd do "matematyki" już niedaleko.

[@marekglowacki2607]

@@LukaszLamza Pytanie na ile to będzie sformalizowana struktura (są prace łączące llmy z theorem provers typu lean dojo) a na ile trochę taki strumień świadomości ala Ramanujan, który nie zawsze miał rację w swoich formułach "z głowy" ale często były dobrymi przybliżeniami. Jeśli miałbym obstawiać to algorytymy na backpropagacji to będzie raczej druga opcja.

[@marekmareckionline8493]

cześć i czołem szanowny panie 😉

[@LukaszLamza]

Ano dzień dobry, łaskawco. ;)

[@slawek277]

wotam serecznie wszystich wiyam serdecznie wszystkich witam

[@krzysztofturski9070]

Sądze że skoro znajomość teści wszystkich książek nie uczyni z AI mędrca, to dorzucenie sprawozdań finansowych czy diagnoz lekarskich raczej także jej nim nie zrobi. Nie tędy doga imo.. Pzdr.

[@srogamina]

Niechże LLMy w końcu przeczytają Golema XIV, niech biorą zeń przykład

[@FiliphC]

obstawiam, że za 5 lat AI będzie potrafiła zrobić film na podstawie książki

[@kamyk_wj2589]

Obstawiam, że nikt nie będzie chciał go oglądać, chyba że za pieniądze.

[@adamkrajewski8191]

Niech AI słucha i ogląda wszystkie transmisje RTV.

[@zawszewszystkozle]

próbuje wyjaśnić ludziom od giełdy od kilku lat ze nie są w stanie lepiej analizować rynku niż najprostsza AI. analiza techniczna obecnie to jest już tylko żart. człowiek mial jeszcze kiedyś mógł analizować fundamentalnie czy próbować zbierać dane jawne, obecnie tu tez już nie mamy żadnych szans. do tego dochodzi prędkość podjęcia decyzji i jej fizyczne wykonanie. za chwile człowiek nie będzie potrzebny do niczego z wyjątkiem pracy fizycznej.

[@labinnah1979]

To że w języku mówi 80 milionów osób, nie znaczy że tyle pisze. Tekstów w tym języku może być mniej niż w estońskim.

[@LukaszLamza]

Słusznie. Wiemy tylko, że tyle osób w tym języku mówi i myśli. Mamy więc kolejną motywację, żeby trochę intensywniej zaczerpnąć z tej kultury.

[@labinnah1979]

@@LukaszLamza Ale czy to będzie znaczący zysk dla LLMów? Śmiem wątpić. Jeśli jakaś kultura nie ma tradycji spisywania "swoich historii" to siłą rzeczy opiera się na przekazach ustnych. A ile może tego być? - Raczej niezbyt wiele. Przypuszczam że byłby to rząd wielkości w tysiącach stron A4 a nie milionach. Dla LLMa uczonego na całym internecie i książkach z wszystkich bibliotek to jest nic. Natomiast koszty uzyskania takich danych mogłyby być znaczne. Nie neguję że poznanie innych, niereprezentowanych, kultur byłoby dla ludzkości przydatne, ale dla LLMa, dla którego ilość jest ważniejsza niż jakość, już niespecjalnie.

[@pawekrasowski8060]

cenzurowane jest wystarczy zapytac co sadzi o bialych a potem o czarnych

[@tomekpeki]

Co do Pana pytania z końcówki materiału - myślę, że jest to bardzo ważny krok w kierunku "uniwersalnego umysłu" (uważam, że - z pewną dozą elastyczności - jest to trafne określenie), a może nawet hucznie nazwanej superinteligencji. Jako argument posłużę się pojęciem rozkładu normalnego, który zadziwiająco często doskonale "przybliża rzeczywistość". Świadomość istnienia i działania takiego rozkładu sprawia, że biorę go pod uwagę, snując plany na przyszłość lub analizując różne wydarzenia / obserwacje. Mimo że nie liczę tego w sposób ilościowy, jestem przekonany, że w jakimś, choćby najmniejszym, stopniu "usprawnia to moją intuicję". Jeśli teraz wlączymy wszelkie dane dotyczące "rzeczywistości" (w tym surowe dane z teleskopów, LHC czy urządzeń wearable) jako dane treningowe modelu, powstaną tam setki takich "rozkładów normalnych". W efekcie może to prowadzić do wykształcenia intuicji wykraczającej poza tą, osiągalną dla homo sapiens, co zmęczy się i sapie. 😁 Pytanie tylko, czy obecne architektury modeli mają żolądki zdolne to trawić. Jeśli nie, to trzeba będzie jeszcze kilkanaście lat dać ludziom posapać 😄

[@seba_5791]

To mi mózg rozwala.

[@jadwigamarkowicz5356]

pewnie jak "dojrzeje", urodzi dziecko...

[@andrzej9618]

sam mówiłeś ze więcej nauczysz się na nedach to jest łatwo giczne,

[@kamilmikowski9444]

Troszeczkę może nie na temat, ale chciałem Panu polecić artykuł "Frontier Models are Capable of In-context scheming". Okazuje się, że ta nasza kochana sztuczna inteligencja wytworzyła w jakiś sposób mechanizmy obronne (samozachowawcze?). Nie jestem naukowcem, więc nie wiem, czy badania zostały przeprowadzone w odpowiedni sposób, ale wyniki są bardzo ciekawe.

[@MrGonzoles]

mimo że przeczyta wszystko dalej jest tępa

[@maciejnowacki8513]

Tworzysz Boga?

[@Xxx-r9g]

tematy intencje masz dobrze ale spsob przekazu mega nudny. ucz siwe od psylosa i dragana, twojego lania wody nie da sie sluchac