o1-preview - Testy i porównanie do 6 najlepszych modeli

[@Quenton987]

Świetny pomysł na to jak porównywać różne modele. Dzięki ❤

[@tabletek]

z chęcią bym zobaczył też test albo chociaż jakaś opinię odnośnie nowego Command R+ 🤔

[@SmartTechSynergy]

Dzięki za podpowiedź! Rzucę na niego okiem 👁️

[@SmartTechSynergy]

Miałem akurat chwilę, więc przeegzaminowałem go... Niestety jedyne zadania jakie rozwiązał z naszego testu to te dwa łatwe z matematyki i drugie z moralności, ale to też naciągane. Tym samym to wynik słabszy nawet od Gemini. Ma sobie rzekomo radziś świetnie z RAG, ale nawet według ich własnych testów robi to gorzej niż GPT-4 + w ich własnym interfejsie RAG nie działa wcale - po dołączeniu pliku, model twierdzi że go nie widzi (próbowałem kilka razy w różnych instancjach i to samo).🤷‍♂️ Filmu o nim raczej nie będzie 😉

[@tabletek]

​@@SmartTechSynergy Dzięki! Spotkałem się z opiniami, że jako model otwarty może być dobrą alternatywą dla Mistrala, ale widzę, że jest gorzej niż sądziłem. Dobra robota.

[@jaromaz]

Zadanie z zabójcami nie jest do końca błędem - informacyjnie model zakłada, że chodzi o żywych/aktywnych zabójców. We modelu jest 4 zabójców i jeden niegroźny trup :) Poproś do testów o ścianę z odmianą na końcu. On bierze pytanie dosłownie (plus konwersja z angielskiego) - trzeba traktować model trochę jak osobę z aspergerem, być precyzyjnym.

[@SmartTechSynergy]

Istotą tych testów jest właśnie to żeby sprawdzić jak dobrze modele radzą sobie z rozumieniem zadania, w tym dorozumieniem rzeczy dla człowieka oczywistych (albo przynajmniej możliwych do domyślenia się). Zadania są napisane celowo w taki sposób. Co do zabójców - to nie jest też pełna odpowiedź, dlatego za brak uwzględnienia martwego jest połowa punktów. Założenie że chodzi wyłącznie o żywych jest sztuczne, nie ma go w zagadce. Na tym polegają zagadki, że wpadamy w pułapki błędnych założeń. 😉

[@Mogget1234]

@@SmartTechSynergy Może pułapką tej zagadki jest właśnie to że im bardziej próbujemy być sprytni tym większa szansa że podamy błędną odpowiedź??? Moim osobistym zdaniem na pytanie "ile jest teraz zabójców w pokoju" można odpowiedzieć tylko w jeden sposób, że jest ich 4. Już tłumaczę dlaczego tak uważam. Zmieńmy trochę treść zadania na "W pokoju jest 4 lekarzy, jeden umiera ile jest lekarzy". Moim zdaniem jest 3 lekarzy i jeden martwy człowiek który BYŁ lekarzem. Chyba że zmartwychwstanie i jeszcze kogoś wyleczy ;) Wydaje mi się że kluczowy jest tutaj czas teraźniejszy i słowo JEST. Tak samo jak o martwym lekarzu nie powiemy że JEST lekarzem bo już raczej nikogo nie wyleczy tak też nie można o martwym zabójcy mówić że jest zabójcą. Można powiedzieć że był zabójcą. Niektóre określenia mają sens tylko do śmieci później już należy raczej mówić o nich w czasie przeszłym.

[@Mogget1234]

@@SmartTechSynergy Oczywiście że jak powiesz sobie że jest "5 zabójców tylko 1 martwy" to potwierdzisz swoją tezę że jest ich 5, ale to moim zdaniem wynika z braku precyzji naszego języka potocznego. Dla mnie jest "4 zabójców i jeden trup który był zabójcą (go już nie ma, nie bardzo wiemy czy coś jest po śmieci więc może go już w ogóle nie być, może gdzieś jest jego dusza kto to wie)". Zgadzam się z Jaromaz. Trup to były zabójca

[@SmartTechSynergy]

Czy jest dalej zabójcą skoro nie żyje to już filozoficzne rozważania. Dla mnie jedno jest pewne - wskazanie że martwy zabójca nadal jest w pokoju, tylko martwy to pełniejsza odpowiedź, bardziej precyzyjna. Sam napisałeś że język jest nieprecyzyjny i można to rozumieć na dwa sposoby, a skoro tak to sądzę, że obydwa sposoby rozumowania powinny być ujęte w odpowiedzi.

[@SuperAliensss]

Ciekawe porównanie - aż się sam skusiłem o zadanie pytania teologicznego ... i żaden z modeli nie był w stanie udzielić mi choćby zadowalającej odpowiedzi ... sprawdź sam ;)

[@SmartTechSynergy]

To dawaj to pytanie (づ๑•ᴗ•๑)づ

[@SuperAliensss]

@@SmartTechSynergy mówisz masz: czy według zasady antropicznej w teorii naturalistycznej Bóg istnieje i gdzie

[@SuperAliensss]

@@SmartTechSynergy mówisz - masz: "czy według zasady antropicznej w teorii naturalistycznej Bóg istnieje i gdzie"

[@xevil21]

Jakim cudem ten film ma aż 20 łapek w górę? Kupujecie polubienia? Bo przecież tylu znajomych nie macie. :D