인공지능 연역적 추론의 비밀 (국제 수학 올림피아드 은메달 Alpha Geometry Nature 논문)

Рет қаралды 3,275

범지니

Күн бұрын

Пікірлер: 30

@softandsweet5 2 ай бұрын

기존 LLM들이 어딘가 비어 있다 생각했는데... 이렇게 분해해서 생각할줄은 몰랐네요. 고맙습니다.

@bumjini 2 ай бұрын

@@softandsweet5 저도 영상 준비하면서 알게되서 앞으로 어떤 특징을 발견할지 기대하는 중 입니다. 시청해주셔서 감사해요 🙆‍♂️

@odinban2146 2 ай бұрын

3자릿수 이상 수학적 계산은 거의 지옥급이였어요.. 계사기 자체가 없는 프로그램 느낌 ㅠㅠ ㅎㅎㅎㅎ

@지금여기에-d1u 2 ай бұрын

감사합니다!

@정honey 2 ай бұрын

세상에....이런걸 어떻게 만들었을까....

@bumjini 2 ай бұрын

앞으로 나올 AI 시스템들도 작품에 가까울 거 같아요..! 그래서 기대되는 부분이기도 하고 유튭을 시작한 이유이기도 합니다~!

@hyunkim2172 2 ай бұрын

감사합니다.

@bumjini 2 ай бұрын

@@hyunkim2172 좋은 하루 되세요 :)

@greenfulmay 2 ай бұрын

이 기사 봤는데, 왓슨과 홈즈의 합작품이었군요! 깔끔한 설명 고맙습니다~ 심볼릭 엔진이 궁금해지네요, 기존의 절차적 알고리즘과 유사한 것을 말하는 것은 아닐거같고... :)

@bumjini 2 ай бұрын

@@greenfulmay 사람이 Deduction을 할 수 있다는 사실은 연역적 추론이 유한한 개수의 결정론적 추론이라서, 모든 규칙을 적고 해당 되는지 여부는 induction인 것 같습니다. 오히려 간단한 심볼릭 엔진이 사용되는 거 같아요. 그 과정에서 해를 찾는 과정이 복잡할 거 같긴 합니다!

@MrNezlee 2 ай бұрын

클로드, gpt가 초등학교 수준의 도형 문제들을 잘 못 풀던데. 시각 지능 학습은 덜 된거 같더라고요

@설레임-w8w 2 ай бұрын

확률문제도 잘 못풀더라구요

@angeldoIl 2 ай бұрын

머리가 말랑말랑해지는 느낌이드네요

@bumjini 2 ай бұрын

말랑말랑 말랑카우... 죄송합니다!

@qfniawdko3766 2 ай бұрын

영상 잘봤습니다! 그럼 alphageometry1는 올림피아드 기출을 대상으로 은-금메달 수준의 성능을 보임으로 확인하였고 이를 논문으로 등재했으며 alphageometry2는 1에서 상위 llm으로 갈아끼우고 실제 올림피아드에서 은메달을 달성했다는말인가요??

@bumjini 2 ай бұрын

넵 버전2는 2024년 IMO 은메달을 달성하였습니다. 버전2는 논문으로 나와있지 않고, 블로그에서 Gemini를 사용했다고 적혀있습니다. 제가 이해한 내용으로는 금,은 메달은 등수가 아닌 점수로 결정납니다. 그래서 버전2가 2024년 IMO 문제에서 은메달을 받는 점수를 획득한 것으로 설명이 있었습니다. deepmind.google/discover/blog/ai-solves-imo-problems-at-silver-medal-level/

@qfniawdko3766 2 ай бұрын

@@bumjini 답변 감사합니다:) 1에서 2로 넘어갈때 성능도 성능인데 속도가 빨라진게 실전 올림피아드에서 성과내는데에 한몫을 했나보네요. 1이 오픈소스로 공개되어있긴하지만 하드웨어 리소스가 만만찮게 필요하다고 하던데 범진님은 혹시 실제 구동해보셨을까요?

@bumjini 2 ай бұрын

@@qfniawdko3766 돌려보진 않았습니다. 제가 논문 읽으면서 든 생각은 리소스가 적게 든다 였습니다 [1,2]. 저의 의견으로는 Deduction을 무수히 많이 할 수 있고, construction 부분을 하는 게 사람은 제한적인 반면 GPT는 다양하게 할 수 있어서 성능이 좋은 것 같습니다. Gemini의 성능향상도 construction을 좀 더 좋은 애들로 induction으로 찾아줘서 그런 것 같다는 생각이 들어요. 요약하자면, construction을 좋은 샘플로 하기 위해서 큰 모델을 사용하면 리소스가 많이 드는 것 같습니다. 기하학의 Deduction 추론 부분은 룰 기반이라서 크진 않을 거 같은데, 정말 무수히 많은 룰이라면, 그 때는 하드웨어 스펙이 크게 필요할 거 같습니다. [1] Deduction은 CPU 찾아도 충분히 빠름. We use the method of structured DD10,17 for this purpose as it can find the deduction closure in just seconds on standard non-accelerator hardware [2] GPT-2 연산에 V100 사용 given four parallel copies of the GPU V100-accelerated language model

@qfniawdko3766 2 ай бұрын

@@bumjini 제가 github에서 확인한결과 250개의 워커수를 가진 cpu와 v100 4개로 구동하여 실제 올림피아드 은-금메달 수준의 결과를 얻었다고 확인하였는데 맞을까요?

@sudo3648 2 ай бұрын

심볼릭 엔진도 디덕션 데이터셋 가지고 뉴럴넷 넣어서 학습하는 구조면 이 또한 귀납적 추론 아닐까요?

@bumjini 2 ай бұрын

@@sudo3648 엔진도 LLM으로 학습시킬 수 있을 거 같아서, 그 경우면 귀납적 추론이 맞는 거 같습니다! 영상에 점수 부분에 finetuing이 LLM이 deduction dataset으로 추가 학습한 결과인데, deduction을 학습하면 더 전체 성능이 높아지더라고요. 21점 -> 23점

@sudo3648 2 ай бұрын

@@bumjini 그래서 설명 듣다가 이게 연역적 추론 모델이 맞나? 의구심이 들긴했습니다!

@bumjini 2 ай бұрын

@@sudo3648 피타고라스 정리를 예로 들면, 직각 삼각이다는 정보가 주어지면, 빗변 제곱은 나머지 변의 제곱이라는 지식이 무조건 튀어나오는 거라서, 연역은 튀어나오는 부분만 모델링 되어 있어서, 사실상 추론이라고 부르기 애매하기도 할 수 있을 거 같네요. 그래서 논문에서도 연역 데이터 베이스라는 용어를 쓰더라고요!