AI의 추론, 가능할까? (Let's Verify Step by Step 분석)

Рет қаралды 18,636

Күн бұрын

Пікірлер: 79

@hw3638 Жыл бұрын

업계에 근무중인 연구원이자 인공지능학과 파트타임 박사과정입니다만.. 도대체 뭐하시는 분이길래 이렇게 논문을 쉽게 풀어서 말씀하실 수 있는거죠 .... 순간 친절한 인도형님 채널에 온줄 알고 당황했습니다. 논문 리뷰 유튜브인가했는데 심지어 딥테크 경제 유튜버.... 지적 능력에 반하고 갑니다 RLHF부터 액티브 러닝까지.. 정말 쉽고 정확한 설명입니다.

@선형소수 Жыл бұрын

진짜요...... 저도 입벌리고 듣는 중입니다

@GlobalYoung7 Жыл бұрын

A.I 가 아닐까 의심하고 있습니다. ㅎㅎㅎ 백색나무는 천재이십니다. ㅎ

@BWI723 Жыл бұрын

현업에서 AI가 많이 사용되지 않는 이유는 아직 추론능력이 부족해서이다. 현재 가장 뛰어나다고 평가되는 GPT-4 조차도 할루시네이션 문제 때문에 추론능력은 낮은 수준이라고 평가되고있다. 그럼 AI 추론능력을 향상시키기 위해서는 어떻게 해야할까? 이에 대한 해결방안으로 두 가지 다른 관점이 대립하고있다. 첫 번째는 현재 LLM의 기반인 트랜스포머 모델로 인간수준의 추론능력을 갖추기에는 근본적인 문제가 있고 이를 해결해기 위해서는 새로운 모델과 알고리즘이 개발되어야 한다는 일반적인 학계의 주장. 두 번째는 현재 트랜스포머 모델을 기반으로 적절한 학습방식을 개발 하여 사용한다면 추론능력이 크게 향상될 수 있다는 OPEN AI, deepMind, 하버드 연구팀의 주장이 있다. 해당 영상에서는 트랜스포머 모델의 추론능력 향상을 위해 '과정 감독 학습'을 도입하고 그 결과를 보여주는 OPEN AI의 '단계별로 알아보자' 라는 논문을 소개한다. '과정 감독 학습'은 강화학습 방식으로 모델이 정답을 도출할 때 추론 과정을 3단계로 쓰게 하고 그 과정을 전부 평가한 결과를 기반으로 학습을 시킨다. 해당 모델은 MATH라는 중,고급 난이도의 수학문제와, 중간 풀이과정, 정답이 포함된 데이터셋으로 실험을 진행하였다. 이 논문을 이해하기 위해서는 3가지 실험 모델을 이해해야한다. 모든 모델은 GPT-4 모델을 기반으로 만들어졌다. 1. generater: 주어진 문제에대해 가능한 정답을 n개 생성해내는 모델이다. 정답을 도출할 때 추론과정도 포함하도록 만들었으며, n개의 답 중 적어도 1개 이상의 정답을 낼 수 있을 정도로만 학습 시켰다. 2. '과정 감독 학습 모델': generator 가 생성해낸 정답의 추론 과정 각 단계를 긍정,부정, 중립으로 평가한 결과를 도출하는 모델이다. 해당 모델은 액티브 러닝과 인간의 피드백으로 학습 시켰다. ' 3. '결과 감독 학습 모델': generator 가 생성해낸 정답만을 가지고 자신이 생성해낸 결과와 비교하여 평가결과를 도출하는 모델이다. 이 중 '과정 감독 모델'의 학습 방식은 다음과 같다. 1) 제너레이터가 생성한 답안을 채점하게 한다. 2) 채점결과를 기반으로 액티브 러닝을 통해 얼마나 채점을 잘 했는지 평가하여 추론의 정확성을 높이는 방향으로 다시 학습시킨다. 논문의 결과 '과정 감독 모델'의 정답률이 가장 높았다. 추론의 각 단계의 정확도를 높이면 당연히 결론도 정확해지는 것이었다. 그래서 각 추론 단계를 평가하여 추론능력을 향상시킨 과정 감독 모델이 수학 문제 해결의 정확도 측면에서 다른 모델들 보다 훨씬 높은 성능을 보여줬다. *특히 더 놀라운 점은 수학 문제를 통해 추론의 정확성을 높였더니, 물리, 화학, 미적분학과 같은 다른 문제의 정답률 또한 유의미하게 상승했다는 것이다. 추론의 과정을 올바르게 학습시키는 정렬 기술을 활용하면 인공지능의 추론능력 향상에 기여할 수 있음을 보여준 논문이다. ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 개인적으로는 인간의 추론능력을 향상 시키는 방법과 유사한 것 같아 재미있게 봤습니다. 우리가 수학을 모든 학생이 배우는 이유는 추론능력과 논리적인 사고능력을 키우기 위해서입니다. 이러한 추론과정의 연습을 통해 다른 문제 상황에서도 논리적으로 추론할 수 있는 능력을 키우는 것이죠. 그리고 우리가 수학을 공부할 때 정답만을 보고 공부하는 것 보다 자신의 풀이과정이 선생님과 정답지의 풀이과정과 어떻게 다른지, 어느 추론 과정에서 오류가 발생한 것인지를 공부해야 수학적 사고능력이 올라간다는 점에서도 인간의 학습과 유사함을 느꼈습니다. 학교 교사로서 이 영상을 통해 어떻게해야 사고력을 높이는 교육을 할 것인지에 대한 구체적인 아이디어를 얻을 수 있었습니다. 정말 감사드립니다.

@asdf-v8z 3 ай бұрын

정말 훌륭한 글입니다. 많은 도움이 되었습니다

@Moonsung0428 Ай бұрын

하....감사합니다. 이런 귀한 양식이 있었군요.

@LipSang-l1s Жыл бұрын

진짜 이 채널은 대성해야 한다….❤

@루루-z4l Жыл бұрын

감사합니다.

@ynlee7 Жыл бұрын

유튜브 전체에서 딱 한 채널만 고르라면 저는 백색나무를 선택하겠습니다.

@감자튀김맛있다-i4u 11 ай бұрын

감사합니다

@cooki3monst3r Жыл бұрын

러닝타임 내내 홀린듯 보았습니다. 접근하기 쉽지 않은 논문 내용에 대해, 빛이 나는 설명, 너무 감사합니다.

@idgmatrix Жыл бұрын

인공지능 연구는 "믿음의 게임"이라는 말에 크게 공감합니다.

@user-yu7979 Жыл бұрын

기다렸습니다. 귀하고 귀한 자료 감사합니다

@oiojin831 Жыл бұрын

진짜 요즘은 현업이 멀어져서 아무것도 모르는데 백색나무님 영상보면 어떻게 돌아가는지 도움이 믾이되네요😊😊😊

@cheesebombjalapeno Жыл бұрын

누나 도대체 뭐하시는 분인가요? QnA 한번 해주세요 ㅋㅋ

@김성태-l3g Жыл бұрын

AI 분야는 정말 뛰어난 인재들이 굉장한 속도로 치열한 경쟁하는 곳이네요. 무섭다 무서워.

@광광이-i9t Жыл бұрын

와아 진짜 최고네요 .. 많이 배우고 갑니다 !!

@나구리구리-o5t Жыл бұрын

오 백색나무님 정리 올만에 넘 귀하네요!! 감사합니다😊

@jm7783 Жыл бұрын

너무 감사히 잘 보고 갑니다

@SRC-n4j Ай бұрын

결국 추론모델 o1이 나왔습니다. 백색나무님 그립습니다.ㅠ

@seoul_Jin500 Жыл бұрын

도대체 어디 소속이실까요? 단어 하나하나 신경쓰신 것이 보입니다. 너무 감사합니다.

@선형소수 Жыл бұрын

어제도 듣고, 오늘도 한번 더 들으러 왔습니다!!! 이해 될때까지 계속 반복하려고요 ㅎㅎㅎ 좋은 논문 소개 감사합니다

@선형소수 Жыл бұрын

주말에도 듣고있습니다. 믿음의 게임이라는 이야기가 참... 요즘 유행중인(?) 시각화, 동기부여 자기계발, 인지과학 등등을 떠올리게 하기도 하네요. 이 시기에 정말 꼭 필요한 논문을 쉽게 설명해주셔서 매일 들을때마다 감사함을 느끼고 있어요!

@nono-gw7hb Жыл бұрын

하... 문송합니다 ㅠ 너무 귀한 영상인데 정신이 혼미해져서요. 매일매일 조금씩 볼게요 흑흑

@Forevermydream2024 Жыл бұрын

알고리즘 온톨로지 메타인지...이런 단어들이 인공지능의 세계로 날 인도했다. 한참 공부해야겠다 ㅠ😢 대단한 컨탠츠다. 대학이 민망하겠다. 명문대 박사급 논문을 유튜브로 등륵금 없이 듣다니. 선한 영향력 영원히 강화하시라. 높은 라벨 드림dream

@jooyoungpark9421 Жыл бұрын

빛나는 지성으로 꼼꼼히 챙겨서 전해준 소중한 내용 감사합니다!

@lIIllIIIllIIl Жыл бұрын

재능기부 감사합니다!

@보노보노-f1v Жыл бұрын

한국탑채널❤

@woody2873 Жыл бұрын

백색누나 다른 논문도 읽어줘.. 너무 유익하다..

@신종우-g8p Жыл бұрын

일전에 비트코인 때부터 팬이 되어서 영상 잘보고있습니다. 탁월한 분석력, 해설 능력, 사용자의 눈높이에 맞는 설명까지 정말 감사합니다..

@oiojin831 Жыл бұрын

진짜 ㅎㄷㄷ 하네용

@AI_Era23 Жыл бұрын

오늘부터 OpenAI에 더 관심이 가겠네요 논문을 논문으로 만드시는 능력 부럽습니다 재능기부가 보람으로 돌아간다면 팬으로서 뿌듯할거 같네요^^

@youngsooyi7481 Жыл бұрын

와... 찢었다.

@쓰마이-l7v Жыл бұрын

누나 감사해요 팬이에요

@SRC-n4j Жыл бұрын

산을 옮기는 믿음이네요. 영상 감사합니다.

@무상인생-r4t 7 ай бұрын

쓸데없이 ai가 인류망하게할거니 뭐니 불안해서 떠드는 사람들속에서 주옥같은 영상제작자다..

@루루-z4l Жыл бұрын

님들 광고라도 많이 눌러주시길.. 석박사 강의때도 못듣는 얘기 많이 나오는거 같네요

@plasmalife Жыл бұрын

추론과 창조 사이에는 무엇이 있는 건가요? 스피노자의 렌즈가 태양계에 설명에 도움을 주었던 것처럼 정신의 발전에 물질의 발전도 동행 해야 하지 않나 생각 드네요 ,20세기는과학의시대 21세기는 융합의 시대라고 누가 하던데!, 백색나무 님 이, 너무 궁금하네요 ! 정말 감사합니다

@Alice_Playground Жыл бұрын

👏👏👏👏👏👏👏👏

@SNBY-mn5xi Жыл бұрын

믿음

@inging22zz 25 күн бұрын

누나 어디갔어요

@user-vg9uk3fh9y Ай бұрын

님이 ai아님? 설명 개잘하네;;;

@junhyeongjunhyeong 3 ай бұрын

Prm은 그냥 DAgger 아닌가?ㅋㅋ orm은 좀 더 약한 behavioral cloning 같아 보이는데

@내가옳아 Жыл бұрын

너무 맛있다 증말

@누군가-s1y Жыл бұрын

진짜 뭐하는 분이시죠?? 이분

@kimri123 Жыл бұрын

AI 볼때마다 제2의 블록체인, 제2의 메타버스 보는거 같음. 진정한 AGI가 아니면 결국 더 날카로운 칼에 불과할 뿐 총으로의 혁명이 될 수 없음.

@Eric_Cartman001 Жыл бұрын

풉

@Qmxire Жыл бұрын

@@Eric_Cartman001 아이러니하게 인공지능 발전에 도움안되는 부류가 타인의 주장은 비웃는 이런 광신도들임

@jeopalgye 3 ай бұрын

와드

@cheesebombjalapeno Жыл бұрын

이 영상보고 솔직히 뭔소린지 이해하는 사람 10명중에 1명도 안될거 같은데 ㄹㅇㅋㅋ 뭔소리하는지 하나도 모르겠어요. 쉽게 말해주세요 누님

@PPongPong Жыл бұрын

진화 자체가 자연의 추론이야... 추론이 인간만 가능한거라고? 웃기지 좀 마..

@whowho1693 Жыл бұрын

하지만 결국 통계에 기반한 추론 능력 아닐까요....? 근데 사실 근본적 문제는 학문의 근본ㅋㅋㅋ이 약간 발견의 영역이라는 데 있을 거 같음.... 이게 통계적으로 잡힐 거 같지 않음..... 약간 통계에서 벗어나 있는 것들을 가치있다고 여기니깐 예를 들어서 기존 방식으로 모델링 한 AI보고 오일러 공식 모르는 상태에서 유도하라고 하면 못하지 않을까? 될까?? 모르겠넹... 복소수에 대해서 지수함수와 삼각함수가 변환가능 하다던데 알려줘 ㅋㅋㅋ 라고 대놓고 알려줘도 못할 거 같고.... 무에서 찾는다고 해도 엄청나게 많이 나오는 수식 중에 뭐가 중요한 지 판단할 수도 없을 거 같고.. 하지만 어쨌거나 대학생 수준 지능을 갖추는 것은 쌉가능이니 뭐 ㅎㄷㄷ은 맞

@whowho1693 Жыл бұрын

기존의 수학적 정리들을 분석했을 때 어떤 공통점이 있다면..... 앞으로 AI가 노가다로 ㅋㅋㅋㅋ 찾게 할 경우에 딥러닝이 이걸 판별해낼 수 있을 거 같다는 생각이 갑자기 드네 ㅋㅋㅋㅋ 흠....? 갑자기 긍정론?? 데이터 셋과 그 지도 방향의 문제일 수도?? 요 논문의 주제와도 관련있?ㅋㅋㅋ