[Paper Review] ORPO: Monolithic Preference Optimization without Reference Model

  Рет қаралды 271

서울대학교 산업공학과 DSBA 연구실

서울대학교 산업공학과 DSBA 연구실

Күн бұрын

발표자 : 서울대학교 산업공학과 DSBA 연구실 박사과정 김재희
1. 논문 제목 : ORPO: Monolithic Preference Optimization without Reference Model (COLM 2024) arxiv.org/abs/...
2. 인용 수 : 39회 (2024년 09월 29일 기준)
3. 요약
Policy Model만 필요로 하는 Preference Learning 방법론 제안
SFT 단계에서 적용가능한 Odds Ratio 기반 Penalty term 제안
DPO, RLHF 대비 높은 instruction following 및 preference learning 성능

Пікірлер: 1
@EmiliaPniewski
@EmiliaPniewski 2 күн бұрын
예측해 주셔서 감사합니다! 주제와 약간 동떨어진 질문이 있습니다: SafePal 지갑에 USDT가 있으며, 복구 문구를 가지고 있습니다. (behave today finger ski upon boy assault summer exhaust beauty stereo over). 이들을 Binance로 옮기는 방법을 설명해 주실 수 있나요?
[Paper Review] AnomalyCLIP: Object-agnostic Prompt Learning for Zero-shot Anomaly Detection
36:40
[Paper Review] AnomalyCLIP: Object-agnostic Prompt Learning for Zero-shot Anomaly Detection
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 167
[Paper Review] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
33:36
[Paper Review] The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 378
ЭТО НАСТОЯЩАЯ МАГИЯ😬😬😬
00:19
ЭТО НАСТОЯЩАЯ МАГИЯ😬😬😬
Chapitosiki
Рет қаралды 2,2 МЛН
🍉😋 #shorts
00:24
🍉😋 #shorts
Денис Кукояка
Рет қаралды 3,7 МЛН
规则，在门里生存，出来~死亡
00:33
规则，在门里生存，出来~死亡
落魄的王子
Рет қаралды 27 МЛН
From Small To Giant Pop Corn #katebrush #funny #shorts
00:17
From Small To Giant Pop Corn #katebrush #funny #shorts
Kate Brush
Рет қаралды 72 МЛН
힘들게 입사한 대기업 퇴사하는 이유 f.마인드마이너 송길영 1부 [신과함께]
50:19
힘들게 입사한 대기업 퇴사하는 이유 f.마인드마이너 송길영 1부 [신과함께]
삼프로TV 3PROTV
Рет қаралды 337 М.
[#라디오스타] 마선호씨 원래 이렇게 도라희셨나요? 촬영하다 말고 가디건 불에 태우고 눈싸움 시비 걸고...🤣 역대급 예능 욕망남의 탄생 | #마선호 MBC240110방송
19:25
[#라디오스타] 마선호씨 원래 이렇게 도라희셨나요? 촬영하다 말고 가디건 불에 태우고 눈싸움 시비 걸고...🤣 역대급 예능 욕망남의 탄생 | #마선호 MBC240110방송
엠뚜루마뚜루 : MBC 공식 종합 채널
Рет қаралды 1 МЛН
[Paper Review] Affective-NLI: Towards Accurate Interpretable Personality Recognition in Conversation
29:16
[Paper Review] Affective-NLI: Towards Accurate Interpretable Personality Recognition in Conversation
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 139
GPT-4o보다 느리고, 정리는 못해도 o1의 파급력이 더 큰 이유 (강정수 박사)
32:37
GPT-4o보다 느리고, 정리는 못해도 o1의 파급력이 더 큰 이유 (강정수 박사)
티타임즈TV
Рет қаралды 20 М.
예수가 처형된 진짜 이유 f.김학철 연세대학교 학부대학 교수 [더 릴리전]
51:15
예수가 처형된 진짜 이유 f.김학철 연세대학교 학부대학 교수 [더 릴리전]
삼프로TV 3PROTV
Рет қаралды 595 М.
Transformer-based Multivariate TimeSeries Anomaly Detection using Inter-Variable Attention Mechanism
36:13
Transformer-based Multivariate TimeSeries Anomaly Detection using Inter-Variable Attention Mechanism
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 418
[Paper Review] GLAD
29:12
[Paper Review] GLAD
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 149
"AI의 미래에 있어 LLM이 전부가 아니라는 것 아시죠?" (30년 개발자 박종천)
31:48
"AI의 미래에 있어 LLM이 전부가 아니라는 것 아시죠?" (30년 개발자 박종천)
티타임즈TV
Рет қаралды 8 М.
엔비디아, 테슬라, 빅테크의 파티는 아직 끝나지 않았다 f. 댄 아이브스 웨드부시 증권 애널리스트
34:30
엔비디아, 테슬라, 빅테크의 파티는 아직 끝나지 않았다 f. 댄 아이브스 웨드부시 증권 애널리스트
삼프로TV 3PROTV
Рет қаралды 97 М.
[Paper Review] Koopman Neural Operator Forecaster for Time-series with Temporal Distribution Shifts
49:15
[Paper Review] Koopman Neural Operator Forecaster for Time-series with Temporal Distribution Shifts
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 172
ЭТО НАСТОЯЩАЯ МАГИЯ😬😬😬
00:19
ЭТО НАСТОЯЩАЯ МАГИЯ😬😬😬
Chapitosiki
Рет қаралды 2,2 МЛН