[ENG SUB] BART paper review

딥러닝논문스터디 - 92th
myung hoon's BART : Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension' .
contact : [e-mail]

[@hyungrak.kim_ko5555]

발표자료를 공유해주실수 있을까요?

[@박준형-x2f3t]

bart에는 5가지의 pre-training 기법이 적용된다고 하셨는데, 구체적으로 어떤 기법이 학습에 어느정도의 비율을 차지하는지 알 수 있을까요??

[@jinmang2]

24분 57초에 Table을 보시면 5가지 corrupt function을 전부 조합해서 학습시키는 것이 아니라 각각의 방식을 적용해서 학습시키는 것을 확인하실 수 있습니다! kobart는 공식 레포를 보면 text infilling으로만 학습시켰다고 언급되고 있구요! 제가 발표에서 언급드린 flexibility 때문에 헷갈리실 수 있을 것 같은데 논문의 주장일 뿐 실제로는 Text Infilling 위주로 학습시키는 것 같습니다 !! source code에서도 if절로 나뉘어서 sample을 어떻게 corrupt시킬지 분기가 존재하거든요!!

[@자연어천재만재]

설명 너무 좋고, 발표자님이 굉장히 명료하게 말씀해주셔서 하나하나 놓칠 수 없을 정도입니다. 감사드립니다!