[딥러닝 기계번역] 시퀀스 투 시퀀스 + 어텐션 모델

  Рет қаралды 37,281

Minsuk Heo 허민석

Minsuk Heo 허민석

Күн бұрын

Пікірлер: 43
@이상인-k9h
@이상인-k9h 4 жыл бұрын
좋은 영상 감사드립니다. 대학생 신분에서 도서, 구글, 유튜브 영상으로 딥러닝을 독할할때 RNN 이후 파트에서 부터는 갑자기 높아진 난이도에 이해가 어려웠었는데, 허민석님의 유튜브 강의를 들으면 항상 쉬운 예제로 개념을 확실히 이해시켜주셔서 공부에 도움이 되고 있습니다. 어느 책이나 영상에서도 이렇게 쉬운 예제를 예로 들어 개념을 이해해주면 좋으련만, 많은 책과 영상에서는 논문의 내용을 중점으로 개념만 소개하는 느낌이라 다소 추상적인 느낌이 들었었는데, "i love you" 한 문장으로 이렇게 이해가 쉬울줄은 몰랐습니다. 정말 감사합니다
@ron1354
@ron1354 Жыл бұрын
정말 감사합니다 ㅠㅠ 모든 영상이 최고입니다
@Angluar
@Angluar 4 жыл бұрын
빛 그자체입니다 감사합니다
@yejinrhee4576
@yejinrhee4576 Жыл бұрын
감사합니다 강의요 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ너무 좋아요 ㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠㅠ
@선택-f5j
@선택-f5j 2 жыл бұрын
깔끔하네요ㅎㅎ 두고두고 보도록 하겠습니다~
@dolggul-p2b
@dolggul-p2b 4 жыл бұрын
갓민석! 갓민석! 갓민석! 갓민석! 갓민석! 갓민석! 갓민석! 갓민석!
@ksjksjgg
@ksjksjgg 2 жыл бұрын
좋은 내용 감사드립니다. 잘 이해되었습니다.
@jr-iu2cs
@jr-iu2cs 4 жыл бұрын
내용이 너무 잘 들어오게 강의해주시는 거 같아요! 다른 영상도 챙겨보겠습니다. 감사드립니다~
@theoremon7024
@theoremon7024 2 жыл бұрын
쉽게 설명해주셔서 감사합니다. attention weight 값들이 어떻게 매 input 마다 중요도를 나타낼 수 있는 건가요? dh1이 들어갔을때의 attention weight와 dh2이 들어갔을때의 attention weight이 각각의 가장 연관성을 어떻게 알고 나타내 주는 것인지 개념적인 이해가 잘 안가네요. 본래 hidden state 값은 각 값들의 연관성, 중요도를 나타내는 것과 무관한 값이 아닌지요..? 제가 기초적인 부분을 놓친거 같기도한데... 참고할만한 내용 있다면 알려주시면 감사하겠습니다. 본 영상을 통해 어텐션에 대한 개념은 너무 잘 알게 되었습니다. 감사합니다.
@최정원-i1z
@최정원-i1z 2 жыл бұрын
안녕하세요. 영상보다가, 강의 내용이 너무 좋아서 바로 멤버쉽 신청했습니다. 다름이 아니라, 시퀀스 투 시퀀스 + 어텐션 (seq2seq2 + attention) ppt로 사용하신 자료가 안보여서요 ㅎㅎ.. 출처 밝히고 참고용으로만 사용하려고 하는데, 혹시 올려주실 수 있으실까요?
@TheEasyoung
@TheEasyoung 2 жыл бұрын
아마 .key 파일로 있을 거예요. 맥에서 만든 자료라서 ppt가 아니라 키노트 파일입니다. 출처 밝히시고 참조용으로 사용하셔도 됩니다. 감사합니다.
@aopt427
@aopt427 4 жыл бұрын
좋은영상 감사드립니다. 덕분에 이해하는데 많은 도움이 되었습니다. 딥러닝 중에서도 RNN계열이 제일 어려운것 같습니다 ㅎ
@hyunjongkim8415
@hyunjongkim8415 3 жыл бұрын
감사합니다 공부하는데 많은 도움이 되었습니다
@김성한-d5l
@김성한-d5l 3 жыл бұрын
좋은 내용 감사합니다!!
@haneulkim4902
@haneulkim4902 3 жыл бұрын
좋은영상 감사합니다. teacher forcing에서 답은 어떻게 가져오는건가요? 애초에 답이 없다면요? 번역 같은경우에도 그럼 애초에 번역본이 있어야 그걸 답으로 사용할수 있는것 아닌가요?
@TheEasyoung
@TheEasyoung 3 жыл бұрын
네, 여기 예제로 드린 teacher forcing은 지도학습입니다. 레이블링된 데이터가 없다면 (애초에 답이 없다면) teacher가 가르쳐줄 것이 없기 때문에 불가능합니다.
@haneulkim4902
@haneulkim4902 3 жыл бұрын
@@TheEasyoung 아하 그렇군요! 감사합니다 :)
@유성현-i5l
@유성현-i5l 3 жыл бұрын
dot-product 어텐션과 바다나우 어텐션의 차이가 정확하게는 무슨 차이가 있을까요? 그냥, st상태를 사용하느냐, st-1상태를 사용하느냐의 차이인것 같은데, 출력계층의 st는 그렇게 중요하진 않을 수 있으니(?), 좀 더 중요할 수 있는 st-1상태에 더 집중하겠다는 의미일까요? 뭔가 한마디로 설명될 적절한 비유를 못하겠네요. ㅠㅠ
@hyunew
@hyunew 3 жыл бұрын
안녕하세요 너무 좋은 강의 감사합니다. 설명을 정말 잘해주셔서 집중이 팍 되고 내용도 쏙쏙 들어오네요. 혹시 제가 ppt이미지 일부를 사용해도 될까요?
@TheEasyoung
@TheEasyoung 3 жыл бұрын
출처 밝혀주시고 사용해주시면 됩니다. 감사합니다.
@abidan88
@abidan88 3 жыл бұрын
많이 배우고 갑니다. 감사합니다!
@oopp5180
@oopp5180 3 жыл бұрын
흠.. 교수한테 아무리 들어도 이해 못하던걸 11분만에 해결됫네 진짜.. 시간도 돈이라 알려주는 분들도 중요하다 생각해요.
@Qwerty254
@Qwerty254 3 жыл бұрын
감사합니다 많이 알아갑니다
@서인재-q7p
@서인재-q7p 3 жыл бұрын
안녕하세요! 좋은 영상 덕분에 개념 이해가 잘 되었습니다. 감사합니다. 아래 올려주신 코랩 링크로 접속이 현재 안돼는것 같은데 링크 한번 다시 올려주실 수 있을까요?? 감사합니다 : )
@gaussian3750
@gaussian3750 4 жыл бұрын
감사합니다.
@qkrdbcjs1209
@qkrdbcjs1209 4 жыл бұрын
안녕하세요! 좋은 영상 너무 감사드립니다. RNN부터 쭉 공부중인데, seq2seq에서부터 디코더 부분이 약간 이해가 안가 질문 남깁니다. 어떻게 하면 (예를 들어) 디코더 부분에서 불어의 예측으로 영어가 나올 수 있는 건가요? 임베딩을 해서 숫자값으로 바꿔주었기 때문인가요? 감사합니다 :)
@TheEasyoung
@TheEasyoung 4 жыл бұрын
번역이라 생각안하고 숫자 계산으로 생각하시면 편할거 같습니다. 학습 데이터의 패턴을 모델이 그대로 학습해서 번역이 가능합니다. 임베딩을 사용했기 때문에 학습 데이터에 없었지만 비슷한 단어로 구성된 문장도 번역이 가능해집니다.
@리브-e7i
@리브-e7i 5 жыл бұрын
안녕하세요. 좋은 강의 감사합니다. 후반쪽에 나오는 그래프에 대해서 궁금한 점이 있어 질문드립니다. 제가 논문을 봤을 때는 s2s+attention 보다는 기존 rnn과 gru의 성능비교차이에 초점을 두어 그래프를 산출한 것으로 알고 있는데, 그것이 s2s+attention 과 어떤 관계인지 궁금합니다. 감사합니다.
@sidfje
@sidfje 5 жыл бұрын
좋은 강의 감사합니다
@hyunew
@hyunew 3 жыл бұрын
text to speech관련 논문도 다루어주실수 있으신가요~ ㅎㅎ
@최성욱-s8d
@최성욱-s8d 3 жыл бұрын
참고 자료에서 코랩 url 연결이 안되는데 확인해주실수 있으실까요!
@dalnara14
@dalnara14 4 жыл бұрын
강의 너무 좋아요! Lstm만으로는 이전 hidden state 내용을 충분히 유지하기 어려워 어텐션으로 보완하는 건가요?
@uncle6186
@uncle6186 5 жыл бұрын
잘 보고 있어요. 쓰신 책도 구입했어요.
@TheEasyoung
@TheEasyoung 5 жыл бұрын
죠르디Jordy 너무 감사드려요! ^^
@clark87
@clark87 5 жыл бұрын
어떤책이지요?
@uncle6186
@uncle6186 5 жыл бұрын
Clark 나의 첫 머신러닝/딥러닝
@clark87
@clark87 5 жыл бұрын
감사합니다
@임재빈-x7j
@임재빈-x7j 3 жыл бұрын
안녕하세요 좋은영상 감사드립니다. 혹시 영상속 ppt 파일 공유하시고 있나요 ??
@TheEasyoung
@TheEasyoung 3 жыл бұрын
커뮤니티 회원님들에게만 읽기모드로만 공유하고 있어요. 다운로드는 불가합니다. 감사합니다!
@Ken-tl2ql
@Ken-tl2ql 5 жыл бұрын
잘 배우고 갑니다. sebject 는 혹시 subject인가요?
@TheEasyoung
@TheEasyoung 5 жыл бұрын
좌절 감사합니다. 오타가 있었네요!
트랜스포머 (어텐션 이즈 올 유 니드)
16:44
Minsuk Heo 허민석
Рет қаралды 82 М.
[딥러닝 자연어처리] BERT 이해하기
13:48
Minsuk Heo 허민석
Рет қаралды 42 М.
The IMPOSSIBLE Puzzle..
00:55
Stokes Twins
Рет қаралды 114 МЛН
ЛУЧШИЙ ФОКУС + секрет! #shorts
00:12
Роман Magic
Рет қаралды 31 МЛН
СКОЛЬКО ПАЛЬЦЕВ ТУТ?
00:16
Masomka
Рет қаралды 1,8 МЛН
[딥러닝 자연어처리] Word2Vec
10:40
Minsuk Heo 허민석
Рет қаралды 53 М.
Transformer 강의 1 - Attention 설명
1:07:16
Lee's Data Science
Рет қаралды 19 М.
08-1: Seq2Seq Learning
23:53
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 9 М.
신경망이란? | 딥 러닝 개론 1
18:34
3Blue1Brown 한국어
Рет қаралды 20 М.
[논문 리뷰] GPT-3
15:02
Minsuk Heo 허민석
Рет қаралды 24 М.
[딥러닝] LSTM 쉽게 이해하기
9:20
Minsuk Heo 허민석
Рет қаралды 72 М.
Attention/Transformer 시각화로 설명
30:02
임커밋
Рет қаралды 19 М.
[논문리뷰] TRANSFORMER : Attention Is All You Need(2017)
17:11
엔자이너TV
Рет қаралды 14 М.
The IMPOSSIBLE Puzzle..
00:55
Stokes Twins
Рет қаралды 114 МЛН