08-2: Transformer

  Рет қаралды 27,045

서울대학교 산업공학과 DSBA 연구실

서울대학교 산업공학과 DSBA 연구실

Күн бұрын

Пікірлер: 19
@dannykim4159
@dannykim4159 Жыл бұрын
트랜스포머 강의 몇가지 봤는데 최고의 강의입니다
@heecheolcho3246
@heecheolcho3246 4 жыл бұрын
26분40초경에 self attention을 거친 값이 feed forward network으로 들어가는 과정을 설명하고 있습니다. 이때, 각 token이 거치는 feed forward network의 weight가 서로 다른 것으로 설명하고 있습니다. 이 부분은 잘못된 설명입니다. 공유되지 않는다면 dense layer를 token의 길이만큼 만들어야 하는데, 그렇게 하지는 않습니다. 각 feed forward에서는 (weight가 공유되는) 하나의 dense layer를 거치게 됩니다. 물론 6개의 encoder 각각에서는 weight가 공유되지 않습니다. 정정: 49분 경에 다시 정정하시네요. 끝나지 보지 못하는 분도 계실 수 있으니, 이글을 삭제하지는 않겠습니다.
@Srcb-q7s
@Srcb-q7s 24 күн бұрын
20:21 이 matrix는 어떻게 계산된건가요?
@tTunes-2024
@tTunes-2024 10 ай бұрын
상세한 설명 감사합니다~
@hpcmanleechangsung253
@hpcmanleechangsung253 5 ай бұрын
좋은 강의 감사드립니다. Q,K,V 들의 초기값 셋팅은 어떻게 하나요? 그냥 Random Number 로 생성하게 되는지...궁금합니다..
@류지원-o5r
@류지원-o5r 6 ай бұрын
훌륭한 강의 정말 감사합니다!
@yubii02
@yubii02 3 жыл бұрын
복잡하게 느껴졌던 트랜스포머가 정리가 되었습니다. 감사합니다.
@parkie0517
@parkie0517 Жыл бұрын
좋은 강의 정말 감사합니다!
@jinho6346
@jinho6346 3 жыл бұрын
좋은 강의 고맙습니다 ㅎ 교수님이 생각하시기에 논문을 잘 익히는 방법은 무엇이 있다고 생각하시나요? 우선 해당 논문 다시보고 발표자료도 만들어보고 발표도 해보았는데 아직 부족하다 생각듭니다 논문 구현까지하면 충분히 익힐 수 있을까요? 아니면 그 외에 다른 이면을 봐야할것이 있을까요?
@이수진-g9t5j
@이수진-g9t5j 4 жыл бұрын
너무 좋은 강의 감사합니다
@TV-ez7wc
@TV-ez7wc 2 жыл бұрын
상세하고 친절한 설명 감사드립니다. 교수님~^^
@정혜인-g6u
@정혜인-g6u 3 жыл бұрын
혼란스러웠던 부분이 많이 정리되었습니다 정말 감사합니다ㅠㅠ
@독자적인이름
@독자적인이름 10 ай бұрын
최고중 하나
@deepwavv
@deepwavv 3 жыл бұрын
자세하고 자상한 설명 감사합니다 🙏!!
@소읽남
@소읽남 2 жыл бұрын
대박... 설명 최곱니다.
@오종필-y5d
@오종필-y5d 7 ай бұрын
잘보고갑니다 😮
@aaannn9407
@aaannn9407 3 жыл бұрын
양질의 강의 정말 감사합니다! :)
@hojinius
@hojinius 2 жыл бұрын
정말 감사합니다!!!
@heecheolcho3246
@heecheolcho3246 4 жыл бұрын
사소한 오타: Alamar --> Alammar
08-3: ELMo
29:04
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 6 М.
08-1: Seq2Seq Learning
23:53
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 10 М.
Cheerleader Transformation That Left Everyone Speechless! #shorts
00:27
Fabiosa Best Lifehacks
Рет қаралды 16 МЛН
Гениальное изобретение из обычного стаканчика!
00:31
Лютая физика | Олимпиадная физика
Рет қаралды 4,8 МЛН
The Best Band 😅 #toshleh #viralshort
00:11
Toshleh
Рет қаралды 22 МЛН
[논문리뷰] TRANSFORMER : Attention Is All You Need(2017)
17:11
엔자이너TV
Рет қаралды 14 М.
08-5: BERT
38:35
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 21 М.
[Paper Review] Attention is All You Need (Transformer)
53:10
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 15 М.
Attention/Transformer 시각화로 설명
30:02
임커밋
Рет қаралды 23 М.
Attention in transformers, visually explained | DL6
26:10
3Blue1Brown
Рет қаралды 1,9 МЛН
08-4: GPT
22:20
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 11 М.
[Paper Review] ViT: An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale
26:33
서울대학교 산업공학과 DSBA 연구실
Рет қаралды 9 М.
The math behind Attention: Keys, Queries, and Values matrices
36:16
Serrano.Academy
Рет қаралды 268 М.
Query, Key and Value Matrix for Attention Mechanisms in Large Language Models
18:21
Machine Learning Courses
Рет қаралды 10 М.