![[Deep Learning 101] ResNet 잔차신경망이란? (feat.기울기소실문제)](/img/o.gif)
3 ай бұрын
4 ай бұрын
4 ай бұрын
6 ай бұрын
7 ай бұрын
7 ай бұрын
8 ай бұрын
10 ай бұрын
10 ай бұрын
11 ай бұрын
Жыл бұрын
Жыл бұрын
Пікірлер
@jackykim428 Күн бұрын
아주 좋은 설명 감사합니다. 한가지 첨언 하자면 귀무가설을 모르는분들을 위해 귀무가설에 대한 설명을 해주시면 더 좋을 것 같습니다
@flyhigh509 Күн бұрын
p값을 통한 분석도 결국에는 인과관계보다는 상관관계에 더 치우친 해석아닌가요?
@phdshinAI Күн бұрын
네 그 부분도 맞습니다. 엄밀히 말해서 p-value는 인과관계와 상관관계를 떠나서, 단순히 두 집단간의 통계적 유의성을 평가하는데 사용되는 지표입니다. 인과관계를 밝히기 위해서는 p-value와 더불어 엄정한 실험설계, 관련 연구, 다양한 수렴증거, 반복연구등이 필요합니다. 짧은 영상에서 여러 개념들을 한번에 다루려다 보니 그런 부분에 대해 설명이 미흡해 보였는데, 이렇게 확인해주셔서 감사합니다!
@beryl022 Күн бұрын
기대됩니다!
@phdshinAI Күн бұрын
넵 감사합니다. 쉽고 재미있는 영상을 열심히 준비하도록 하겠습니다!
@HennryK-c5s 2 күн бұрын
덕분에 GAN을 처음으로 이해할 수 있게 됬어요.
@phdshinAI Күн бұрын
도움이 되셨다니 저도 기쁩니다. 감사합니다!
@sky_all 2 күн бұрын
정말 기대되는 시리즈예요. 감사합니다.
@phdshinAI Күн бұрын
넵 감사합니다! 열심히 준비하도록 하겠습니다. 많은 시청 부탁드립니다
@honon-cs2wl 2 күн бұрын
신이네요❤
@phdshinAI Күн бұрын
앗..네.. 더 열심히 준비하도록 하겠습니다.
@iridium3 2 күн бұрын
최고의 선생님 항상 감사합니다
@phdshinAI Күн бұрын
넵 시청해주시고 격려해주셔서 감사합니다!
@혜성이-s9v 3 күн бұрын
EOS를 디코더에 넣는 이유는 reverse word로 context를 더 잘 이해하기 위한 거 아니었나요?
@phdshinAI 3 күн бұрын
네 안녕하세요. 질문 감사드립니다. 제가 질문을 잘 이해한 것인지는 모르겠지만, 보통 EOS 토큰을 사용하는 주된 이유는 시퀀스의 끝을 명확히 표시하기 위함입니다. 이는 모델이 언제 생성을 멈춰야 할지 알 수 있게 해줍니다. 저의 영상에서는 디코더의 경우, 문장 생성을 시작한다는 의미로 SOS의 역할을 겸하기도 해서 그렇게 예로 든 것입니다. 그리고 reverse word는 일부 Seq2seq 모델에서 사용되는 별도의 기법입니다. 이는 주로 인코더 부분에서 적용되며, 장기 의존성(long-term dependencies)을 더 잘 포착하기 위해 사용됩니다. 제가 reverse word를 듣기는 했어도, 직접 해본 적은 없고 잘 몰라서 그것이 디코더에서도 사용되는 지는 잘 모르겠습니다. 큰 도움이 되지 못해 죄송합니다. 감사합니다.
@MrJackkim 5 күн бұрын
정말 훌륭한 강의에 감사의 말씀을 드립니다. 개인적으로 늦은 나이에 다시 공부하는 데 많은 도움이 되고 있습니다.
@phdshinAI 5 күн бұрын
넵 도움이 되셨다니 기쁩니다! 그리고 LinkedIn에서도 신청해주셔서 감사합니다. 하시는 일 모두 순적하게 번창하시길 기도합니다. 감사합니다!
@vd874 5 күн бұрын
t대박.. 감사합니다!
@phdshinAI 5 күн бұрын
도움이 되셨기를 바라며.. 앞으로도 많은 시청 부탁드립니다!
@지월목박 10 күн бұрын
만드신 자료는 참고하여 공부하는데 많은 도움이 되고 있습니다. 한가지 질문사항은 w5를 미분한 값이 -0.1이 나오는데, 새로운 연결강도에서는에 대입할때는 +0.1으로 되어있어서 음수에서 양수로 변화되는것인지 질문드립니다. 너무 초보적인 질문이라서 죄송합니다.
@phdshinAI 8 күн бұрын
안녕하세요 네 시청 감사드립니다. 말씀하신 w5를 미분한 값은 14:53부분에서 (영상에서는 -0.01로 되어 있지만 실제로는 -0.1인 부분을 말씀하시는것 같습니다) -0.1인데 대입할 때는 왜 +0.1로 바뀌어지는지에 관해 질문하신 것으로 생각됩니다. 일차적인 답은 delw5/delC에서 -0.1이 맞지만, 그것을 가중치 업데이트 할때는 공식에 보시면 -delw5/delC로 되기 때문에 -(-0.1)이 되어 +0.1이 되는 것입니다. 이차적인 답은 경사하강법의 정의에 의해서 주어진 기울기 값에 반대로 즉 -를 붙여서 가중치 업데이트를 하기 때문에 기울기에 음수를 곱하여 식에 대입하게 됩니다. 그게 공식이 -로 반영이 되어 있는 것이구요. 즉 결론적으로는 미분값에 부호를 바꾸어 기존의 가중치에 더하는 것이 새로운 가중치를 구하는 방법이 되겠습니다. 질문 감사드리고 답변이 되었으면 합니다. 감사합니다.
@동원-i7l 15 күн бұрын
일주일 동안 헤매던게 명쾌하게 이해되네요 감사합니다.
@phdshinAI 14 күн бұрын
네 도움이 되셨다니 저도 기쁩니다!!
@hgg5748 19 күн бұрын
RNN, CNN까지는 괜찮았는데 LSTM은 한번에 이해하기가 어렵네요ㅠ 열심히 공부해서 이해해봐야겠어요. 인공지능 처음 공부하는데 개념설명이랑 연산까지 해주셔서 덕분에 많이 배워갑니다. 좋은 영상감사합니다!!
@phdshinAI 18 күн бұрын
네 안녕하세요. 원래 lstm은 원리를 이해하기가 어려운 구조입니다.. 그래도 열심히 하시는데 도움이 되셨기를 바라며 앞으로 공부하시는데 힘내시길 바래요. 시청 감사드립니다!
@squirrel490 20 күн бұрын
이해가 쉬우면서도 깊은 좋은 강의!
@phdshinAI 19 күн бұрын
넵 감사합니다! 앞으로도 많은 시청 부탁드립니다
@user-sc9rw3ks2g 24 күн бұрын
좋은 강의 감사합니다. SOM이해를 위해 여러번 반복해 보고 있습니다. BMU가 정해지면 시간스텝에 따라 이웃반경이 좁아진다는것은 정해진 BMU위치는 고정되고 epoch마다 계속 가중치 계산을 통해 새로운 가중치를 입력값에 수렴하게 하는 것인가요. 입력값에 수렴하면 BMU를 구하는 거리는 0에 가까워 질것 같은데 그래서 BMU 지점에 거리기준으로 유사한 값들로 재분류하게되는지요. 아니면 epoch마다 새로운 BMU를 다시 정하는지요? 수식은 이해가 되는데. 어떤원리로 분류효과를 가지는지 잘 이해가 안되네요?
@phdshinAI 24 күн бұрын
네 좋은 질문 감사드려요~ 처음에 말씀하신 "BMU 지점에 거리기준으로 유사한 값들로 재분류 하게 되는 것"이 맞습니다. epoch마다 새로운 BMU를 다시 정하는 것은 아닙니다. SOM은 80년대 개발된 초기 신경망의 모델로서 비교적 간단한 알고리즘으로 입력 데이터의 특성대로 분류할 수 있는 모델입니다. 그래서 입력값과 BMU간의 관계를 이용해서 비슷한 입력값일 수록 BMU가 비슷한 위치에 나타나도록 분류하는 것이 특징입니다. 분류효과가 사실 머리속에 잘 그려지지 않을 수 있지만, 하나의 입력값 i에서 BMU를 구하고 그 BMU를 기준으로 이웃에 해당하는 모든 가중치들을 BMU 유닛의 가중치와 비슷하게 '조금씩' 조절하고, 다음 입력값에서 또 BMU를 찾으면 그 이웃에 해당하는 모든 가중치들이 또 그 BMU 유닛의 가중치와 비슷하게 '조금씩' 조절하고.. 이렇게 랜덤으로 들어오는 입력값에 대해 '조금씩' '조금씩' 가중치를 조절하다보면 자연적으로 유사한 입력값들은 그 BMU가 서로 모이게 되는것 같습니다. 비유적으로는 큰 통에 알갱이가 굵은 돌과 중간 돌과 작은 돌을 부어놓은 다음, 조금씩 통을 흔들면 중력에 의해 큰돌은 큰돌끼리 중간돌은 중간돌끼리 작은돌은 작은돌끼리 모이게 되는 그런 상황을 생각해보면 되겠지요. 당장은 머리속에 그 원리가 잘 그려지지 않더라도, 수식과 코드를 보며 중간중간에 debug포인트를 찍어가며 값을 비교해보시면 아마 금방 그 원리를 머리속에 visualize하실 수 있으실 것으로 생각합니다. 좋은 질문 감사드립니다~
@MCK-s6w 27 күн бұрын
감사합니다!!
@phdshinAI 26 күн бұрын
넵 시청 감사합니다!!
@user-sc9rw3ks2g 28 күн бұрын
좋은 강의 감사합니다. 강의 내용중 역전파알고리즘 구현을 구체적으로 설명해주셨는데. 역전파알고리즘의 효과에 대한 이유가. 계산시간 단축인가요? 강의 초반에 다층신경망의 계산시간이 어마어마한 점을 보여주시고. 바로 역전파 알고리즘 해설로 넘어가서. 역전파 알고리즘의 실제적인 사용이유는 없어 가지고요. 실제적으로 역전파 사용으로 계산속도와 모델 성능이 개선 될 것 같다는 짐작이 됩니다. ……. 그리고 단순퍼셉트론애서도. 오차값을 현입력값을 곱하여 다음 입력값의 새로운 연결강도를 구하는 것이 현재 구한 오차를 다시 뒤로 돌아가 응용되는 것이 역전파 처럼 보이는데요. 이것도 단순한 역전파 모양 같은데요. 이렇게 생각해도 괜찮을까요?
@phdshinAI 26 күн бұрын
네 짐작하신 대로 역전파의 사용으로 계산속도가 단순히 경사하강법에 의한 학습보다 훨씬 개선된 것이 맞습니다. 단순퍼셉트론의 경우, 오차값에 현 입력값을 곱하여 연결강도를 구하는 것은 개념적으로는 비슷하지만, 역전파는 그보다 더 깊은 수학적 개념이 추가됩니다. 바로 체인룰이라는 개념입니다 (영상에서 dx/dy같은 것들이 주루룩 연결이 되어있는..그런것) 이 체인룰을 통하여, 연결강도를 업데이트 하는데 바로 이전까지 계산한 값을 재사용하여 계산할 수 있다는, 예를들면 전체가 100층이고 10층에 있는 연결 가중치를 업데이트할때 이전층 즉 11층부터 100층까지의 기울기를 다시 계산할 필요없이, 이전계산된 값을 그대로 재사용할 수 있다는 것은 상당히 효율적인 방법이며, 이 효율로 인해 단층 신경망에서 다층 신경망으로 발전할 수가 있었습니다. 요약하자면 큰 틀에서는, 즉 최종 오차를 사용하여 중간의 가중치를 업데이트 하는 점에서는 대동소이하지만, 실제 자세한 구현의 레벨에서는 체인룰 (미분의 연쇄법칙)을 통해, 상당히 효율적인 구현이 가능하다는 점이 다르다고 할 수 있습니다. 큰 틀에서 같게 보는 것도 맞고, 각론에서 차이점을 배우는 것도 중요한 것 같습니다. 좋은 질문 감사합니다!
@user-sc9rw3ks2g 26 күн бұрын
@@phdshinAI 충분히 이해 되었습니다. 상세한 설명 감사합니다. 천천히 딥러닝을 공부하는데 많은 도움이 됩니다. 뒤늦게 시작한 AI공부가 참 흥미롭습니다.
@임지훈-w6n Ай бұрын
형이라고 부를게요ㅕ
@phdshinAI 26 күн бұрын
넵 감사합니다. 편하신대로 부르셔도 됩니다~ㅎㅎ
@youngbback3544 Ай бұрын
와 진짜 야동 그자체입니다. 매일 돌려 봅니다😍😍😍
@phdshinAI 26 күн бұрын
앗...네 ㅎㅎ 신박한 댓글 감사드려요~
@youngbback3544 Ай бұрын
진짜 감탄만 나옵니다….꾸준하게 올려주게요 자연어파트와 비전파트 그리고 멀티모달파트 리뷰 및 최근 연구트랜드 이모저모도 올려쥬셔요 정주행 하겠습니다!!!
@phdshinAI 26 күн бұрын
칭찬댓글 감사드립니다~~!! 네 느리긴해도 거북이처럼 꾸준히 영상 올려드리도록 하겠습니다. 감사합니다!
@사물탕 Ай бұрын
이 코드는 깃허브에 없네요ㅜㅜ
@phdshinAI Ай бұрын
앗 그런가요! 죄송합니다. 올린다는걸 깜박한 모양입니다. 최대한 빨리 올려드리도록 하겠습니다..ㅠㅠ
@J4BEZ Ай бұрын
좋은 강의 너무나 감사합니다 선생님🙇♂️
@phdshinAI Ай бұрын
시청해주셔서 감사합니다!!
@blana-f4u Ай бұрын
이 체널은 신입니다... 진짜... 우연히 들어오게된 영상으로 전부다 시청하게 됐습니다... 진짜... 신입니다.. 논문을 읽으면서, 어디서 부터 시작해야할지.. 레퍼런스 타고 들어가면 갈수록 늪에 빠지는 막막한 기분이었는데,,, 정말 앞으로도 많은 자료 올려주세요.. 은은하고 잔잔한 목소리를 들으며 두세번 보고 논문을 읽으면 아아아~하면서 술술 읽게 됩니다.. 진짜 감사합니다..
@신어진-f3l Ай бұрын
층이 너무 많으면 1보다 작은 값을 여러번 곱하니 입력층과 가까운 변수들은 업데이트가 거의 안 될 수도 있겠군요
@phdshinAI Ай бұрын
맞습니다 아주 정확하게 보셨습니다! 그래서 역전파만으로는 깊은층까지 학습을 위한 기울기가 전달되지 않아서 딥러닝이 가능하지 않았던 신경망의 과거 역사가 있었습니다. 그러나 이제는 여러 다양한 활성화 함수나 다른 방법들 (잔차연결등)이 개발되어 오늘날 딥러닝이 가능하게 된 것입니다. 시청 감사드려요~!
@tershire Ай бұрын
와! 좋은 설명 정말 감사합니다. 도움이 많이 되었어요. 어텐션이란 개념이 살짝 추상적이고 까다롭긴 하네요. 느낌으로 보면 약간 "한 발씩 느린?" 느낌이 드는데...
@phdshinAI Ай бұрын
맞습니다. 어텐션은 학습할 때는 약간 사후처리 같은 그런 느낌이 있습니다. 실제 인간의 뇌에서도 '주의 attention' 의 개념이 완전히 밝혀진 것은 아닙니다. 아직도 많은 연구가 필요한 부분이지요. 그러나 현재의 attention 기법으로도 딥러닝 모델은 엄청난 성능을 발휘하고 있으니 앞으로가 더 기대가 되는 부분입니다. 시청 감사드려요~!
@jeongwoojae4001 Ай бұрын
와 대박
@phdshinAI Ай бұрын
네 감사합니다!
@임바다-b5k Ай бұрын
좋은 강의 정말 정말 감사합니다!!
@phdshinAI Ай бұрын
앗 생각지도 못한 후원..감사드립니다! 앞으로도 도움이 되는 좋은 강의 많이 올리도록 하겠습니다
@ironsea1000 Ай бұрын
정말 감사합니다! 이런 쉬운 설명은 첨입니다~
@phdshinAI Ай бұрын
네 감사합니다. 앞으로도 많은 시청 부탁드려요~
@최인혁-i7t Ай бұрын
진짜 최고의 강의입니다!!
@phdshinAI Ай бұрын
넵 감사합니다! 앞으로도 많은 시청 부탁드립니다..
@kongkong_1004 Ай бұрын
선생님 좋은자료 감사합니다. 비전공이고 웹개발하다가 우연치않게 딥러닝으로 이직하게되어 고민이 많았는데 조금이라도 해소되고있습니다
@phdshinAI Ай бұрын
네 아무래도 새로운 분야는 처음에 진입장벽이 있을 수 있지만, 웹개발을 하셨으니 쉽게 적응하시지 않을까 생각합니다. 항상 그런것 같아요. 배워서 이직한다 vs 이직해서 배운다. 어느쪽이든, 쉽지 않겠지만, 제 영상들이 조금이나마 도움이 된다니 기쁩니다. 도움이 되는 영상 올려드릴 수 있도록 항상 노력하겠습니다.
@nuyeehhee Ай бұрын
영상 너무 잘보고 있습니다!! 도움이 많이 되어요 다음 영상 기대하고 있겠습니다.
@phdshinAI Ай бұрын
네 시청해주셔서 감사합니다! 요즘 회사에 너무 바쁜일들이 많아서 영상 업로드가 더뎌지고 있습니다. 최대한 빨리 업로드 하도록 하겠습니다. 감사합니다
@jingyu_park Ай бұрын
단순히 정답에서 멀리 떨어져 있을 수록 loss가 커 학습이 잘된다 정도만 알고 있었는데, CrossEntropy가 정보이론 기댓값에서 나온 식이라는 것을 보고 원리가 이해되기 시작했습니다. 백그라운드부터 설명해준신 점 정말 감사드립니다!!
@phdshinAI Ай бұрын
네 시청해주셔서 감사합니다! 앞으로도 많은 시청 부탁드려요~
@harry_kim6940 Ай бұрын
2024.08.23 감사합니다.
@phdshinAI Ай бұрын
감사합니다!
@harry_kim6940 Ай бұрын
2024.08.23 감사합니다.
@phdshinAI Ай бұрын
감사합니다!
@gdty74357g Ай бұрын
깊은 통찰력에 감탄하고 갑니다. 크로스 엔트로피가 궁금해서 검색해서왔지만 나머지 강의들도 들어보겠습니다. 보통 수식만 나열하는 설명을 하는데 이해하기 쉬운 비유로 설명을 해주시니 정말 좋습니다. "단순하게 설명할 수 없다면 충분히 이해하지 못한 것이다" 라는 말이 있다죠. 나중에 AI 엔지니어로 취업하게 되면 후원 거하게 하겠습니다
@phdshinAI Ай бұрын
네 시청해주셔서 감사합니다. AI엔지니어로 취업하는 그날이 속히 오길 기도합니다~!! 감사합니다. 제가 바라는 것은 AI기술이 많은 사람들을 유익하게 만드는 세상이 되는 것입니다. AI 엔지니어로 멋진 미래를 열어가는데 앞장서신다면 그게 제가 바라는 후원이 되겠습니다. 감사합니다!
@김선학-s4t Ай бұрын
좋은 영상 감사드립니다. 이전 CNN개념 영상과 더불어 예제를 따라하며 이해가 부족한 부분이 있어 질문드립니다. 1. CNN 학습 시 커널은 랜덤하게 생성되는 건가요? 컨볼루션 레이어를 정의할때 커널의 수, 간격,패딩크기 까지 설정하나 커널의 종류 대한 설정이 없어 질문드립니다. 혹은 필요한 커널을 따로 생성하여 해당 커널로 학습 시킬수 있을까요? 2. 각 커널의 정보는 생성된 피쳐맵에 함께 저장이 되는건가요? 밀집층에 입력될때 1차원으로 펼쳐져 32*7*7 개의 입력층을 갖게 되는데 이때 32가지의 커널들도 각각 49개의 입력층 마다 함께 입력되는건가요? 아직 CNN을 완전히 이해하지 못해 질문이 조금 난잡한점 죄송합니다.
@phdshinAI Ай бұрын
안녕하세요. 질문 감사드립니다~ 그런데 정말 죄송한데, 제가 질문의 뜻을 잘 파악하지 못하여 충분한 답변을 드리지 못하는 점 먼저 사과드립니다. 일단 1번 질문에서 커널이 랜덤하게 생성되냐고 물어보셨는데, 커널은 일종의 가중치이기 때문에 처음 모델이 생성될때, 일정 초기화 과정을 거쳐서 랜덤하게 생성이 됩니다. 그러나 크기나 차원, 패딩크기 등등은 다 조정이 가능한 파라미터들입니다. 그런데 커널의 종류란 어떤 것을 말씀하시는 것인지 제가 잘 이해를 못하겠습니다. 좀 더 명확하게 말씀해주시면 감사하겠습니다. 그리고 2번 질문에서, 커널의 정보가 생성된 피쳐맵에 저장이 된다는 부분도, 커널의 어떤 정보를 말씀하시는 것인지 명확하지 않아서 어떤 답변을 드려야 할지 모르겠습니다. 일단 커널은 일종의 가중치로서 입력값과 커널간의 곱을 통해 피쳐맵이 생성되는 것입니다. 즉 커널의 아웃풋이 피쳐맵인 셈이지요. 그러면 커널의 정보가 입력값과 출력값 사이의 관계를 학습하게 되어 갑니다. 그러므로 커널의 정보가 피쳐맵에 저장이 된다기보다는, 피쳐맵을 통하여 커널의 정보가 변화되어 간다고 보시면 되겠습니다. 질문의 의도를 제가 잘 파악하지 못해 확실한 답변을 드리지 못하는 점이 안타깝고 죄송합니다.
@김선학-s4t Ай бұрын
@@phdshinAI 부족한 질문에도 답변주셔서 감사합니다. 아직 이해가 깊지 못하여 질문이 난잡하였던거 같습니다 답변에 감사드리며 좋은 영상에도 다시한번 감사드립니다.
@phdshinAI Ай бұрын
아닙니다.. 어떤 질문이든 잘 답변할 수 있도록 저도 준비가 되어 있어야 하는데 그러지 못해서 저도 죄송한 마음이 큽니다. 어떤 질문이든 다 가치가 있고, 최대한 그에 맞는 답변을 하는 것이 또 중요한 일이라고 생각하는데, 질문이 난잡한 것이 아닌, 제가 충분히 이해하지 못한 부분 때문인것 같습니다. 이런 과정들을 통해 서로가 더 딥러닝에 대해 깊이 알아가게 되는 것 같습니다. 시청해주시고 또 질문도 해주셔서 감사합니다.
@zFeli-ye7hg Ай бұрын
선생님 잘보고 있습니다. VAE GAN 등등 제가 관심있는 생성형 AI 모델들을 많이 다뤄주셔서 도움이 많이 되었습니다! 혹시 Diffusion 모델도 영상 만들어주실 수 있나요? 궁금합니다!!
@phdshinAI Ай бұрын
네 저도 생성모델에 관심이 많습니다. diffusion모델도 요구하시는 분들이 계셔서 고려하고 있습니다만 Advanced Deep Learning에서 다루어 보도록 하겠습니다. 시청 감사드려요~!
@3821lhg Ай бұрын
정말 감사합니다
@phdshinAI Ай бұрын
네 시청해주셔서 감사합니다~!