[Deep Learning 101] Word2Vec 쉬운 예제로 개념잡기

Рет қаралды 2,660

신박Ai

Күн бұрын

Пікірлер: 16

@jaeeun-o6g Ай бұрын

설명도 설명이지만 영상 그림이나 편집이 깔끔하고 이해가 잘 됩니다. 감사합니다 !

@phdshinAI Ай бұрын

감사합니다. 앞으로도 많은 시청 부탁드립니다!

@광-o4j 11 ай бұрын

쉽게 설명해주셔서 감사합니다 다음 영상도 기대하겠습니다 ㅎㅎ

@phdshinAI 11 ай бұрын

시청해주셔서 감사드립니다. 앞으로도 쉽고 재미있는 영상 자주 올리도록 노력하겠습니다~

@bopark1783 11 ай бұрын

영상 항상 감사합니다!!!😊 혹시 나중에는 트렌스포머나 비젼 트렌스포머 detr swin 같은 것도 다루실 예정이신가요??

@phdshinAI 11 ай бұрын

네 항상 시청해주셔서 감사드립니다! 현재 계획은 트랜스포머까지는 확실하게 계획을 세워두었지만, 그 이상의 모델들은 복잡해져서 사실 좀 고민중에 있습니다. 처음 채널을 시작할 때는, 컴퓨터과학 (딥러닝, 머신러닝), 수학 (선형대수, 통계), 인지심리학과 인지신경과학 등, 여러 인지과학 학문들의 기초적인 개념들을 쉽게 소개하는 방향으로 하여, 뭔가 '인지과학의 눈으로 통합적인 인공지능을 소개&구현해보자'라는 취지로, 영상들을 만들어보자는 것이 원래 저의 목표?였습니다. 그런데 영상을 제작하다보니 모델들도 점점 복잡해져서 한 영상에 담기가 점점 어려워지는것 같아요. 그래서 복잡한 현재의 모델들은 구조분석이나 간단한 숫자 연산을 통한 이해보다는, git clone 등을 사용해서 활용해보는 쪽으로 가야하지 않을까 하는데.. 아직은 고민중입니다ㅎㅎ명확한 답변을 드리지 못해 죄송합니다..ㅠ

@bopark1783 11 ай бұрын

@@phdshinAI 아닙니다!!! 항상 감사하게 영상 보고 잇습니다!!!

@JNHwang-ew6hc 11 ай бұрын

@@phdshinAI현재 주요 AI들은 다 트랜스포머를 쓰고 있다고 알고 있어요. 심지어 ChatGPT의 이름에도 트랜스포머가 들어가 있는데 꼭 한 번 알아보고 싶네요. @phdshinAI

@Nani-wd1sk 8 ай бұрын

개념 잡을 때 도움이 너무 많이 됩니다😮 좋은 영상 감사합니다!

@phdshinAI 8 ай бұрын

넵 시청해주셔서 감사합니다! 도움이 되었다니 저도 넘 기쁩니다. 앞으로도 많은 응원 부탁드립니다😊

@davekang8542 2 ай бұрын

강의 감사합니다. 질문 하나 드려도 될련지요? Word2Vec의 작동원리와 주요 학습 절차는 이해가 됩니다. 그런데, 결론이 궁금합니다. 즉, CBOW와 SG으로 학습을 충분히 한 다음, one-hot encoding 된 love에 대한 실수의 저차원(강의에서는 2차) embedding 값을 구하기 위해서는 I 와 you의 조합(강의에서 [1,0,1,0] 물론 전처리하여 [0.5, 0, 0.5, 0])을 입력해 hidden layer의 값(2차원)을 사용하면 될까요? 그럼, I와 you에 대한 embedding 값은 어떻게 하면 될까요? love를 입력값으로 넣어 hidden 값을 사용하게 되면, I와 you가 동일한 embedding 값을 갖게 될 듯 합니다만... 너무 초보 수준의 질문에 죄송합니다. 그리고 답변에 미리 감사 드립니다. 감사합니다.

@phdshinAI 2 ай бұрын

안녕하세요! 아닙니다. 초보수준의 질문이 아니라 아주 중요한 질문입니다. "그래서 Word2Vec을 어디에 쓰는데?" 라는 아주 중요한 질문으로 생각됩니다. 현재 CBOW와 SG로 Word2Vec 방식으로 충분히 학습된 여러 말뭉치 데이터들이 존재합니다. 예를들어 huggingface.co/fse/word2vec-google-news-300 여기서 다운받으실 수 있는 word2vec데이터는 구글 뉴스 데이터를 사용하여 무려 3백만개의 단어를 길이가 300인 벡터로 변환시켜 주는 단어-벡터 행렬입니다. 이 다운이 가능한 행렬은 이미 단어와 단어 사이에 존재하는 어떤 의미나 관계들을 내포한 벡터형태로 되어 있습니다. 그렇기 때문에 이 벡터들을 사용하여, 더 고차원의 거대 언어 모델들을 학습하는 출발점이 될 수도 있고 아니면 문장이나 문단의 컨텍스트나 감정들을 유추할 수 있는 기본 단계로도 사용할 수 있습니다. 그래서 질문하신 바, love, I, 나 you 같은 모든 단어들이 이미 서로 다른 벡터로 word2vec-google-news-300에 저장이 되어 있습니다. 그래서 바로 1대1 대응 할 수 있도록 행렬이 되어 있기 때문에, 또 다시 love 벡터를 구하기 위해, I나 you를 word2vec 모델에 넣을 필요가 없습니다. word2vec모델은 학습할 때나 필요한 것이지 이미 충분히 학습한 뒤에는 결과 행렬만 저장해서 단어 임베딩 레이어로 쓰면 되겠습니다.