대박! 메타 라마 3.1 AI 출시! 컴퓨터 무료 설치! 오픈소스 AI 혁명 | Meta Llama 3.1 GPT-4o Claude 3.5 | 오후다섯씨

[@hyunsikham1656]

해당 영상 보고 구독했습니다~ 빨리 다음 스텝이 나왔으면 좋겠네요!!

[@한은서-u7k]

최고의 유튜버 … ㅠ

[@skybule5551]

빠른 정보 감사합니다 ~

[@Midodo_]

언제나 좋은 정보 감사합니다

[@starkistian]

좋은 정보 감사합니다!!

[@정유신-p4u]

깔끔한 설명 감사

[@digitoy8042]

이 영상을 기다렸습니다!! 🎉🎉

[@leesunwu5025]

META가 진짜 OPEN이고 OPEN AI는 CLOSED AI죠.

[@c4ex_net]

감사합니다

[@imfree5812]

좋은 정보 감사합니다...강의 대로 설치하니.. 쉽게 잘되네요... 그런데 설치제거 방법은 어떻게 하나요? 궁금합니다...

[@숭례문튜브]

감사합니다!!!

[@LazyDonkey_AI]

라마 3.1을 설치해서 파인튜닝을 하는 방법이 궁금합니다 혹시 PDF 문서를 학습시킬 수 있을까요? 챗GPT GPTs에서는 파일을 업로드하여 학습이 가능하던데요.

[@hohokim1525]

좋은 소식 감사합니다. 이걸 이용해서 비개발자가 앱을 만들 수 있는 방법도 소개해주실 수 있으실까요?

[@mr.5pm]

비개발자가 Llama 3.1을 활용해 앱을 만들 수 있는 여러 방법이 있습니다. 어느정도 학습이 필요합니다. 하지만 전통적인 개발 방식보다는 훨씬 접근하기 쉬울거예요. 노코드/로우코드 플랫폼, AI 플러그인, 대화형 인터페이스, 웹 애플리케이션, 음성 인터페이스 등 다양한 접근 방식을 소개할 예정입니다. 감사합니다.

[@jiyeoulryoo]

7:22 왜 벤치 미킹을 다른 회사 모델들과 비교하지 않나요? 그게 더 일반적일텐데.

[@jasonlee7620]

컴퓨터 사양 급속도로 올라가겠네요

[@ahphiell]

안녕하세요. 매일 좋은 정보 감사합니다. 405B 모델은 엄두가 안나는데 혹시 70B 모델도 테스트 해 보셨는지요. M3맥 프로에서 돌아갈 지 궁금합니다. ^^

[@mr.5pm]

70B 모델에 대해 말씀드리자면: 성능: 70B 모델은 8B 모델보다 훨씬 뛰어난 성능을 보여줍니다. GPT-4에 근접한 능력을 가지고 있죠. 요구 사항: 최소 64GB RAM이 필요합니다. 약 40GB의 저장 공간이 필요합니다. M3 맥북 프로에서의 실행: M3 칩은 매우 강력하지만, RAM이 충분해야 합니다. 64GB 이상의 RAM을 가진 M3 맥북 프로라면 충분히 실행 가능합니다. 실행 경험: 로딩 시간이 8B 모델보다 길어집니다. 응답 생성 속도도 조금 느려질 수 있습니다. 하지만 성능 면에서는 큰 차이를 느끼실 수 있을 겁니다. 팁: 처음 실행 시 시간이 좀 걸릴 수 있으니 인내심을 가지고 기다려주세요. 배터리 소모가 클 수 있으니 전원에 연결한 상태로 사용하는 것이 좋습니다. 제가 직접 70B 모델을 테스트해보지는 않았지만, 사용자 피드백을 보면 M 시리즈 맥북에서 잘 작동한다고 합니다. 다만, RAM이 충분한지 꼭 확인해 보세요.

[@호빵맨주인-j3j]

cto하지 않은 맥북 애플실리콘으로는 괜찮은 속도로 70b 돌릴 수 있나요?

[@user-fOOOe30000]

근데 혹시 다른 로컬 드스크로 다운하고픈데 자꾸 c드스크로 가는 이유가 뭘까요? ㅠㅠ 방법이 있나요?

[@junew87]

라마를 깔아서 개인이 돌리면 어떤 아웃풋을 기대할 수 있나요? 성공적인 레퍼런스가 있다면 알려주시면 좋을 듯 하네요

[@mr.5pm]

네 영상 제작해서 올려드릴게요~

[@StudioMeerkat]

가장 빠르게 이 이슈를 다뤄주셨네요 항상 감사드립니다 제 하드웨어가 rtx4050 노트북이고 ram 16 vram은 6gb인데, 그리 강한 하드웨어는 아니긴 하지만 그래도 8B 답 생성 속도가 생각보다 너무 느리네요.. 거의 초당 1단어 내외 수준입니다. 이 하드웨어에 이정도 퍼포먼스면 정상 범주인가요?

[@nerdbunny11]

잘봤습니다. 감사합니다. 혹시 웹 ui 나 gui 버전은 없을까요?

[@동동이맘]

클로드보다 한글실력이 좋을까요?😅

[@이푸딩-j9j]

터미널을 어떻게 들어가는건가요? 올라마 다운로드(윈도우11) 받고, 실행해도 아무런 창이 안뜹니다 ㅠㅠ

[@심심이의혼자놀기]

터미널이 뭐고 어떻게 가나요?

[@ori0707]

메타가 라마를 오픈 소스로 푸는 것에 대한 결과로 gpt나 claude의 가격이 낮아질 경우도도 있을까요?

[@seojintvasd]

이 라마 모델은 네트워크가 없이도 동작이 되는 것은 아니지요?

[@mr.5pm]

없어도 동작 가능합니다~

[@조민용-f4b]

라마를 개인컴퓨터에 설치하면 api도 무료로 쓸 수 있나요?

[@mr.5pm]

Llama 3.1을 개인 컴퓨터에 설치하면 API를 무료로 사용할 수 있습니다.

[@the-time-rich]

PC 사양이 얼마나 되어야하나요?

[@study_hard42]

맥도 괜찮을까요? M1 프로인데!

[@mr.5pm]

안녕하세요 @study_hard42님! M1 프로 맥북에 대해 물어봐 주셔서 감사합니다. 좋은 소식입니다! M1 프로 맥북은 Llama 3.1을 실행하기에 아주 적합한 기기입니다. 몇 가지 이유를 설명해 드릴게요: 성능: M1 프로 칩은 매우 강력해서 Llama 3.1의 8B 모델을 무리 없이 실행할 수 있습니다. 최적화: Ollama는 M1 칩을 포함한 Apple Silicon에 최적화되어 있어 성능이 좋습니다. 메모리: M1 프로 맥북은 충분한 RAM을 갖고 있어 모델 실행에 필요한 메모리 요구사항을 충족합니다. GPU 가속: M1 프로의 통합 GPU를 활용하여 더 빠른 처리가 가능합니다. 발열 및 전력 효율: M1 칩은 전력 효율이 좋아 발열이 적고 배터리 수명도 오래갑니다. 실제로 영상에서 보신 것처럼, 저도 M1 프로 맥북을 사용하여 데모를 진행했습니다. 설치부터 실행까지 아주 순조롭게 진행되었죠. Ollama 웹사이트에서 Mac용 설치 파일을 다운로드하시고 안내에 따라 설치하시면 됩니다. 궁금한 점이 더 있으시면 언제든 물어보세요!

[@jp5862]

저기 죄송합니다만, 클립보드에 복사해서 붙여넣는다는게 뭔지 몰라서 계속 해매고있는데용;; 어찌해야하나요 ㅠ

[@mr.5pm]

안녕하세요 @jp5862님! 질문해 주셔서 감사합니다. 클립보드 복사와 붙여넣기에 대해 차근차근 설명해 드릴게요. 클립보드란? 클립보드는 컴퓨터에서 임시로 정보를 저장하는 가상의 공간입니다. 복사하거나 잘라낸 텍스트나 이미지가 이곳에 저장됩니다. 복사하기: 텍스트를 마우스로 드래그하여 선택합니다. 선택한 텍스트에 오른쪽 클릭 후 '복사'를 선택하거나, 키보드에서 Ctrl+C(윈도우) 또는 Command+C(맥)를 누릅니다. 붙여넣기: 텍스트를 넣고 싶은 곳에 커서를 놓습니다. 오른쪽 클릭 후 '붙여넣기'를 선택하거나, 키보드에서 Ctrl+V(윈도우) 또는 Command+V(맥)를 누릅니다. 영상에서 설명한 대로 하려면: Ollama 웹사이트에서 설치 명령어를 선택합니다. 그 텍스트를 복사합니다(위의 2번 방법 사용). 터미널 창을 엽니다. 터미널 창에 붙여넣기 합니다(위의 3번 방법 사용). 처음에는 어려울 수 있지만, 조금만 연습하면 쉽게 할 수 있을 거예요. 추가 질문이 있으면 언제든 물어보세요!

[@태화강러너]

Gpu가 있어야할까요?

[@mr.5pm]

Llama 3.1의 8B (80억 파라미터) 모델을 사용하실 경우, 반드시 GPU가 필요한 것은 아닙니다. CPU만으로도 실행이 가능합니다. 다만, 몇 가지 고려사항이 있습니다: CPU만으로 실행 시: 모델 로딩 시간이 좀 더 오래 걸릴 수 있습니다. 응답 생성 속도가 조금 느릴 수 있습니다. 하지만 일반적인 사용에는 큰 문제가 없습니다. GPU가 있을 경우: 모델 로딩과 응답 생성이 더 빨라집니다. 특히 더 큰 모델(70B나 405B)을 사용할 때 성능 차이가 두드러집니다. 메모리 요구사항: 8B 모델은 최소 16GB의 RAM을 권장합니다. GPU 사용 시, VRAM이 충분해야 합니다(8GB 이상 권장). 결론적으로, 일반적인 사용이나 테스트 목적이라면 CPU만으로도 충분합니다. 하지만 더 빠른 성능이나 대규모 모델 사용을 원하신다면 GPU가 도움이 될 수 있습니다.