#llama3

📝 메뉴얼:
github.com/teddylee777/langse...
💻 코드:
github.com/teddylee777/langse...
📘 랭체인 튜토리얼 무료 전자책(wikidocs)
wikidocs.net/book/14314
✅ 랭체인 한국어 튜토리얼 코드저장소(GitHub)
github.com/teddylee777/langch...
⭐️ 강의 홍보 ⭐️
LangChain + ChatGPT + Streamlit 강의(VOD 강의)
아래에 사전 등록을 하시면 강의 오픈 후 알림을 발송해 드릴 예정이며, 할인 쿠폰도 같이 제공해 드립니다.
📍 LangChain + ChatGPT + Streamlit 강의 사전알림 신청 🙏🙏
링크: forms.gle/buoXoiey7YHrVXVq9
#ollama #langchain
---
📘 랭체인 한국어 튜토리얼(무료 전자책): wikidocs.net/book/14314
📝 테디노트(깃헙 블로그) : teddylee777.github.io
💻 GitHub 소스코드 저장소: github.com/teddylee777
🍿 LLM 프로젝트: llm.teddynote.com

[@san1558]

최고입니다!! 좋은 강의 감사해요!

[@teddynote]

감사합니다 ☺️

[@acafe1030]

기다렸어요!

[@teddynote]

늦지 않게 들고 왔습니다~!

[@changjunlee2759]

궁금하던차에 적기에 올려주셨어요. 감사합니다.

[@teddynote]

요즘 너무 빨리빨리 나와서 영상 만들기 힘듭니다😭😭😭😭😭

[@AssemMohamed-mz5rh]

감사합니다!! 최고입니다

[@teddynote]

감사합니다~🫡🫰🙏

[@jaekwangkim613]

감사해요 도움 많이 되었습니다

[@teddynote]

감사합니다🙏🙏

[@hyungsungshim5714]

감사합니닷!!

[@teddynote]

늘 응원해 주셔서 감사합니다!!

[@roze4154]

감사함을 담아서 가입 했습니다

[@teddynote]

아이쿠~ 가입 감사합니다~ 🙌🙌🙌

[@KangSeungSig]

좋아요! 누르고 시청 합니다. ^^

[@teddynote]

감사합니다!! 🙌🙌🙌

[@Euni2345]

오늘 새벽에 나왔던데 빠르시군요!! ㅎㅎㅎ

[@teddynote]

트렌드에 올라 타야죠🤤

[@elfinxx]

좋아요!

[@teddynote]

🙌🙌🙌

[@seungpark2944]

Many Thanks

[@teddynote]

🙏🙏🙏

[@brain.trinity]

ㅋㅋㅋㅋ 성능 맘에 듭니다... 저도 오늘 아침에 바로 돌려봤어요

[@teddynote]

오우 빠르시네요 ㅎㅎ 저도 궁금한게 있는데요. 옵시디언 copilot 에 올라마 붙여서 사용하고 있는데요. vaultQA 답변 품질이 좀 아쉬운데 혹시 코드로 문서 검색하는 로직을 수정하는 것도 가능한가요?

[@brain.trinity]

@@teddynote 흠... 그건 플러그인 main.js 파일을 수정해야할 듯 한데요

[@teddynote]

@@brain.trinity 플러그인의 main.js 파일을 수정할 수 있나 보군요~ 감사합니다. 수정해서 커스텀해서 사용해 봐야겠네요! 답변 감사합니다!

[@user-lx6ql7rl6h]

회사에서 지원해주는 테디님 파이썬강의 듣고 입문했었는데.. 우연히 유튜브 알고리즘에 낯익은 목소리가 들려 테디님을 알아봤어요 ㅎㅎ 유튜브도 잘 보고 있어요 좋은 강의 감사해요😊😊😊❤❤❤

[@teddynote]

와~~~~우 반갑습니다😊 좋은 회사 다니시나봐요😉 시청해 주셔서 감사합니다🙏🙏

[@maverick456-33]

Mac에선 LM Studio가 UIDX적으로 요즘 가장 괜찮은것 같습니다.모델다운로드관리,채팅테스트모드,모델 로컬Server생성등등..

[@teddynote]

LM Studio 가 ChatGPT 인터페이스 비슷하게 잘 해주는 것 같습니다! ㅎㅎ

[@roze4154]

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤

[@teddynote]

🙏✌️👌👋🙌

[@nbright3700]

감사합니다. 잘 돕니다. 지난편에 RAG 에다가 적용해 봤는데, 문서를 안넣고 그냥 영문질문에는 답변을 잘하는데요, 영문 pdf 를 넣고 하면 예가 자꾸 "I'm here to help! What's on your mind? Do you have a specific question or topic you'd like to discuss?" 이렇게 대답합니다. 참고문헌을 표시해 봤더니 잘 찾는거는 같구요. 해결하고 싶네요. 70b 한글이 ollama로 나오면 좋겠습니다. 🤩🤩🤩

[@teddynote]

RAG 에 적요하는 모델의 입력으로 들어가는 context length 가 길어야 효과적입니다. context length 가 어느정도 되는 모델을 한 번 써보세요~^^

[@nbright3700]

@@teddynote 감사합니다. 다시 해보겠습니다.

[@duchulyoun4757]

잘 보고 있습니다. 유용한 정보 감사드립니다. 한가지 질문 드립니다. ollama create 하고 run 되는 것 확인한 다음에, 다운받은 gguf 파일과 modelfile 파일을 삭제해도 되나요?

[@teddynote]

네 삭제하셔도 됩니다~

[@teddynote]

모델 파일을 올라마 저장소에 따로 저장하게 됩니다(숨김폴더 내)

[@duchulyoun4757]

@@teddynote 감사합니다. ^^

[@user-qz3rq6pw8z]

목소리 진짜 좋네

[@teddynote]

감사합니다😉

[@user-bf8nq3xt7t]

영상 잘 봤습니다! 근데 한글을 위해 자동으로 번역기를 돌리는 시스템을 만들 수는 없을까요?

[@teddynote]

오우 충분히 가능합니다~^^ 번역은 이제 그렇게 어려운 task 가 아닌게 되었습니다!

[@user-bf8nq3xt7t]

@@teddynote 올려주신 올라마 파일같은 경우에는 이미 올라와 있는 정보들을 정리한 파일인가요? 아니면 직접 만드신건가요??

[@teddynote]

@@user-bf8nq3xt7t 업로드 되어 있는 파일을 내려받아 로드하였습니다. 직접 만드는 것도 가능해요!

[@mingyukang6592]

잘 몰라서 문의드립니다. 마지막의 코드 부분은 local 환경에서 돌리는 것인지요?

[@teddynote]

예 맞습니다 로컬 환경입니다~

[@i_mou_to_chan]

안녕하세요. 이번에 라마3가 나오면서 그림도 그릴 수 있다고 들었는데, 그건 좀 다른건가요?

[@teddynote]

음~ 제가 사용한 llama3는 텍스트만 합니다~ 이미지 생성 모델이 따로 있는지는 모르겠어요~

[@user-xt6mr3kx5h]

감사합니다. 혹시 영상에서 사용된 컴퓨터 사양을 알수있을까요?

[@teddynote]

넵! Apple M3 Max칩(16코어 CPU, 40코어 GPU, 16코어 Neural Engine) 64GB 통합 메모리 2TB SSD 저장 장치

[@sg1kim1]

안녕하세요? 좋은 영상 잘 보았습니다. 한가지.. GPU를 사용하지 않고 CPU를 사용하여 LLM이 돌아가는 것 같습니다. 속도도 너무 느리고, GPU도 사용이 안되고 CPU 가 사용이 되는데요.. 어떤 세팅을 해줘야 GPU를 사용할 수 있을까요?

[@teddynote]

GPU 사용할 때 엔비디아 계열 GPU 만 사용 가능합니다! 그리고 엔비디아 계열 GPU 가 있다면 CUDA 가 설치 되어 있어야 하구요! CUDA 설치가 복잡하긴 한데 구글 검색 해보시면 CUDA 설치 가이드 있는데요 한 번 따라해 보시고 잘 안되면 댓글 남겨주세요^^

[@heejuneAhn]

저는 GPU에서 잘 동작 합니다. RTX4090 8GB 먹네요. OLLAMA가 이제는 AMD GPU에서도 지원이 된다고 하는것 같구요. +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.171.04 Driver Version: 535.171.04 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA GeForce RTX 4090 Off | 00000000:01:00.0 Off | Off | | 0% 42C P8 28W / 450W | 8901MiB / 24564MiB | 0% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | 0 N/A N/A 1278 G /usr/lib/xorg/Xorg 56MiB | | 0 N/A N/A 1616 G /usr/bin/gnome-shell 12MiB | | 0 N/A N/A 81097 C ...unners/cuda_v11/ollama_llama_server 8816MiB | +---------------------------------------------------------------------------------------+ (base) gpt@SeoulTech4090:~$

[@user-rt5hu7zm2r]

영상 잘 봤습니다. 궁금해서 그러는데.. 파운데이션 모델은 도대체 무엇인가요? 지금 llma3 8b로는 추론을 하신건가요? 그리고 왜 챗 GPT4가 비싼가요? 비싸지만 사용하는 이유는 정확성이 높아서 인가요?

[@teddynote]

파운데이션 모델은 기틀이 되는 모델이고 방대한 데이터셋을 학습한 모델입니다. 파운데이션 모델은 사용자가 원하는 용도나 목적에 맞게 비로소 미세 조정되거나, 문맥 내 학습 등과 같은 과정을 거치게 됩니다. Llama3 8B 로 추론했습니다. GPT4 가 성능이 좋은 것은 사실입니다. 그래서 비싼 과금을 받을 수도 있는 것이고요. 만약 성능이 좋지 못하면 굳이 비싼 돈을 내면서 사용할 이유가 없겠죠. 성능 외에도 호스팅하지 않고 API 방식으로 언제 어디서나 손쉽게 호출할 수 있다는 장점도 있습니다.

[@user-rt5hu7zm2r]

@@teddynote 답변감사합니다.

[@user-jc7en7fn3f]

70B 모델을 돌리기 위해서는 하드웨어 인프라가 어느 정도면 가능할까요?

[@teddynote]

양자화 모델은 A100으로도 돌릴 수 있다고 하더라구요~^^ 양자화 아닌 모델은 저도 돌려볼 생각조차 안해서 잘 모르겠습니다 ㅎㅎ

[@user-ft4zh7np9z]

4비트 양자화까지 내리면 4090 2GPU로 가능할겁니다

[@Yanggyungsuneg]

LM_Studio에서 도 llama3 사용하는 거 좀 알려주세요. 설정하는 방법요.

[@teddynote]

kzbin.info/www/bejne/mHKxgp5jYrKUrtU 이 영상을 참고해 주세요~ EEVE 모델 대신 Llama3 모델을 검색하여 다운로드 받아서 진행하시면 됩니다~

[@user-pc1dx9td3d]

형님 이모델로 gpt api처럼 function call 가능할까요?

[@teddynote]

아쉽게도 그건 ❌ 안됩니다😭

[@mingyukang6592]

@@teddynote 궁금해서 그러는데, 왜 안되는건가요? Llama3가 기능을 제공하지 않는건가요? 아니면 7B 모델에서는 안되는 건가요?

[@teddynote]

@@mingyukang6592 80B 모델에서는 될 수 있도록 외장 라이브러리를 설치하여 진행할 수 있다고 합니다. 저희가 활용하는 8B에서는 아직 지원을 안하는 것 같아요. 추후에는 지원할 수도 있어보입니다~

[@teddynote]

제가 잘못된 정보를 드린 것 같아. 정정 댓글 남깁니다.. 저도 궁금하여 찾아보니 8B 모델도 Agent 를 만든 사례가 있습니다. openai_functions 로 래핑하여 호출 하더라고요~ 관련 영상 링크도 같이 첨부해 놓겠습니다. 혼란을 드려 죄송합니다. kzbin.info/www/bejne/pmayXpJ3nrB3lbM

[@mlck6946]

첨부해주신 gguf 모델 다운로드 링크가 안들어가지는데 허깅페이스 자체에 지금 문제가 있는걸까요?..503 Hugging Face is currently experiencing infrastructure issues, we are working on it. 라고 뜨네요

[@mlck6946]

다시 해보니까 들어가지네요

[@teddynote]

오늘 일시적 오류가 있었다고 하더라구요 ㅜ

[@user-hn3kq5dq5t]

윈도우에서는 안 되는 건가요? 리눅스, MAC 에서만 되는 건지 확인 부탁드립니다.

[@teddynote]

윈도우도 됩니다~^^

[@user-hn3kq5dq5t]

@@teddynote 제가 쓰는 컴퓨터로 윈도우에서 안되네요?! 칼리 리눅스에서 설치_시도하는 중입니다..

[@sdfasdfsdfds]

혹시 4070ti 8gb인데 로컬구동될까요?

[@teddynote]

네 가능할 것 같은데요~ 혹시 Q8 이 안될 것 같으면 Q5나 Q4 모델로 선택하시면 충분히 가능할 것 같아요~

[@sdfasdfsdfds]

@@teddynote 답변 감사합니다 내일 한번 도전해봐야겠네요 ㅎㅎ

[@sdfasdfsdfds]

@@teddynote 라마3와 랭체인을 이용한 프로덕트를 만들수도 있을거 같은데 테디노트님께서 랭체인 위키독스를 제공해주시더라고요. openai기준으로 만드신거같은데 라마3도 비슷하게 적용할 수 있을까요?

[@teddynote]

@@sdfasdfsdfds 기 작성된 코드에 llm 부분만 변경하면 손쉽게 적용 가능합니다~

[@user-le8jx5mb6j]

똑같은 모델을 썼는데 왜 저는 이상한 답변이 뒷부분에 나올까요 ㅠㅠ GPU가 없어서 그럴 수도 있나요? "You're asking about NewJeans! NewJeans is a South Korean girl group formed by ADOR (Ador Entertainment) in 2022. The group consists of five members: Minji, Hanni, Danielle, Haerin, and Hyein. NewJeans debuted on July 22, 2022, with their single "Attention" and have since released several successful singles and (ADOR Entertainment) New Je Attention Attention Attention Attention Attention Attention Attention. ADOR Entertainment ( Ador Entertainment) "

[@teddynote]

질문을 어떻게 하느냐에 따라 답변이 제대로 안나올 수도 있습니다. 그리고 또 중요한 것은 Template 입니다. 이 두가지가 보통은 중요한데, 그럼에도 양자화 모델은 제대로 안나올 수도 있습니다. 간혹 제대로 안나온다면 그건 모델의 문제일 수 있고요 매번 제대로 안나오면 템플릿 설정을 보시는 것이 좋습니다. GPU 와는 무관합니다

[@user-le8jx5mb6j]

@@teddynote 선생님이 올려주신 걸 그대로 따라했어요 질문도 똑같이 했어요 그런데도 결과가 다르게 나와서 당황스럽군요