[LangServe 리뷰] 초간편 LLM 웹앱 제작 & 배포기능까지! 과연, Streamlit 대체할 수 있을까?

🧑‍💻 LangServe Template 코드: github.com/teddylee777/langse...
💻 헤로쿠(배포): heroku.com/
📘 랭체인 튜토리얼 무료 전자책(wikidocs)
wikidocs.net/book/14314
✅ 랭체인 한국어 튜토리얼 코드저장소(GitHub)
github.com/teddylee777/langch...
⭐️ 강의 홍보 ⭐️
LangChain + ChatGPT + Streamlit 강의(VOD 강의)
아래에 사전 등록을 하시면 강의 오픈 후 알림을 발송해 드릴 예정이며, 할인 쿠폰도 같이 제공해 드립니다.
📍 LangChain + ChatGPT + Streamlit 강의 사전알림 신청 🙏🙏
링크: forms.gle/buoXoiey7YHrVXVq9
#langserve #langchain #rag
---
테디노트(깃헙 블로그) : teddylee777.github.io
머신러닝 혼자서 스터디 : github.com/teddylee777/machin...
LLM 프로젝트: llm.teddynote.com

[@teddynote]

영상에 나왔던 웹앱 링크: 🤖프롬프트 엔지니어링 langserve-template-ee9acafba005.herokuapp.com/prompt/playground/

[@user-ot7jo1ik4n]

항상 좋은정보 알려주셔서 감사합니다! 오늘도 화이팅요~

[@teddynote]

감사합니다!! 오늘도 뽜이팅입니다🎉

[@qsky00]

감사합니다. 항상 잘 보고있습니다. 꼭 필요한 지식을 빠르게 전달하십니다요~

[@teddynote]

좋은 말씀 감사합니다요~🙏🙏🙏

[@damoa2023]

기대됩니닷

[@teddynote]

감사합니다!!

[@changjunlee2759]

아... 빨라... 내일 찬찬히 다시 봐야겠어요. 감사합니다.~

[@teddynote]

찬찬히 다시보기로 시청 고고 하시죠!

[@POPOVGGWP]

퍄 감사합니다. 백단에서 제가 만든 랭그래프 테스트 한 번 해보고 싶었는데. 영상 참고해서 내부 테스트로 사용해보겠습니다. 감사합니다!!😊😊

[@teddynote]

후기가 기대됩니다!! 좋은 서비스 만들어 주세요!!👍👍

[@user-os7no3rq3n]

좋은 영상 너무 좋았습니다 혹시 제목인 streamlit과 비교해봤을때는 어떤가요? 테스트용도로 사용할 때, 실제 돈을 받을 만한 production레벨로 볼때 두 프레임워크릐 장단점등이라던가...

[@teddynote]

streamlit 의 장점은 쉬운 개발, 비교적 좋은 위젯, 다양한 3rd party 위젯, llm 과의 연계성 등이 장점입니다. langserve 는 아직은 위젯이 많이 없어서 UX/UI 적으로만 봤을때는 streamlit 의 압승입니다. 하지만, langserve deploy 로 쉽게 배포 (물론, streamlit 도 streamlit cloud 배포를 지원하긴 합니다) langchain 에서 지원하는 langchain-template 연계 -> 사실 이게 정말 편리합니다. 아직은 langserve 정식 오픈 전이라 사실 Streamlit 과 게임이 안되지만, LangChain 의 개발 속도라면 올해 말 ~ 내년에는 어떤 모습일지 궁금합니다^^ LangSmith 도 처음에는 굉장히 미진했는데, 이제는 정말 좋은 기능들이 많이 추가되고, 활성 사용자도 많이 늘어나고 있거든요~ 그래서 더욱 궁금하네요!!

[@user-td6fl7fs7c]

elastic search, qdrant, milvus등 오픈소스 로 다양한 vectordb 사용해주시는 강의도 해주시면 감사하겠습니다 !

[@teddynote]

넵~^^ 의견 감사합니다🙏🙏

[@user-nw3jm2bi4s]

안녕하세요~ 랭체인에 흥미가 있어서 강의 사전알림신청하려고 하는데요 제가 파이썬 기초밖에 몰라서 해당강의를 듣기전에 준비해야 할게 있는지 궁금합니다. 랭체인 튜토리얼 githubu랑 무료 전자책 정도 공부하면 충분할까요?

[@teddynote]

맞습니다! 그정도 공부해 놓으시면 충분합니다~ 파이썬 문법 잘 배워놓으시면 여기저기 활용하실 곳이 많기때문에 이참에 미리 좀 더 배워놓으셔도 좋을 것 같아요!!

[@user-nw3jm2bi4s]

@@teddynote 감사합니다~

[@Sww3158]

유익한 영상 잘봤습니다!! 한가지 질문 드려도 괜찮을까요? 현재 langchain을 이용해서 주어진 데이터를 기반으로 답변하는 qa봇을 만들었습니다. 지금은 invoke를 이용해서 질문을 던지는데 이 챗봇을 rest api처럼 만들어서 답변을 주도록 하고 싶습니다. 영상에 나와있는 것 처럼 langserve를 이용하여 share한 주소를 aws에 배포하면 다른 사람들이 rest api처럼 쓸 수 있을까요?? 감사합니다.

[@teddynote]

langserve 를 사용하는 것에 대한 가장 큰 이점은 코드의 간결함, 스트리밍 출력을 지원하는 것입니다. 하지만, 말씀하신 (보안상의 이유로) rest api 를 구현하고자 하려면 langserve 보다는 별도의 (fastapi 등을 활용하여) 서버 구현을 하셔야 할 것 같아요!

[@Sww3158]

⁠@@teddynote정성스러운 답변 감사합니다 ㅜㅜ 헷갈렸던 부분을 콕찝어서 해결해주시는 능력이 있으시네요..! 답변해주신대로 따로 서버구현 해보겠습니다!!

[@teddynote]

@@Sww3158 궁금하신 점 있으시면 연락 주세요 감사합니다🙏

[@Sww3158]

@@teddynote 영상을 보며 궁금한 점이 있어 여쭤봅니다!! poetry add langchain-openai 명령어를 실행하면 So, because langserve-template depends on both langchain (^0.1.13) and langchain-openai (^0.1.8), version solving failed. 위와 같이 뜨며 실패합니다. 의존성 문제라는데 잘 모르곘어서 질문드려봅니다..

[@user-xt6rz4ec2y]

Heroku 사용 안하고 localhost로 접속 해도 문제 없죠? 그리고 LANGCHAIN_API_KEY 와 OPENAI_API_KEY 안쓰고 llama3 local로 띄우고도 가능한가요? 감사합니다.

[@teddynote]

로컬호스트도 가능하고요 llama3 local 로도 가능합니다~

[@Dr.Ahn.]

안녕하세요 RAG공부하다가 궁금한점이 있어서 질문드립니다. Openai API + RAG을 써서 개발하는 것과 chatGPT의 커스텀 GPTs를 create 하는 게, 프로세스로 보면 같은 건가요? 단지 API + RAG 방식을 사용하면 훨씬 서 세세하게 컨트롤 가능하다는 것(자유도 높음)이고, GPTs는 왠만한건 다 openai가 알아서 세팅해놓고 나는 knowledge만 업로드 하고 프롬프트 엔지니어링만 하면 된다(자유도 낮음). 이건가요?? 커스텀 GPTs에도 Action까지 있으니 더 그렇게 느껴지는데.. 이것 외에 더 생각해볼 지점들이 있나요? GPTs 대비 API + RAG 방식이 결정적인 어떤 장점이 있나요? 제가 심심풀이로 GPTs 하나를 만들어봤는데, 생각보다 결과물이 괜찮은데 2% 부족한게 계속 있습니다. 근데 이 부분이 API + RAG으로 극복이 가능한지 아닌지가 궁금해서.. GPTs대비 RAG의 장점을 이해할 수 있다면 해소가 될 것 같습니다. 배포를 한다고 했을때 API비용 대비 GPTs비용도 궁금하고... 아... 오프라인 강의를 넘 가고싶네요ㅠ 제대로 공부하니 궁금한게 많아집니다...ㅠ

[@teddynote]

우선, GPTs 는 OpenAI사에서 만든 개인화된 GPT 입니다. 따라서, 모델을 GPT 밖에 사용하지 못합니다. 또한, GPTs 로 만들어서 쉬운 공유는 좋지만, 공유 받는 사람이 이용하려면 GPT 유료 구독자 이어야만 하죠. LangChain은 GPT 뿐만아니라 Claude, 무료 로컬 모델등을 활용할 수 있을 뿐만아니라, 도큐먼트 로드 형식, 60개가 넘는 DB 선택지 등 모든 과정을 세세하게 커스터마이징 할 수 있어요. 잘만 설정한다면, GPTs 로 만든 챗봇 대비 내가 원하는 형식에 가까운 답변을 받을 수 있는 것은 물론, GPT 에서는 지원하지 않는 다양한 기능 구현이 가능하다는 장점이 있습니다. 예를들어, 폐쇄망에도 구축할 수 있는 챗봇을 만드는 것도 가능하구요. 다만, 코딩과 LangChain 프레임워크에 대한 이해가 선행되어야 한다는 진입장벽은 존재합니다. 비용은 LangChain 으로 구현시 전부 무료 모델을 사용하면 운영비 밖에 안듭니다. (서버비용 정도) 하지만 유료 과금 모델(GPT, Claude 등)을 사용하면 사용한 만큼 과금이 됩니다. 반면 GPTs 는 정액제 이기때문에 한달 $20 만 내면 무제한(하루 제한은 있지만..) 사용이 가능하죠! 정리하자면, 노코드로 비교적 쉽게 개발한다면 GPTs, 상품화 단계까지 고려한다면 LangChain 을 선택할 것 같습니다. 나 혼자만 사용하거나 한 명의 사람을 위한 개인화된 비서는 GPTs 로도 충분히 훌륭한 GPT 만들 수 있습니다.

[@Dr.Ahn.]

@@teddynote 와 정확히 이해 했습니다. 최근에 크롬 확장 프로그램 'Deploy GPTs'로 커스텀 GPTs를 일반에 배포하는 방법이 있더라고요. 유료 사용자들이 아니니 모든 API비용은 내가 내는 것이고요..ㅎㅎ GPTs도 이런식으로 배포가 가능하니 더욱 RAG과 비교가 되었습니다. 답변 너무 소중하고 감사합니다!

[@teddynote]

@@Dr.Ahn. 감사합니다. 또 궁금한 점 있으시면 댓글 남겨주세요~

[@Dr.Ahn.]

@@teddynote 구축방식에 따라 운용 비용이 궁금합니다ㅠ 커스텀 gpts에 pdf 12개 올려놓고 내가 하는 질문에 맞는 pdf를 찾아서 거기에 있는 내용을 요약해주도록 했는데, 한번 질문당 300원 정도 비용이 발생하네요 ㅎㅎ 이게 매번 질문마다 12개 pdf를 모조리 다 읽어서 그런건가요? 혹시 RAG방식을 사용할때 벡터DB 저장소를 사용한다면 이런경우에 비용이 확줄어들게 되나요? GPTs 내부가 어떤방식으로 돌아가는지 모르겠지만 제 생각에는 GPTs도 랭체인처럼 knowledge에 올려놓은 pdf들을 나름의 벡터db로 저장을 해서 연산을 할 것 같은데, 질문당 300원정도씩 비용이 발생되니 놀랐습니다. 실제로 대답으로 출력되는 텍스트는 한글로 1,000자 내외거든요. 실제로 RAG에서 gpt4.5터보를 쓸때 한번의 질문당 대략적인 비용은 어느정도 발생하는게 맞나요?

[@AIBot-vt8bw]

안녕하세요 자체 리눅스 서버를 이용해서 streamlit이나 langserver로 배포를 하고 싶은데 가능할까요?

[@teddynote]

리눅스로 충분히 가능해요~ 동작하는 건 동일합니다^^

[@jay-and-b]

감사합니다. Langserve가 아직 정식 출시가 아니어서 아쉽네요ㅜㅜ 코딩을 하나도 몰랐던 기획자였는데 테디님 덕분에 이제 백엔드에서 RAG 챗봇은 구현 가능하게 되었습니다. RAG 챗봇은 근시일 내에 엄청나게 많이 쓰일 것이라 생각합니다. 강의도 기대하고 있습니다. 앞으로도 잘 부탁드립니다.!!

[@teddynote]

정말정말 감동의 댓글 감사해요. 기획자 이셨는데 RAG 구현하신건.. 제가 잘 알려드렸다기 보다 원래 소질이 있으셨던 거에요~! 대단한 열정이십니다! 앞으로 저랑 손잡고 높은 곳으로 고고 하시죠~

[@user-xt6rz4ec2y]

라마3로 대체해도 동작이 가능한가요? (가능하시면 수정 코드도 부탁드립니다) 감사합니다.

[@teddynote]

가능합니다 이미 영상으로 업로드 해두었습니다. 🔥#llama3 로 #agent 🤖 만드는 방법 + 8B 오픈 모델로 Agent 구성하는 방법😉 kzbin.info/www/bejne/ZmWwfmOGjdtlfM0