👀 긴 문서(long context) 에 대한 참신한 RAG 방법론: RAPTOR! 논문 리뷰와 코드를 준비했습니다👌

📍RAPTOR 논문: arxiv.org/pdf/2401.18059.pdf
📍코드: github.com/teddylee777/langch...
📍노션 정리: www.notion.so/teddylee777/RAP...
📘 랭체인 튜토리얼 무료 전자책(wikidocs)
wikidocs.net/book/14314
✅ 랭체인 한국어 튜토리얼 코드저장소(GitHub)
github.com/teddylee777/langch...
⭐️ 강의 홍보 ⭐️
LangChain + ChatGPT + Streamlit 강의(VOD 강의)
아래에 사전 등록을 하시면 강의 오픈 후 알림을 발송해 드릴 예정이며, 할인 쿠폰도 같이 제공해 드립니다.
📍 LangChain + ChatGPT + Streamlit 강의 사전알림 신청 🙏🙏
링크: forms.gle/buoXoiey7YHrVXVq9
#langchain #rag #raptor
---
테디노트(깃헙 블로그) : teddylee777.github.io
머신러닝 혼자서 스터디 : github.com/teddylee777/machin...
LLM 프로젝트: llm.teddynote.com

[@teddynote]

오늘도 실시간 채팅 놀러와 주신 분들 모두 감사드립니다! 궁금하신 점 댓글 남겨 주시면 열심히 답글 달께요!! 즐거운 주말 되세요!! 감사합니다~

[@Euni2345]

좋은 강의 감사합니다! 오늘도 잘 봤습니다 ㅎㅎ

[@teddynote]

항상 시청해주셔서 감사합니다!

[@c4big2]

설명 고맙습니다. 이해하기 쉽게 해주셨네요.

[@teddynote]

좋은 말씀 남겨주셔서 감사합니다👍

[@youngjoonjun9860]

좋은 내용 감사합니다. 잘 보았습니다.~

[@teddynote]

감사합니다~ 더 좋은 내용 열심히 준비하겠습니다!!

[@user-zy1ik4tg9o]

강의 계속 잘 듣고 있습니다.

[@teddynote]

감사합니다👍👍👍

[@user-ei5dj4vt9r]

잘 보았습니다! 감사합니다

[@teddynote]

영상 시청해 주셔서 감사해요 즐거운 주말 보내세요!!

[@user-gq5nm1vj7j]

어디에도 이런 설명 없었다. langchin, RAG의 끝판 설명입니다. 감사합니다. 복받으실꺼에요.

[@teddynote]

좋은 말씀 남겨주셔서 감사합니다. 정말 큰 힘이 되었습니다🙏🙏

[@KooYongPAK]

좋은 내용 감사합니다

[@teddynote]

감사합니다🙏🙏

[@user-os7no3rq3n]

오 궁금해하던 내용이라 흥미롭게 봤습니다.! 마침 고민하던 내용이라 저는 제 웹블로그를 RAG로 사용할때의 고민이었습니다 그래서 2stage로 나눠서 1stage는 모든 블로그 내용을 추상화한 요약본이며, 이후 2nd stage에서 low level을 추출하는 방식으로 시도해봤는데 역시 논문은 훨씬디테일한 클러스터링, 최대 토큰 제한등 배울게 많네요!

[@teddynote]

정말 오랜만에 저도 시간 가는 줄 모르고 재밌게 봤던 논문이었습니다~^^ 정말 똑똑한 분들이 많은것 같아요🤤

[@ungaria446]

목소리도 좋으시고 내용도 알차서 재미있게 잘 봤습니다. Knowlege graph 를 이용한 RAG 내용도 한 번 다뤄주시면 감사하겠습니다.👍👍

[@teddynote]

좋은 의견 감사드립니다~ knowledge graph 도 다뤄보겠습니다!! 감사합니다👍👍

[@user-ig7gu1zj8t]

감사합니다❤

[@teddynote]

감사해요👍👍

[@user-dc9bz8bp6y]

감사합니다

[@teddynote]

저도 감사합니다👍

[@ruahpo8ino]

랩터를 구축하면서 느낀 제한점은 llm의 요약 성능까지 고려해야 하는구나..입니다. 서비스 할 땐 gpt4가 부담스럽다 보니 오픈 모델을 쓰는데, 모델의 요약 성능이 안 좋거나 특정 단어를 반복(ex: 더 자세한 정보를 원하시면... 등)해서 클러스터링이 잘 안 되는 현상을 발견했습니다. 현재는 요약 쪽만 gpt4를 쓰거나 다른 스플리터나 파서들을 적절히 섞어가며 랩터에 붙이는 연구를 하고 있습니다. 😂

[@teddynote]

정말 좋은 인사이트 감사합니다👍👍 저는 사실 로컬 모델보다 gpt나 anthropic 모델을 쓰다보니 그러한 애로사항은 몰랐는데요 기업이 로컬 모델 도입시에는 말씀해 주신 것 처럼 요약성능이 떨어져 결과도 연쇄적으로 안좋게 나오는 현상도 발생할 수 있겠군요!! 여기서 하나 배워갑니다 감사합니다🙏

[@pablo-se3ki]

질문 있습니다! # 트리 구축 leaf_texts = docs_texts # 문서 텍스트를 리프 텍스트로 설정 results = recursive_embed_cluster_summarize( leaf_texts, level=1, n_levels=3 ) # 재귀적으로 임베딩, 클러스터링 및 요약을 수행하여 결과를 얻음 여기서 texts_split을 leaf_text로 사용하지 않고, docs_texts를 leaf_texts로 사용하신 이유가 있을까요?

[@teddynote]

특별한 이유는 없습니다. 원 저자의 소스를 인용해서 전처리 단계에서 docs_texts 를 사용해서 split 했기 때문에 그런 것이라서요~ 큰 의미는 없습니다. split 단계에서 변수 leaf_text 로 사용하셔도 상관없습니다.

[@damoa2023]

@@teddynote 답변 감사합니다!

[@sws4u]

강의 감사합니다~ 혹시 100token 제한에 대한 코드 위치가 어딘지 알 수 있을까요?

[@cocosno2191]

Raptor를 쓴것과 안쓴것의 수치 차이가 얼마 안나 보이는데 효과가 있는게 맞을까요?

[@user-fh2cw8ug9f]

RAG구조의 최대 단점은 특정 특징을 가진 자료를 "모으는"게 안된다는 점. 이러한 부분들은 knowledge graph or SQL query engine을 활용해서 극복이 가능

[@teddynote]

좋은 의견 감사합니다! knowledge graph 쪽 논문도 더 봐야겠군요!!

[@c4big2]

일반적으로 문장들이 비정형의 경우 knowledge graph 삼중항 구성에 있어서 애로사항이 많이 있을거에요. 조금이나마 정형화된 내용들을 knowledge graph 로 만들기 쉽죠. 다국어를 graph db 구성하는것도 매우 어렵죠

[@jh7529]

기존 랭체인을 이용한 RAG에도 바로 결합해서 써볼수 있으려나요?

[@jh7529]

기존에는 문서청크(원본 페이지 단락 등)를 참조문서로 원본파일의 해당 부분을 페이지숫자 같은걸로 참조할수 있었는데, 이렇게 요약된 형식 또는 매우작은 문장단락이 되버리면 참조근거를 달기는 쉽지 않겠네요 ㅠ

[@teddynote]

기존 RAG에 바로 접목해 보실 수 있습니다! 출처 표기는 제가 아직 거기까지는 테스트를 해보지 않아 딱 떨어지는 답을 내 드리기 어렵습니다만 중간 요약 과정에서 출처를 남기라는 프롬프트 엔지니어링으로 해보면 어느 정도 근거는 달아주지 않을까 예상해 봅니다👍

[@damoa2023]

테디님 공유해주신 코드 페이지 오류나서 보이지 않는데, 수정해주실 수 있을까요?

[@teddynote]

죄송합니다. 수정했습니다!!!

[@MrSdfgh98]

안녕하세요 테디님 채널 유료 가입하면 어떤 혜택이 있나요?

[@teddynote]

향휴에 유료 회원님들을 위한 강의 업로드 예정인데요 아직 준비가 안되어 있어서요!! 지금 가입하지 말아주십쇼!! 추후에 공지사항 드리겠습니다^$ 그래도 관심가져 주셔서 감사합니다!!

[@MrSdfgh98]

네 ~@@teddynote

[@user-ei5dj4vt9r]

혹시 강의의 코드는 어디서 볼 수 있을까요?

[@teddynote]

더보기 란에 넣어 두었습니다^^

[@briancho1952]

Retrieve는 ”리트리-브“ 입니다 ㅠ 내용 설명은 유익했습니다~

[@teddynote]

감솨합니다~ 리트리-브 앞으로는 유의하겠습니다~👍👍👍