[SK TECH SUMMIT 2023] LLM 적용 방법인 RAG VS PEFT, Domain 적용 승자는?

Рет қаралды 16,316

6 ай бұрын

국내 최대 기술 컨퍼런스 'SK TECH SUMMIT 2023'
오늘의 기술이 만들어가는 더 편리하고 안전한 내일의 모습을 선보입니다.
최고의 기술 기업과 전문가들이 경험과 노하우를 나눈 특별한 발표 세션을 만나 보세요.
[발표 내용]
이번 세션에서는 LLM을 특정 도메인에 맞춰 사용하는 방법 중, RAG와 PEFT를 중심으로 비교하여 설명해 드립니다.
ChatGPT 공개 이후 다양한 LLM, 비교적 크기가 작은 sLLM 등의 모델들이 공개되고 있고, 기업에서는 이를 내부 데이터를 활용하여 자체 비즈니스에 최적화 된 챗봇으로 개발하려는 시도가 많습니다.
하지만 이미 방대한 규모의 데이터로 학습된 모델들을 회사가 가지고 있는 데이터로 Fine-tuning 하기엔 데이터의 양, 컴퓨팅 자원 등의 이유로 어려움이 따릅니다.
이를 해결할 방법으로 RAG, PEFT 방법이 활발하게 사용되고 있습니다. SK브로드밴드는 내부 가용 데이터(상담사 매뉴얼, 법무 검토 자료)로 LLM(sLLM)에 RAG, PEFT를 활용하여 PoC를 진행하였습니다. 이 과정에서 얻은 LLM(sLLM) 모델 활용을 위한 AWS 환경 구축 및 Domain 특화 LLM 모델 개발 관련 노하우들을 공유해 드리도록 하겠습니다.
[발표자 소개]
김현석 (SK브로드밴드)
대학원에서 자율주행차량의 Perception, Path Planning, 그리고 설계 데이터 기반 딥러닝 모델링을 연구하였고, 이후 반도체 업계에서 잠시 ML Engineer로 근무했습니다.
SK브로드밴드에서는 데이터 사이언티스트로서 NLP를 활용한 콘텐츠 메타데이터 발굴, 콘텐츠 시청 예측 과제 및 사내 데이터 교육 등을 수행하고 있습니다.
특정 도메인에 얽매이지 않는 데이터 사이언티스트가 되는 것을 목표로 열심히 성장하고 있는 3년차 주니어입니다.
#SK TECH SUMMIT 2023 #SK테크서밋 #개발자컨퍼런스 #AI컨퍼런스

Пікірлер: 10

@soonbinlee4049 2 ай бұрын

사내에서 실제적인 솔루션 구축 경험과 결과를 엿볼 수 있는 귀중한 자료네요. 감사히 보았습니다.

@arrowhead261 5 ай бұрын

좋은 내용 공유 감사합니다. 많은 도움이 되었습니다.

@user-vx5kz6ln2h 3 ай бұрын

좋은 발표 내용 공유해주셔서 감사합니다. 많은 도움 되었습니다. ^^

@kwon3616 4 ай бұрын

설명과 발표 모두 너무 완벽하네요! 도움 많이 되었습니다. 감사합니다

@donghunpark379 2 ай бұрын

내용이 너무 좋습니다. 감사합니다.

@jaein5933 4 ай бұрын

감사합니다

@youngjinp6125 Ай бұрын

설명을 너무 잘해주셔서 쉽게 이해할 수 있었습니다. 감사합니다. 궁금한 점이 있는데, 데이터 증강은 메뉴얼하게 진행하셨나요? 아니면 다른 방식을 사용하셨나요??

@user-td5zp4bk3i 22 күн бұрын

rag는 langchain을 안쓰고 구현하신건가요

@GP-TV 2 ай бұрын

21:10 성능 평가에서 평균이란게 뭘 의미하나요? 서로 다른 평가 항목들간의 평균이라면 의미없는것아닌가요? 그리고 성능 평가를 기존 방법(쿼리기반 검색결과)와의 비교를 해야 sLLM에 RAG, PEFT 적용한 시스템과의 비교가 가능해서 의미가 있을것 같은데 기존 방법에 대한 성능 언급이 없어서 아쉽네요.