읽을건 많은데 시간이 없다고? AI 웹 스크레이핑으로 1인뉴스 만들기

예나 지금이나 우리는 "그" 작가, "그" 감독, "그" 크리에이터를 좋아합니다.
정보를 찾는 기술은 엄청나게 발전했습니다. 하지만 과연 "그" 작가, "그" 감독, "그" 크리에이터의 정보를 더 잘 받아볼 수 있는 기술은 얼마나 발전했나요? 최신 기술을 작가 중심 컨텐츠 소비에 적용해 볼 때입니다.
이 비디오는 RSS와 Jina AI 등을 이용한 LLM(SLM) 웹 스크레이핑, OpenAI의 Structured Output 등을 결합해 윤리적인 나만의 뉴스레터 구독 시스템을 만드는 방법을 제안합니다. 내가 좋아하는 컨텐츠 생산자들을 더 열심히 좋아할 수 있는 시스템을 만들어봅시다.
당신의 문제를,
SOLVIT
🔖 목차
0:03 RSS와 웹 스크레이핑 소개
0:20 Jina AI Reader 활용법
2:08 중요한 이야기
4:48 개인화 뉴스레터 구현 단계
6:00 n8n 환경 구축
6:24 Step A. RSS 이용하기
8:00 RSS의 한계와 오픈소스 RSSHub
8:50 Step B. 언어모델 웹 스크레이핑 Jina AI Reader - RSS v2
13:40 Step C. OpenAI Structured Output - 컨텐츠 분류 자동화
16:10 '찾았다' 서비스 소개
16:33 웹 스크레이핑 윤리
17:15 마무리 및 활용 제안
✉️ 비즈니스 및 협업 문의
[e-mail]
📝 문제해결 유즈케이스, 아이디어 제안
forms.gle/HRgV...
💎 Thanks to
Jina AI Reader: jina.ai/
긱뉴스 홈페이지: news.hada.io/
파이토치 커뮤니티 읽을거리: discuss.pytorc...
RSSHub 오픈소스 프로젝트: github.com/DIY...
OpenAI API 및 Structured Output: openai.com/ind...
n8n 노코드 도구: n8n.io/
Jina AI Reader (Reader-LM) 문서 원문: jina.ai/news/r...
🔎 비디오에 등장한 소스코드, 프롬프트, 번역문
댓글 참고
🔎 서비스 '찾았다'
solvewithit.no...

[@jsy7710]

솔브잇님의 생각이 반영이 잘된것 같아 너무 멋지네요. 대단하십니다.

[@MyPaseMyLife]

요즘 이렇기 달라졌군요 많은 인사이트를 얻고 갑니다. 감사합니다😊

[@hwantastic55]

내용도 알차고 설명도 깔끔해서 굿이에요~❤

[@Kor_HISTORY]

오늘도 많은 인사이트 얻고 갑니다.

[@MediumWellDone]

오호~~ 대박이네요...잘 사용해 봐야겠네요~~ 감사합니다

[@KyuseoShim]

유용한 정보 감사합니다. 많은 인사이트를 얻었습니다 ^^

[@UnrealHistoryTales]

내용 좋네요. 감사히 잘 보고 갑니다.

[@SDlibrary]

와!! 감사합니다!!

[@SOLVwithIT]

서비스 & 비디오에 등장한 워크플로, 프롬프트, 번역문

[@SOLVwithIT]

🔎 서비스 solvewithit.notion.site/1011f06ea62e80e58d70db4e919b32b7 🔎 비디오에 등장한 워크플로, 프롬프트, 번역문 forms.gle/6mcvB6qPfp16QxUT6

[@Kor_HISTORY]

답글이 안보여요

[@SOLVwithIT]

​@@Kor_HISTORY 엥..? 사라져버렸네요 -> 음..? 다시 보이는데요? 🔎 서비스 solvewithit.notion.site/1011f06ea62e80e58d70db4e919b32b7 🔎 비디오에 등장한 워크플로, 프롬프트, 번역문 forms.gle/6mcvB6qPfp16QxUT6

[@SKINCAREking]

감사합니다 !!!

[@quiestce]

콘텐츠 발굴 누가하나요? 정확히 제가 스스로 하다가 골머리 싸매고 있던 작업을 딱 가져오셨네요. 참고 많이 하겠습니다. 감사합니다.

[@sukiokishasha]

너무 좋은 자료 감사합니다. 덕분에 생각의 과정에도 변화가 생기고 있습니다. :)

[@heewungsong8081]

N8n이 약간 make처럼 쓸수 있는건가요? 신기하네요!

[@peterahn5758]

RSS와 Jina AI를 이용하여 웹 스크레핑 정보 아주 유익했습니다. 감사합니다. 솔브잇님께서 혹시 아바타와 Role Playing하는 Chatbot 만드는 방법도 공유해 주실 수 있을까요? Hygen/D-ID 등의 API를 이용해 OpenAI/Anthrophic이 Role Playing하도록 하는 Chatbot을 의미합니다. 솔브잇님의 새로운 도전에 응원합니다.

[@SOLVwithIT]

좋은 제안 감사드립니다!!

[@cypercho]

안녕하세요. 항상 잘 듣고 있습니다. 이 번 Chapter의 경우 파이토치 자료를 GPT로 보내기 위해 messages field set에 Array를 지정하고 실행 시 "To fix the error try to change the type for the field "messages" or activate the option “Ignore Type Conversion Errors” to apply a less strict type validation" 오류가 발생합니다. 자료변환 시 오류가 있는 듯 한데.... 오류를 잡지를 못하겠네요. T.T;;; 임시로 "Ignore Type Conversion Errors" Option을 통해 해당 Node는 진행하였으나 OpenAI로 Request할 때 Array문제로 막히네요. 항상 새로운 Insight를 등록해 주시는 점 다시 한번 감사드립니다. 즐거운 하루 보내십시오. 근데 고정 댓글에 등록한 "서비스 & 비디오에 등장한 워크플로, 프롬프트, 번역문"은 어떻게 볼 수 있나요? 제가 방법을 잘 모르겠네요. ㅎㅎ

[@SOLVwithIT]

해당 문제 저도 뒤늦게 발견했는데요, 이유는 파이토치 홈페이지 스크레이핑 결과에서 유효하지 않은 char이 포함되어 있기 때문인듯합니다. 우선 저희가 댓글에 달아놓은 워크플로에는 해당 문제 수정해 두었습니다. 프롬프트 만드는 부분을 {{ $json.prompt.quote().replace(/[\x00-\x1F\x7F-\x9F]/g, "") }} 로 변경해보시면 좋을듯합니다.

[@아직은하얀띠]

대단하네요.. 좋은 지식 나눠주셔서 감사합니다.

[@maximus4134]

Jina ai reader

[@SOLVwithIT]

🤫

[@bangkoktracking7810]

지금 MS office 365를 연마다 갱신해서 쓰고있는데, 여기서 클라우드로 꽤 많이 주는거 같은데, 그걸 사용해도 되는거죠?! 요즘 Make가 대세기는해도 n8n관련해서 자꾸 들으니 이것도 거진 비슷해보이네여.

[@SOLVwithIT]

네 다 비슷한 도구입니다! 클라우드 크레딧을 많이 준다면 거기에 올리시는 것이 좋겠네요. :)