데이터 파이프라인을 가장 효율적으로 개발, 배포, 운영하는 방법! | 카프카 커넥트 Kafka Connect

[@seh22]

ESSyncConnector 설치 후 REST API 하나 호출해 커넥터를 실행하는 것만으로 ES에 싱크 맞추는걸 해결했는데요. 사용 전에 해당 영상을 봤으면 좀 더 이해가 쉬웠을 것 같네요ㅎㅎ 항상 좋은 영상 감사합니다~

[@Alex46676]

원영님 잘봤습니당 ㅎㅎ

[@DevWonYoung]

고마워요😁

[@vehekalfyywehhshxb]

영상 감사합니다.

[@DevWonYoung]

시청해 주셔서 감사드립니다.

[@jayasome199]

유용한 내용 감사합니다!

[@DevWonYoung]

봐주셔서 감사합니다!

[@김인호-u8x2t]

좋은 영상 잘봤습니다!

[@attention42]

영상 감사합니다 :)

[@DevWonYoung]

저도 감사해요

[@배성현-s4p]

좋은 영상 감사합니다 :)

[@DevWonYoung]

봐주셔서 감사합니다!

[@도둘리-i7k]

엘릭서나 erlang은 어떻게 생각하시나요?

[@joopark5709]

안녕하세요 ! 좋은영상 올려주셔서 감사합니다. 혹시 시간이 되신다면 카프카 스트림즈와 카프카 커넥트의 차이에 대해서도 설명해주시는 영상이 있으면 좋을 것 같습니다! 아직 두개의 차이를 잘 모르겠네요 ㅠㅠ

[@DevWonYoung]

카프카 스트림즈는 상태기반 데이터 처리를 확장성 있게 하면 좋고 커넥트는 특정 DB,서버와 통신이 자주 일어날 경우 활용하면 좋습니다. 스트림즈에 대한 상세한 설명 영상은 if.kakao.com/session/22 를 참고하세요

[@joopark5709]

@@DevWonYoung 상세하게 답변 주셔서 정말 감사합니다 카프카 책을 샀는데 저자가 원영님이었네요 ㅎㅎㅎ! 보고 많이 배울게요!

[@최대한-y6u]

스파크를 사용하여 카프카 토픽으로 부터 데이터를 전달받고 전처리후 nosqldb 로 저장 하는 jar파일을 만들어 restApi 호출을 통해 스파크 어플리케이션을 실행시키려거ㅜ하는데 이것도 커넥터로 볼 수 있을까요?

[@DevWonYoung]

안녕하세요 데이터를 싱크/소스로 사용하는데만 사용하는것이 커넥터이고 말씀하신 내용은 다른 애플리케이션을 만드셔야할거같아요.

[@kil12342]

좋은 영상 감사합니다 제가 카프카를 잘 몰라서 질문드립니다만, 분산 모드 커넥트를 구성하면 Failover처리가 알아서 설계되어 있나요? 아니면 유저가 각 트러블마다의 대응을 설정해야 하나요? 이런 고가용성 구성에도 몇가지 종류가 있는걸로 아는데 그런 부분을 적절히 파라미터 설정 비슷하게 할 수 있을까요?

[@DevWonYoung]

DS KIL님, 카프카 커넥트는 분산모드로 구축할 시에 task를 자동으로 분배하여 failover처리를 합니다!

[@Naguneolsio]

안녕하세요 원영님. 질문이 있어서 유튜브에 댓글을 남깁니다! 상당히 포괄적인? 질문일 수도 있지만 이번에 카프카를 도입하기도 해야하고.. 여러가지 궁금하여 댓글을 달아봅니다. 1. 카프카는 데이터 무결성을 보장하는지? 2. 데이터 위변조를 막는 방법을 갖고있는지? 갖고 있다면 어떤 방법으로 가능한지? 3. 데이터 저장지 용량 관리는 어떤식으로 해야하는지? 위 세가지 정도일 것 같습니다. 답변 가능하시다면 정말 감사할 것 같습니다!

[@DevWonYoung]

상당히 추상적인 질문인데요! 무결성이란 무엇인지? 위변조란 무엇을 뜻하는지에 대한 정의가 우선 필요할것 같습니다. 데이터 저장 용량 관리는 브로커의 disk 사이즈를 기준으로 운영하는 것이 일반적이랍니다!

[@Naguneolsio]

@@DevWonYoung 음.. 토픽에 있는 메시지들이 악의적인 사용자에 의해 변경될 수 없었으면 하는데 이런 방안이 카프카에 마련되어 있는지 궁금합니다! 제가 이걸 궁금해하는 이유는 회사에 카프카를 도입하기 위해선 먼저 위쪽 분들(?)을 설득할 증빙자료가 필요한데 공식 문서에는 비슷한 자료가 나오질 않네요 ㅠㅠ...

[@DevWonYoung]

@@Naguneolsio 카프카의 경우 프로듀서에서 보낸 데이터가 브로커에 저장되고 나면, 브로커에 저장된 데이터는 수정이 불가능하다는 특징이 있습니다. 이점 참고 부탁드리겠습니다!

[@Naguneolsio]

@@DevWonYoung 감사합니다!

[@shs9811]

안녕하세요. 원영님 덕분에 카프카를 재미있게 공부하고 있는 주니어 개발자입니다. 원영님 강의를 들으면서 한 가지 궁금점이 생겼는데요. 실시간 데이터를 카프카를 통해서 Elasticsearch에 적재하고 싶은데요. 스트림즈를 사용하는 대신에 카프카 커넥트를 사용해도 되나요?

[@DevWonYoung]

두개 다 사용하는데는 이슈가 없습니다만, 반복적인 파이프라인 생성이라면 커넥트를 추천드립니다.

[@shs9811]

@@DevWonYoung 답변 주셔서 감사합니다 :) 한 가지 더 궁금한 점이 있는데요. kafka consumer와 connector의 차이가 무엇일까요?

[@bongsmith]

안녕하세요 로그스태시같은 것도 커넥트와 커넥터를 활용한건가요?? 각 서버에 떨구기위해 쓰이는 플랫폼이 맞는거죠??

[@DevWonYoung]

로그스태시는 카프카 커넥트와 별개입니다. 전혀 다른 도구라고 보시면 됩니다.