Xử lý dữ liệu trong thời gian thực với Apache Kafka

[@hieuqp]

kafka, rabbitmq, anh giải thích hai thằng này rõ hơn được không? Kafka là một data streaming hay một Message broker anh nhỉ?

[@giabinhhoang2351]

kafka có dành cho transform data và chuyển dữ liệu từ db này sang db khác ko a. Em mới tìm hiểu nên chưa rõ lắm. Nhưng e nghĩ nó ko phải là công cụ dành cho việc xây data pipelines

[@nhamhung]

Bản thân Kafka thường sẽ là Message Broker để Decouple các ứng dụng khác nhau nếu mình dùng kiến trúc Microservices, hoặc là trong công ty nếu các phòng ban khác nhau muốn lấy dữ liệu từ nhau một cách flexible thay vì trực tiếp gọi API của nhau chẳng hạn. Ngoài ra nếu em cần các pipeline để xử lý dữ liệu đến từ các nguồn real-time chẳng hạn như là sensors, logs, events, ... thì có thể set up Kafka để chứa dữ liệu được stream vào từ các nguồn Producers kia và sau đó viết các ứng dụng Consumers xử lý data này dùng Kafka Streams/Spark Streaming/Flink để transform và chứa vào Data Warehouse. Kafka cũng có thể dùng để Replicate Database bằng Change Data Capture (CDC). Cụ thể là tất cả những events như là Insert/Update/Delete từ source DB sẽ được stream để target DB xử lý tương ứng -> đảm bảo 2 DB có trạng thái giống nhau in real-time

[@quyetleduy6440]

a ơi, a cho em xin file .md kia với ạ, em cảm ơn a

[@vierriven1811]

anh có social media nào không ạ?

[@nhamhung]

FB của anh đây nha: facebook.com/nhamhhung/

[@vierriven1811]

Anh accept em với nha em mới gửi request đó ạ

[@nguyenduyta7136]

Nếu thế doanh nghiệp có bị Kafka ăn cắp dữ liệu không

[@nhamhung]

Mình không quá rành về bảo mật để trả lời hoàn toàn nhưng thông thường, Kafka và Zookeeper là các phần mềm open-source mà doanh nghiệp sử dụng để quản lý một cụm máy tính của chính họ và cung cấp các tính năng streaming -> dữ liệu vẫn được kiểm soát bởi doanh nghiệp chứ không phải qua một bên thứ ba