เล่น Airflow กับ Docker บนเครื่องตัวเอง

[@natakritch2926]

สาธุครับบ

[@kikookboy]

อยากทราบวิธีเซต ให้ airflow ดึงข้อมูลจากหลายๆที่มาลง database ใน docker จังครับ database พวก mysql

[@kikookboy]

รอติดตามนะครับ อยากนำประยุกใช้ในหน่วยงานจัง

[@thaweechaij4184]

สุดยอดเลยครับ ผมลองทำตามเป๊ะๆ ได้เป๊ะๆ (โปรแกรมเมอร์มือใหม่)

[@THEJOSHFITROUTINE]

โดนใจมากครับ ขอบคุณครับพี่กานต์

[@DataEngineerCafe]

ขอบคุณครับ ดีใจที่ชอบนะครับ ^^

[@PornmongkonPongsai]

ขอบคุณคร้าบบบ

[@สายรุ้งรวีนวมะชิติ]

มันดีกว่าลงด้วย pip install ที่เครื่องยังไงหรอคะพี่

[@DataEngineerCafe]

ถ้าเปรียบเทียบในเชิงการใช้งานนะครับ การที่เราเลือกใช้แบบ Docker ทำให้เราสามารถติดตั้งแค่ Docker บนเครื่องของเราได้ และไม่ต้องปวดหัววุ่นวายกับการจัดการ packages ต่างๆ และ dependencies บนเครื่องของเรา เราย้ายไปจัดการในตัว Docker ได้เลย แล้วก็ถ้าเรามีตัว Docker Image แล้ว เราสามารถเอา Image นี้ไปรันที่เครื่องไหนก็ได้ (ที่ติดตั้ง Docker ไว้แล้ว) เราก็จะได้ Airflow ที่เหมือนกันเป๊ะๆ เลยครับ ในขณะที่เราใช้ pip install ทำให้เราต้องมาจัดการ packages กับ dependencies เอง ว่าเราจะต้องติดตั้งอะไรบ้าง ขั้นตอนต่างๆ จะวุ่นวายมากกว่าถ้าเราไม่มีการกำหนดเวอร์ชั่นของ packages ต่างๆ ไว้อย่างชัดเจนครับ แบบ pip install อาจจะมีประเด็นที่ว่าเวลาเราเซตอัพที่เครื่องหนึ่งแล้ว ถ้าเราไปเซตอัพอีกเครื่องหนึ่งผลลัพธ์ที่ได้อาจจะไม่เหมือนกันครับ อีกเครื่องหนึ่งอาจจะรัน Airflow ไม่ขึ้นเลย อันนี้ต้องมาคอยหาสาเหตุแก้ไขเพิ่มเติม การใช้ Docker ตอนเริ่มแรกจะลำบากกว่าวิธี pip install ครับ แต่ในระยะยาวชีวิตจะสบายกว่ากันเยอะ ^^ ถ้ามีอะไรสงสัยเพิ่มเติม ถามมาเพิ่มได้เลยนะครับ 😉

[@สายรุ้งรวีนวมะชิติ]

@@DataEngineerCafe ขอบคุณค่ะ สำหรับรายละเอียด ตอนนี้เพิ่งย้ายมาทำงานสาย Data ค่ะเลยหาความรู้ แต่ไม่ค่อยเก่งอิ้งเท่าไร รอติดตามพี่ทำ Usecase เพิ่มนะค๊ะ

[@DataEngineerCafe]

@@สายรุ้งรวีนวมะชิติ ขอบคุณมากครับ ^^

[@maiooo1800]

เราสามารถใช้ docker toolbox แทนได้มั๊ยคับ ผมมี memory แค่ 8g 😂

[@DataEngineerCafe]

ใช้แทนได้ครับผม