Running EMR jobs with Airflow

  Рет қаралды 7,919

dacort - Data Analytics

dacort - Data Analytics

Күн бұрын

Use EMR on EC2 and EMR on EKS with Amazon Managed Workflows for Apache Airflow
Source code available here: github.com/dac...
Table of Contents:
00:02 - Intro
01:51 - CDK Stack overview
05:04 - Creating a new Connection
05:21 - Trigger EMR on EC2 job
06:15 - EMR Studio Cluster UI
07:36 - Trigger EMR on EKS job

Пікірлер: 1
@giku1035
@giku1035 Жыл бұрын
좋아요
Running Spark jobs on Amazon EMR Serverless
25:12
dacort - Data Analytics
Рет қаралды 10 М.
Intro to Amazon EMR - Big Data Tutorial using Spark
22:02
jayzern
Рет қаралды 31 М.
Players vs Pitch 🤯
00:26
LE FOOT EN VIDÉO
Рет қаралды 128 МЛН
When u fight over the armrest
00:41
Adam W
Рет қаралды 28 МЛН
ЛУЧШИЙ ФОКУС + секрет! #shorts
00:12
Роман Magic
Рет қаралды 39 МЛН
Amazon EMR Deep Dive and Best Practices - AWS Online Tech Talks
40:32
AWS Developers
Рет қаралды 57 М.
How to submit Spark jobs to EMR cluster from Airflow
14:38
StartDataEngineering
Рет қаралды 12 М.
Airflow on Kubernetes: Containerizing your workflows
1:01:27
Apache Airflow
Рет қаралды 19 М.
Airflow for Beginners - Run Spotify ETL Job in 15 minutes!
16:38
Karolina Sowinska
Рет қаралды 143 М.
Amazon EMR - When to use EMR on EC2, EKS, and Serverless
7:37
dacort - Data Analytics
Рет қаралды 3,2 М.
AWS EMR Serverless - What is it? [FULL TUTORIAL in 25mins]
23:35
Johnny Chivers
Рет қаралды 16 М.
Do NOT Learn Kubernetes Without Knowing These Concepts...
13:01
Travis Media
Рет қаралды 322 М.
AWS EMR Tutorial [FULL COURSE in 60mins]
1:01:06
Johnny Chivers
Рет қаралды 64 М.
Players vs Pitch 🤯
00:26
LE FOOT EN VIDÉO
Рет қаралды 128 МЛН