Airbyte, El final de los Ingenieros de Datos

[@HVjugo]

Cada vez mejores los videos! Excelente la edición tmb!

[@CodinEric]

Todos los créditos al editor

[@michaellan_eng]

He usado y uso meltano, me gusta bastante, no he probado airbyte, pero se ve bueno.

[@carlosplaza575]

Excelente! Podrias hablar de CDC (Change Data Capture) y como implementarlo con airflow.

[@CodinEric]

No lo vas a creer pero hace más de un mes que vengo investigando el tema. Iba a sacar video esta semana pero estoy bloqueado con algo. Lo que si CDC lo veo más óptimo para streaming que para Airflow, podrías, pero no es tan lógico. Pd: si te quedas con la duda investiga debezium 🙊

[@dickduran]

​​@@CodinEric pero si el CDC es una gran ventaja manejarlo con batch, no solo con streaming, más cuando hablamos de ELT muy complejos, es bueno implementarlo tanto a nivel de source como a nivel de DW para mantener histórico de datos maestros.

[@ursulamaldonado1957]

Un beso y un Abrazo a la mamá de Erick ! gracias por existir ERICK !

[@roddyib]

Sería muy interesante que hiciera el Review del update o que pudieras darnos tu input

[@ramirogallo6484]

Muy bueno querido!

[@CodinEric]

❤️

[@peralser]

Muy bueno el video. Gracias por compartirlo.

[@quierebija]

Amigo muy buen video,. pero fijate q nose si es ami pero se me escucha en el auri izquierdo nomas y me mato el cerebro jeje gracias por el video.!

[@gonzalomaidana5429]

a mi tambien jaja

[@CodinEric]

Hubo un problema con la pista de audio del micrófono 😢

[@telacuti]

@@gonzalomaidana5429tuve que verlo en vertical (smartphone) para escucharlo bien

[@nicolasarosteguy3916]

muy bueno! sabes si puedo parametrizar la extracción de alguna db (SQL server, postgresql, la que sea) mediante una extracción con sql? es decir, para no sacar toda la tabla o todo el esquema, exportar el resultado de una query. Gracias

[@enriqueruiz320]

Nouuu gracias seguiré con mi humilde SSIS. Saludos 🫠

[@Facu55]

A mi oído izquierdo le encantó este video 😂

Gracias por esta presentación

[@juanfran6969]

Hola CodinEric, al 2024 esta herramienta cuanto a mejorado, que tanto se puede usar en una empresa como una buena herramienta de carga de datos y orquestacion ?

[@sergiomelgarejo4500]

Yo quiero saber lo mismo, si airbyte es una solución lo suficientemente robusta para utilizar en entornos de producción.

[@hernanarica6389]

Tenes cursos en algún lado? Explicas muy bien!

[@CodinEric]

Varias personas me vienen pidiendo cursos de ingeniería de datos pero todavía no cree nada 😅

[@hernanarica6389]

@@CodinEric algún lugar donde poder estudiar o cursos que recomiendes? Soy de Argentina

[@kevinzepeda613]

Supongo que temporal será algún método de cache

[@mikepulgar]

buen video bro, podrias ahora hacerlo con Octavia cli. Saludos.

[@CodinEric]

No había escuchado de Octavia-cli lo voy a investigar

[@mikepulgar]

@@CodinEric sale video! Jaja

[@FranklinJaraOcas-ze8mc]

Hola codinEric, estoy instalando el servicio airbyte en ubuntu, pero estoy teniendo problemas con el contenedor de docker para que los demas servicios se conecten en la base de datos.

[@FranklinJaraOcas-ze8mc]

Aquí tienes un resumen de los problemas relacionados con la base de datos y un resumen general del log que proporcionaste: Problemas relacionados con la base de datos: Problema de conexión de la base de datos con el contenedor del servidor: Error de conexión debido a la configuración de red o credenciales incorrectas. Errores de inicialización de la base de datos: Mensajes de error relacionados con la inicialización de la base de datos al arrancar el contenedor.

[@amandapares7132]

wow esto se ve muy interesante, mi nivel es muy básico estoy recién empezando a aprender y entiendo la mitad aun así me gustan muchos tus videos y los memes entremedio eeee ajajja bajan mi estres xd

[@CodinEric]

Podés arrancar por videos más básicos e ir incrementando el nivel :)

[@JardanySvidrigailov]

No sabes cuánto usa de RAM airbyte?... Tengo una de 8, y uso Bodhi Linux...

[@fedesardo]

Crack como siempre Eric ! Consulta, si vas a hacer extracción y carga, no te gusta apache nifi ? Abrazo

[@CodinEric]

Lo tengo en el backlog, se que mucha gente lo usa pero nunca tuve el placer

[@fedesardo]

@@jms2182 personalmente creo que nifi es un EtL y destaco la t minúscula por que considero es para transformaciones pequeñas. Luego para cosas más grosas llamamos al amigo spark. Yo usé NIFImucho tiempo a diario y me parece muy bueno.

[@wriiko]

Muy bueno Eric! Sabes que yo no veo el directorio /tmp Rarísimo

[@CodinEric]

Si estás usando Windows creo que el temporal se llama distinto

[@jucajata95]

Men, muy buen video, pero no mostraste como se veían tus datos en la bd! Igual gracias por la info, actualmente creo las connections con la API y me ha servido mucho para conectar postgres con azure blob storage.

[@miguelangelortizsalgado1201]

excelente

[@kevinzepeda613]

No se va acabar el trabajo, solo se hizo mas interesante

[@rguez2332]

Si Airbyte sustituye la extraccion de datos. En que momento el Data Engineer sigue necesitando el uso de python???

[@CodinEric]

Te contesté en el otro vídeo 🥰

[@Onnti]

uu amigo la re subio este vidio, alta herramienta

[@Onnti]

volvi a ver si ahora la uso

[@gustavoperez8374]

necesito un coach data para arrancar en esta mundo...

[@STEVEN4841]

Pero..Al ser open source , no es Malo que tenga todas Tus contraseñas ..asi podran ver todos Tus Datos...

[@CodinEric]

El código que usas es de código abierto. La implementación corre por tu cuenta y no la compartis :)

[@valentindome8853]

Pense que era algo de IA

[@lucasramos24]

Estoy siguiendo una ruta para ser data enginner no me la bajes así jaja