Desarrollando un ETL con Azure Data Factory

[@paxnene]

Empieza en 14:50

[@japarradog]

🎯 Key Takeaways for quick navigation: 00:00 🎵 *Introducción musical del webinar.* - Música de fondo como introducción al webinar. 09:31 🎤 *Presentación de los participantes y bienvenida.* - Intercambio de saludos entre los presentadores. - Bienvenida a los participantes del webinar. 10:12 💻 *Inicio del tema: Desarrollo de un ETL con Azure Data Factory.* - Presentación del tema y del experto, Roger Rodríguez. - Breve descripción de las certificaciones y experiencia del presentador. 14:44 🌐 *Explicación de Azure Data Factory y sus aplicaciones.* - Descripción de Azure Data Factory como herramienta para mover datos en la nube. - Mención de casos de uso y aplicaciones prácticas. 16:01 📊 *Detalle de un caso de uso específico y repaso de teoría.* - Análisis de un caso de uso para entender el proceso de ETL. - Repaso teórico de los conceptos clave de Data Factory. 19:03 🛠️ *Profundización en los conceptos técnicos de Data Factory.* - Explicación detallada de los "linked services" y "datasets". - Descripción de cómo se configuran y utilizan en Azure Data Factory. 22:02 ⏰ *Exploración de triggers y procesos de automatización en Data Factory.* - Discusión sobre los diferentes tipos de triggers en Data Factory. - Ejemplos de cómo se pueden automatizar procesos de ETL. 24:00 🌟 *Ejemplo práctico: Mover datos desde un entorno local a la nube.* - Demostración de cómo mover datos desde un entorno local a Azure. - Uso de Data Factory para la gestión y transformación de datos. 26:19 📘 *Conclusión de la sección teórica y transición al laboratorio práctico.* - Resumen de los conceptos teóricos abordados. - Preparación para la demostración práctica en el laboratorio. 26:47 💻 *Descripción de la plantilla ARM en Azure.* - Explicación del formato JSON para definir recursos en Azure. - Uso de Visual Studio Code para abrir y editar la plantilla ARM. 29:05 🌐 *Creación de un grupo de recursos en Azure.* - Proceso de creación de un grupo de recursos en Azure. - Importancia de nombres únicos y configuración de parámetros. 31:06 📦 *Exploración de la cuenta de almacenamiento en Azure.* - Creación y organización de contenedores dentro de la cuenta de almacenamiento. - Uso práctico de diferentes tipos de contenedores para gestionar datos. 32:06 🔍 *Visión general de los recursos creados en Azure.* - Revisión de los recursos creados: Data Factory, base de datos SQL, y cuenta de almacenamiento. - Explicación de la necesidad de un servidor para la base de datos. 34:27 🛠️ *Configuración de Integration Runtime en Azure Data Factory.* - Creación y configuración de Integration Runtime para conectar recursos locales y en la nube. - Uso del Integration Runtime autohospedado para la conexión con entornos locales. 36:43 🔗 *Creación de Linked Services en Azure Data Factory.* - Proceso para establecer conexiones a través de Linked Services. - Ejemplo de configuración de Linked Services para diferentes recursos. 39:43 🔐 *Uso recomendado del Azure Key Vault para conexiones seguras.* - Importancia de usar Azure Key Vault para gestionar contraseñas y datos sensibles. - Consejo para mantener la seguridad en las conexiones. 40:01 🌐 *Creación de Linked Services para Azure Data Factory.* - Proceso de creación de Linked Services para diferentes fuentes de datos como Blog Storage y SQL Azure. - Mención de la variedad de fuentes a las que se puede conectar Azure Data Factory. 42:56 🛠️ *Configuración de Data Sets y Pipelines en Azure Data Factory.* - Creación de Data Sets para representar datos de diferentes fuentes. - Inicio del trabajo con la sección de autor para configurar Pipelines. 46:07 🔄 *Creación de un Pipeline básico para procesos de ingesta en Azure Data Factory.* - Configuración de un Pipeline para transferir datos desde un origen local a la nube. - Explicación del proceso de ejecución y monitorización de Pipelines. 49:25 📊 *Adaptación y transformación de datos en Azure Data Factory.* - Creación de un Data Set adicional para manejar archivos CSV. - Configuración de un nuevo Pipeline para la transformación y carga de datos en SQL Azure. 52:04 ✅ *Pruebas finales y verificación de la correcta ejecución de Pipelines.* - Procedimiento para probar y verificar la correcta transferencia y transformación de datos. - Visualización de los resultados finales en la base de datos SQL Azure. 53:36 🔄 *Estrategias de almacenamiento y transferencia de datos en Azure.* - Explicación de la estrategia de almacenamiento de datos históricos en Azure Blob Storage y su transferencia a SQL Database. - Discusión sobre las opciones de almacenamiento y su costo-efectividad. 55:43 🗣️ *Sesión de preguntas y respuestas.* - Resolución de dudas de la audiencia en vivo. - Diversas preguntas sobre implementación y costos de Azure Data Factory. 57:03 🧩 *Exploración de posibilidades y limitaciones de Azure Data Factory.* - Discusión sobre la capacidad de Azure Data Factory para realizar transformaciones y orquestación de datos. - Comparación con otros servicios y herramientas de procesamiento de datos. 59:14 💰 *Consideraciones de costos en Azure Data Factory.* - Análisis de los factores que influyen en los costos de los pipelines en Azure Data Factory. - Importancia de la selección adecuada de herramientas y servicios según el caso de uso. 01:00:01 🔄 *Uso de Data Factory vs Data Bricks y otras herramientas.* - Comparación entre Azure Data Factory y Azure Data Bricks para distintos casos de uso. - Enfoque en la personalización y la programación en la elección de la herramienta adecuada. 01:08:20 🔄 *Migración de bases de datos y Data Sets con Azure Data Factory.* - Confirmación de la capacidad de Azure Data Factory para migrar datos de un entorno local a la nube y viceversa. - Discusión sobre la versatilidad de Azure Data Factory en distintos escenarios de migración. 01:09:01 💡 *Oportunidades de aprendizaje y cuentas gratuitas en Azure.* - Información sobre recursos de aprendizaje gratuitos disponibles en Microsoft. - Mención de la posibilidad de crear una cuenta gratuita en Azure con crédito inicial. 01:09:42 🎓 *Detalles sobre un curso de ingeniería de datos en Azure.* - Presentación de un curso especializado en ingeniería de datos con Azure. - Ventajas del curso, incluyendo asesoría de expertos y preparación para certificaciones. 01:11:06 📚 *Contenido y metodología del curso de ingeniería de datos.* - Descripción del enfoque práctico del curso y su estructura. - Explicación de los temas cubiertos, desde fundamentos de Azure hasta herramientas de análisis y transformación de datos. 01:13:24 📅 *Información sobre la inscripción y estructura del curso.* - Detalles sobre la inscripción, costos, y modalidad del curso. - Beneficios adicionales como acceso a material oficial y simulacros de examen. 01:16:15 💼 *Promoción y descuentos para los participantes del webinar.* - Anuncio de descuentos para los asistentes al webinar en la inscripción del curso. - Información sobre los métodos de pago y el inicio del curso. Made with HARPA AI

[@smartdata_]

¡Descuento exclusivos para asistentes al Webinar! 🚀¡Aprende Ingeniería de Datos con Azure, el tema más empleables del 2022! 🚀 ¡Descuento especial para los 5 primeros! ¡Solo por hoy! 🚀 ¡¡¡Precio normal $209 dólares. Solo por hoy a $179!!! 🚀 ¡¡¡Precio en soles de S/799. Solo por hoy S/699!!! ✅ Puede fraccionar el pago en 2 partes. ​✅ Bochure y temario : bit.ly/3CCDUha ✅ Whatsapp: wa.link/tp6wor 💻👨‍🏫🦾 ¡Los Esperamos! ¡Somos Smart Data, la mejor opción para aprender Data, Cloud, Analytics y Agilidad!

[@loop-eu2cp]

podrian compartir el json?

[@albertusortiz]

En el linked service de la maquina loca, que usuario y contraseña debo de usar? Supono que es el de mi computadora no?

[@rogerhansrodriguezsamanez9730]

así es