TUTORIAL Data Engineering: Calidad de datos desde la perspectiva DataOps con "Great Expectations"

#dataOps #dataengineering #greatExpectations
En este video vamos a hablar de la problemática de la calidad de datos y cómo solventarla con el framework Great Expectations.
Analizaremos un par de datasets, uno con pandas y otro con BigQuery
Links:
greatexpectati...
Video monitorización de modelos studio.youtube...
Sígueme en:
👉twitter: @luisvelasco
👉medium: / velascoluis
👉github: github.com/vel...

[@DonJawier]

Vaya pelotazo de herramienta! Gracias por la información!

[@fullscan]

Pues si mola bastante, el push down a BigQuery, snowflake o spark es la caña!

[@uxuci1]

Gran video. Muchas gracias, lo único hay partes que no se ven bien porque has puesto la presentación de la cámara sobre la ventana donde aparecía el código.

[@fullscan]

Cierto!! Tengo que repasar bien no hacer eso mas! Gracias por al apunte!

[@sabinoflores5808]

Excelente video.

[@andresruiz4659]

Excelente muchas gracias

[@elmariscal5394]

Me lo baje en windows y empecè a probar con un archivo creado por mi (.csv). Si tengo q tener python y pip instalado como precondicion. Una cosa , al ppio al no estar bien posicionado en el proyecto en la linea de comandos , no me dejaba setear bien el datasource new. Me posicione ok y al final si pude. sabras si se pueden validar vistas o queries en si ? no solo tablas

[@pcesar80]

hola al crear el datasourse me da este error: Please install the optional dependency 'black' to enable linting. Returning input with no changes. To continue editing this Datasource, run sabes que me puede estar pasando??

[@javierfiestas1578]

´buensa tardes, si lo hacemos con posgrsql sería mismo procedimiento que el bigq osea a nivel que te haga las expetation las hace en sql en posgr?

[@LuisCarlosMarca]

Buen video, al crear la suite, tuve este error. "great_expectations.exceptions.exceptions.InvalidBatchRequestError: Validator could not be created because BatchRequest returned an empty batch_list. Please check your parameters and try again." Alguna idea para solventarlo?

[@fmomt001]

Que magnífico canal!! Me está encantando la verdad, tienes twitch?? Molaria bastante algún directo analizando cosas que te digamos los espectadores o charlando con nosotros. Se agradece mucho los videos que subes, estoy aprendiendo muchísimo

[@fullscan]

Pues no es mala idea!! Ojala tuviera un poco mas de tiempo libre ..

[@joseduarte5663]

Excelente video, me ha servido muchísimo, me suscribo

[@jaimemcarlosa]

Excelente video,muchas gracias por compartir!!

[@fullscan]

Gracias Carlos!! :)

[@mileruiz1]

muchas gracias,super util👏