Self-Attention

[@JuniorH]

Excelente explicación, muchas gracias 🙌

[@mariacamiladurangobarrera2821]

Demasiado crack, Sensio. 10/10

[@n1zkmt]

Excelente video, una pregunta, aproximadamente en el minuto 10 mencionas que para trabajar con Transformers se necesitan un conjunto de vectores; eso significa que si mis datos son vectores de una dimensión ([1,256] por ejemplo), no podría implementar MHA ?

[@mburonb]

Hola, estuve viendo tus videos y la verdad que están muy buenos. Me gusta que no sólo cuentes la intuición general, sino que vayas al hueso, expliques con bastante detalle todo y muestres la implementación. Considero que es una buena forma de enseñar. De todas formas, quería preguntarte algo porque me quedó una duda: -¿La matriz de atención se entrena junto con el modelo de aprendizaje? ¿o primero hay que obtener la matriz de atención, y una vez que se obtiene (queda fija), y luego, se utiliza para definir el modelo, y entonces sólo se entrenaría el modelo?

[@juansensio]

La matriz de atención se calcula con las keys y values, que son resultado de aplicar una capa fully connected a los inptus y por lo tanto se aprende durante el entrenamiento

[@mburonb]

@@juansensio Gracias!

[@bot902]

como invertiste el color de jupyter ?

[@jogam2986]

yo uso la extension del navegador que se llama darkreader

[@jogam2986]

Masterclass

[@gracesevillanocolina9463]

Me encantó ;3

[@EnderKira73PC]

Genial el video, como siempre

[@Skyline-ks7qx]

Ayuda?? En la clase dataset hay un problema debido a numpy que ya no esta soportado np.int() y me sale error al ejecutar el código, no encontré como corregir. Muy bueno el vídeo por cierto,

[@juansensio]

puedes probar a user el "int" normal de python

[@Skyline-ks7qx]

@@juansensio no me funciona, o no estoy aplicando correctamente, estoy atorado no puedo pasar esa celda

[@Nand0san35]

@@Skyline-ks7qx np.int64

[@jdiazram]

modifique el getitem por: def __getitem__(self, ix): x = torch.tensor(self.X.iloc[ix].values).float() y = torch.tensor(self.y.iloc[ix]).long() return x, y y lo que comenta @skyline-ks7qx de np.int a np.int64 y agregue el parser en mnist = fetch_openml('mnist_784', version=1, parser='auto') Asi me funciono. Saludos