I think discrete x_k is basically euler approximation, so A, B in the first equations are not the same A and B in the discrete time. Otherwise, I am confused as well haha.

Hello, is the colab notebook available to play with

Theyre implicitly doing wavelet analysis. Talking to a neurologist the visual cortex V3 does exactly that. They dont seem to be aware of that. Stéphane Mallat proved that link in the 90s

57:30 It's weird how the LLM doesn't get any feedback/direction from the deduction engine. And I don't get why that impresses you rather than the other way around.

Is the beam search another name for depth-limited BFS?

41:00 LLM is like master yoda. Nothing but an intuition.

Nice content just wondering why your views are so low?

Really good

I enjoyed your video! Please check SSDM2024 where I will discuss the use of cGAN for semiconductor modeling!

First to like 👍🏻

Thanks dude for making this up was struggling a lot to understand the exact details . Especially considering how difficult nature articles are to understand. Again thanks love the work you guys are doing

I was looking forward to the second one! Thanks Julius and crew!

love this

The blur is due to the L2 loss. The optimal L2 loss will be off the manifold.

Part 1??

"promo sm"

Jerry was very noisy, turn off your mic mate

If A is not learnt can't you just precompute it?

This was so helpful! I appreciate how this is partially formatted as a discussion because someone often chimes in with a question I have and then the group comes together to answer it.

Great videos so far

And where are the remaining parts(3,4,5...)?

Thanks for this great talk. Where can we get the material and code(ipynb file) you introduced? Thank you very much!!!

I have been trying to figure out how to give a model a temporal position. It is difficult to get the models to reason in complex chains that require longer term planning because every time the model gets queried it resets its memory and is temporally locked. You can do a bit of clever in context learning but its not that easy. I am excited by projects like mamba and large world model that are working to have a built in state manager that can be substituted for an internal clock.

😉 Promo>SM

Thanks for the discussion! Regarding t=4794 or so, I think \sigma(Z) is supposed to function as an output-gate, and D is the "direct path" part of the (A,B,C,D) state-space model (en.wikipedia.org/wiki/State-space_representation) that allows bypassing the dynamics associated with A. Albert Gu said somewhere that the B discretization is not critical. As you probably noticed, they've tried Euler, bilinear transform, and zero-order hold at least - they only differ at high frequencies relative to the sampling rate. I think a part 5 would be great since there was so much time pressure near the end! Also, what about that improved gradient behavior?

Thanks

I highly recommend watching this video as it explains the mamba architecture in depth: kzbin.info/www/bejne/boLCpaStpbmjjLcsi=B0GkqYdLAtEZ95P6

🎯 Key Takeaways for quick navigation: 00:00 🌐 *Introducción al video y presentación del artículo Mamba.* - Presentación del artículo "Linear Time Sequence Modeling with Selective State Spaces" por Albert Goo y Tre da. - Descripción de la motivación detrás del trabajo en el modelo Mamba, destacando las limitaciones de los modelos basados en la arquitectura Transformer. 01:18 🚀 *Problemas con modelos existentes y la necesidad de modelos para secuencias largas.* - Limitaciones de los modelos Transformer en secuencias largas debido a la complejidad cuadrática de la atención propia. - Descripción de intentos previos para abordar el problema de secuencias largas, como Lejre Memory Units y Hippo Recurrent Memory. - Presentación del contexto histórico y la necesidad de modelos que puedan manejar secuencias largas de manera eficiente. 03:37 📊 *Introducción al modelo Mamba y sus características clave.* - Descripción del modelo Mamba como un modelo de espacio de estado selectivo que aborda las limitaciones de modelos anteriores. - Explicación de la capacidad del modelo Mamba para realizar razonamiento basado en el contenido. - Detalles sobre la estructura del modelo, incluyendo el manejo de modalidades discretas y el diseño de un algoritmo paralelo optimizado para hardware. 05:54 🧠 *Evaluación del rendimiento y comparación con modelos Transformer.* - Discusión sobre la eficiencia del modelo Mamba en comparación con los modelos Transformer en términos de rendimiento de inferencia y escalabilidad lineal en la longitud de la secuencia. - Resultados empíricos que muestran el rendimiento del modelo Mamba en diversas modalidades, como lenguaje, audio y genómica. - Comparación de rendimiento con modelos Transformer de igual tamaño y modelos Transformer el doble de su tamaño en preentrenamiento y evaluación posterior. 09:29 🤔 *Preguntas y discusiones adicionales sobre el modelo Mamba.* - Preguntas sobre la comparación con modelos basados en atención de Hugging Face y la integración de Mamba en modelos más pequeños. - Discusión sobre la historia de los modelos de espacio de estado estructurado y su relación con la econometría. - Clarificación sobre el enfoque de entrenamiento de Mamba y la consideración de secuencias largas en el rendimiento del modelo. 13:40 📚 *Antecedentes adicionales sobre modelos de espacio de estado y explicación de Mamba.* - Presentación de antecedentes sobre modelos de espacio de estado, incluidos lejre memory units y hippo recurrent memory. - Explicación de la arquitectura S4 y cómo aborda la representación de secuencias largas mediante la convolución y la descomposición del kernel. - Mención del trabajo de Sasha Rush y Sid Caram Chetti en la "Annotated S4" para una comprensión más profunda del modelo. 16:34 🎯 *Desafíos y soluciones en la modelación de secuencias largas.* - Descripción de los desafíos al modelar secuencias largas, destacando la complejidad cuadrática de los modelos Transformer. - Introducción a enfoques creativos para abordar el problema, como lejre memory units y hippo recurrent memory. - Presentación del modelo S4 como una solución eficiente para la modelación de secuencias largas con estructuras de espacio de estado selectivas. 23:57 🌐 *Modelo de secuencia continua* - Explicación del modelo de espacio de estados continuo. - Transformación de la ecuación diferencial a una recurrencia lineal. - Unrolling del bucle de retroalimentación continua en una recurrencia discreta. 28:10 🔄 *Modelo de convolución* - Descripción del modelo de convolución en el espacio de estados. - Conversión del modelo en una fórmula cerrada para la salida. - Enfoque vectorizado mediante una única convolución para el cálculo de la salida. 34:32 📊 *Resultados y Benchmark* - Presentación de un Benchmark de modelado de secuencias largas. - Rendimiento superior del nuevo modelo en comparación con los baselines. - Destaque de la eficacia del modelo en secuencias de hasta 16,000 pasos. 47:53 🔄 *Resumen de modelos de secuencia convolucional y recurrente.* - Explicación de la vista convolucional y recurrente en el enfoque de atención. - Descripción de la atención como umbral de atención para cada parte de la entrada. - Introducción a la fórmula "a bar" y su papel en la dinámica temporal continua. 49:05 📊 *Desafíos y estructura del modelo de espacio de estado estructurado.* - Desafíos con las dependencias a largo plazo en modelos de espacio de estado. - Limitaciones en la representación del modelo de espacio de estado y problemas computacionales. - Introducción a la fórmula específica para la matriz "a" que aborda los desafíos. 54:40 🚀 *Optimización y desafíos adicionales en el modelo S4.* - Explicación de la limitación de no linealidades en el modelo S4. - Descripción de cómo la convolución es más fácil para el entrenamiento, mientras que la recurrencia es mejor para la inferencia. - Presentación de la solución mediante una fórmula específica para la matriz "a" en el modelo S4. 55:40 🔍 *Desafíos restantes y soluciones en el modelo de espacio de estado estructurado.* - Reconocimiento de los problemas con las dependencias a largo plazo en el modelo de espacio de estado. - Presentación de la fórmula específica para la matriz "a" y su impacto en la capacidad del modelo para abordar las dependencias a largo plazo. - Explicación de cómo la estructura especial de la matriz "a" aborda los desafíos computacionales. 58:09 🧠 *Algoritmo para abordar los desafíos computacionales.* - Descripción de la fórmula específica para la matriz "a" y su relación con la teoría de memorización del hipocampo. - Introducción al algoritmo que permite el cálculo eficiente de la matriz "a" en el modelo de espacio de estado estructurado. - Explicación de cómo el algoritmo reduce el tiempo de cálculo, haciendo que el modelo sea eficiente para secuencias largas. 01:00:53 🌐 *Estructura y evaluación del modelo S4.* - Descripción de la composición del modelo S4 utilizando la matriz "a" derivada de la fórmula específica. - Presentación de la estructura del modelo S4, incluyendo capas de normalización y la capa S4. - Discusión sobre la evaluación del modelo en diversas tareas y modalidades de datos, como imágenes, texto, audio y series temporales. 01:12:12 🧠 *Importancia de la capacidad de memorización en LMU* - La LMU tiene la capacidad de memorizar cualquier patrón dentro del margen de error de su redondeo. - Esta propiedad ofrece la posibilidad de no comenzar desde cero al construir arquitecturas para modelos de lenguaje. - Se destaca la ventaja de aprovechar esta capacidad para la memorización de secuencias en modelos de lenguaje. 01:13:10 🔄 *Comparación entre teoría de control continuo y discreto* - La teoría de control continuo y discreto está bien desarrollada, y la distinción no parece crucial para aplicaciones específicas. - Se plantea la pregunta sobre si, para modelos de lenguaje, el uso de la convolución puede ser tan efectivo como la discretización. - Se menciona la posibilidad de aplicar funciones de convolución similares a las utilizadas en CNN para mejorar el rendimiento en modelos de lenguaje. 01:14:56 🧩 *Cabeza de inducción en modelos de lenguaje Transformer* - Se introduce el concepto de "cabeza de inducción" en modelos de lenguaje Transformer. - La cabeza de inducción aprende patrones específicos, como la asociación frecuente de palabras en secuencias. - Se destaca la importancia de heredar la capacidad de memorización de secuencias para mejorar las predicciones en modelos de lenguaje. 01:19:09 🚀 *Perspectivas sobre el rendimiento de Mamba* - Se menciona la impresionante actuación de Mamba en problemas pequeños en comparación con otros modelos. - A pesar de los recursos limitados de la universidad, los resultados son notables, especialmente en problemas de menor escala. - Se destaca la expectativa positiva sobre la escalabilidad de Mamba y su posible rendimiento en problemas más grandes. Made with HARPA AI

Amazing video! So to summarize the methods covered: 1. adapter: - add in a new set of weights for fine-tuning; train this adapter 2. prefix-tuning: - add in a new set of weights for fine-tuning; these propagate the whole way through. train this prefix 3. prompt-tuning: - add in a new set of weights for fine-tuning (only in the prompt); train this prefix 4. p-tuning: - like 3, but use an LSTM to generate the soft prompt

Great job guys 🎉 need more of these types of conversation

Came interested... Then I saw an unedited zoom call. Have some respect for your audience

First time seeing error visualized in such a clear way. Very cool!

Thank you very much for sharing videos! But I have sth I do not understand. 22:27 step2 is a network with only direct path, and it's easy to understand. However, I wonder why can step3 be regarded as a network with at most 1 layer of attention(as the video says attention heads in step n only saw at most n-1 attention heads). I'm a beginner in deep learning so it's harder for me to get the idea. In my view at step-2 we intercept the output of attention layers and replace with 0, assume that the output is O1. At step-3 we also intercept the output(set it to be O2) and replace with O1. The first question is it seems that we don't do backpropagation to update the parameters of attention layers in step-2 and 3, so I guess O1 and O2 are the same. The second is if we do backpropagation, why the model in step-3 can be considered as model with only one attention layer?

What's some of the background of the people in this ML group? Researchers working at universities? PhD studetns? ML engineers at tech companies? Research scientists? Or mix of everything?

Hmmm, just subscribed. Let's hope I can understand this, new to ai.

I hate this shit so much

I heard “it’s autocomplete with extra steps”

Can we get the slides ?

Good presentation fam!

Can someone post the KZbin link at 53:36 please?

Promo`SM