DL2022: Трансформеры++ (Эффективные трансформеры)

Курс "Глубокое обучение (Deep Learning)"
страница курса: github.com/Dya...
автор курса: Александр Дьяконов (dyakonov.org/)
В этой лекции...
Позиционное кодирование. Relative Position Representations. Transformer with Untied Positional Encoding (TUPE). Transformer-XL. Compressive Transformer. Universal Transformer. Adaptive Attention Span. Expire-Span Transformer. Memory Transformer. Star-Transformer. Extended Transformer Construction (ETC). Longformer. BigBird. BART: шумоустраняющий seq2seq-автокодировщик на базе seq2seq-трансформера. Sparse Transformer. Reformer: The Efficient Transformer. Routing Transformer. Sinkhorn Transformers. Linear Transformer. Linformer.