| DATA | ARGOMENTO | MATERIALI |
|---|---|---|
| 30/4 | Introduzione: - Encoders VS Decoders - Scaling Laws - Position Embeddings - Tokenizzatori per LLM |
- Link - Link - Link - Link1, Link2 |
| 5/5 | Architettura di BERT | - Link |
| 5/5 | Architetture generative (GPT) | - Intro - nanoGPT - Link alternativo - GPT vs BERT |
| 7/5 | LAB: La libreria Huggingface Transformers LAB: Fine-tuning BERT for Text Classification |
- HF - Text Class. on HF - Code & CMDs - GLUE Benchmark |
| 8/5 | Fine-tuning con Adapter: LoRA | - Link (Quick & easy) - Link (Più completo, ma più complesso!) |
MATERIALI AGGIUNTIVI & CURIOSITA'
Cross Attention in Transformers
Rotary Position Embedding
Encoder-Decoder Transformer Models
Modern BERT
Building LLaMA 3 from Scratch: Link1, Link2
Understanding Model Distillation