| DATA | ARGOMENTO | MATERIALI | |
|---|---|---|---|
| - | Introduzione: - Encoders VS Decoders - Scaling Laws - Position Embeddings - Tokenizzatori per LLM |
- Link - Link - Link - Link1, Link2 |
|
| - | Architettura di BERT | - Link | |
| - | Architetture generative (GPT) | - Intro - nanoGPT - Link alternativo - GPT vs BERT |
|
| - | LAB: La libreria Huggingface Transformers LAB: Fine-tuning BERT for Text Classification |
- HF - Text Class. on HF - Code & CMDs - GLUE Benchmark |
|
| - | Fine-tuning con Adapter: LoRA | - Link (Quick & easy) - Link (Più completo, ma più complesso!) |
MATERIALI AGGIUNTIVI & CURIOSITA'
Cross Attention in Transformers
Rotary Position Embedding
Encoder-Decoder Transformer Models
Modern BERT
Building LLaMA 3 from Scratch: Link1, Link2
Understanding Model Distillation