| DATA | ARGOMENTO | MATERIALI | |
|---|---|---|---|
| - | Introduzione: Encoders VS Decoders Scaling Laws Position Embeddings |
- Link - Link - Link |
|
| - | Architettura di BERT | - Link | |
| - | Architetture generative (GPT) | - Intro - nanoGPT - Link alternativo - GPT vs BERT |
|
| - | LAB: La libreria Huggingface Transformers LAB: Fine-tuning BERT for Text Classification |
- HF - Text Class. on HF - Code & CMDs - GLUE Benchmark |
|
| - | Fine-tuning con Adapter: LoRA | - Link (Quick & easy) - Link (Più completo, ma peso!) |
MATERIALI AGGIUNTIVI & CURIOSITA'
Cross Attention in Transformers
Encoder-Decoder Transformer Models
Modern BERT
Building LLaMA 3 from Scratch