Transformer

DATA ARGOMENTO MATERIALI
- Introduzione:
   - Encoders VS Decoders
   - Scaling Laws
   - Position Embeddings
   - Tokenizzatori per LLM

- Link
- Link
- Link
- Link1, Link2
- Architettura di BERT - Link
- Architetture generative (GPT) - Intro
- nanoGPT
- Link alternativo
- GPT vs BERT
- LAB: La libreria Huggingface Transformers
LAB: Fine-tuning BERT for Text Classification
- HF
- Text Class. on HF
- Code & CMDs
- GLUE Benchmark
- Fine-tuning con Adapter: LoRA - Link (Quick & easy)
- Link (Più completo, ma più complesso!)

MATERIALI AGGIUNTIVI & CURIOSITA'
Cross Attention in Transformers
Rotary Position Embedding
Encoder-Decoder Transformer Models
Modern BERT
Building LLaMA 3 from Scratch: Link1, Link2
Understanding Model Distillation