TPU¶
Eine TPU (Tensor Processing Unit) ist Googles spezialisierter Chip für Machine Learning, optimiert für Matrix-Operationen in neuronalen Netzen.
TPU vs GPU¶
| Aspekt | GPU | TPU |
|---|---|---|
| Hersteller | NVIDIA, AMD | |
| Design | Allgemein parallel | ML-spezifisch |
| Präzision | FP32, FP16, INT8 | bfloat16, INT8 |
| Ökosystem | CUDA, PyTorch, TF | JAX, TensorFlow |
| Zugang | Kaufen oder Cloud | Nur Google Cloud |
Architektur¶
TPUs haben: - Matrix Multiply Units (MXUs): Optimiert für 128×128 Matrix-Ops - High Bandwidth Memory (HBM): Schneller Speicherzugriff - Interconnects: Für Multi-TPU-Training
TPU-Generationen¶
| Generation | TFLOPS (bf16) |
|---|---|
| TPU v2 | 45 |
| TPU v3 | 123 |
| TPU v4 | 275 |
| TPU v5e | 393 |
Wann TPU?¶
Pro: - Sehr effizient für große Batch-Sizes - Gut für Training großer Modelle - Kosteneffektiv bei Google Cloud
Contra: - Nur Google Cloud - JAX/TF funktionieren besser als PyTorch - Weniger flexibel als GPUs
Siehe auch¶
- GPU – Die Alternative
- Tensor – Was TPUs verarbeiten