Infraestructura de IA
El entrenamiento y la inferencia de modelos IA requieren hardware acelerado. A continuación se compara los principales:
| Tipo de hardware | Características/uso | Rendimiento relativo | Costo/ejecución | Accesibilidad educativa |
|---|---|---|---|---|
| GPU (NVIDIA) | Procesador paralelo general. Optimizado para matrices (CUDAM, Tensor Cores). Soporta PyTorch, TF. | H100/A100: ~1–3 PFLOPS (FP16) por unidad. Gran VRAM (80–141GB). Soporta batch grande y redes de atención extensas. | Alto: $4–10/h (GPU en nube). Tarjetas PC ~$800–$3000 según modelo. | Muy accesibles: Colab/Kaggle ofrecen GPUs gratis; muchas universidades usan GPUs gaming. |
| TPU (Google Cloud) | ASIC tensor específico. Integración fuerte con TensorFlow/JAX. Diseñado para inferencia y entrenamiento de ML en la nube. No disponible fuera de Google Cloud. | v6e: ~2 PFLOPS FP16 por chip. Masivo paralelismo (bajo costo por token). | Pago por uso: ~$2.70/h por TPU v6e (nube Google). No hay versión local; uso sólo en servicios Google (Cloud TPU o Colab TPU gratuita). | Limitado: Colab da pequeñas TPUs gratis; uso educativo real en nube (p.ej. Google Cloud for Education créditos). |
| NPU / Neural Engine | Unidades IA en chips de móviles/PCs (ex. Apple, Huawei). Muy eficientes energéticamente. Se usan en visión, NLP en dispositivo. | Ej.: Apple ANE v5 (A15): 15.8 TFLOPS (FP16). La primera ANE (A11) fue 0.6 TFLOPS; cada gen crece mucho. | Integrado en dispositivos (smartphone/tablet). No se compra separado. Costo = el dispositivo (iPhone/AirPods/Mac con M-series). | Alta: Los estudiantes llevan móviles con NPU. Google Coral (Edge TPU) ~$75 es asequible para demos de edge. |
| FPGA | Hardware reconfigurable (p.ej. Xilinx). Puede diseñarse el circuito específico para IA. | Rendimiento moderado. Menos paralelo que GPU en FP, pero baja latencia. | Alto de entrada: tarjetas FPGA avanzadas ~miles USD. | Bajo: Difícil de programar (Verilog) en cursos básicos; se usa más en investigación/industria. Existen kits educativos (Digilent) pero limitados. |
| ASIC (EdgeTPU) | Chips específicos para IA (ej. Google Edge TPU, USB accelerator). Ultraeficientes para inferencia puntual. | Edge TPU (Google): ~4 TOPS/W. Rendimiento limitado a modelos pequeños (p.ej. MobileNet, BERT pequeño). | Moderado: Edge TPU USB ~$75. Otros ASIC (Graphcore IPU, Habana) solo en servidores costosos. | Bueno: Edge TPUs para IoT / educación (Raspberry Pi + Coral). TPU/ASIC empresariales no disponibles en escuela. |
| Neuromórficos | Chips de investigación (Intel Loihi, IBM TrueNorth). Imitan redes neuronales físicas spiking. | Aún experimentales. Muy bajo consumo (ej. mil millones de OPS por segundo gastando milivatios). | Experimental. No comercial generalizada. | Muy bajo: solo en laboratorios especializados. |