El cuello de botella cuadrático
Desde "Attention is All You Need" en 2017, el Transformer definió la IA moderna. GPT, Claude, Gemini, LLaMA — todos construidos sobre el mismo núcleo: dejar que cada token atienda a cada otro token. El problema: costo O(n²) en longitud de contexto. Duplicar el contexto cuadruplica el cómputo. Para ventanas de 1 millón de tokens, esto se vuelve prohibitivo a escala.
En 2026, los State Space Models (SSMs) — particularmente la familia Mamba — llegaron a producción en múltiples labs de IA como alternativas complementares con costo O(n) — lineal con el contexto.
La familia Mamba
Mamba original (Gu & Dao, 2023) introdujo el SSM selectivo — los parámetros dependen de la entrada, no son fijos. Mamba-3 (marzo 2026) añadió seguimiento de estado con valores complejos y múltiples canales de estado en paralelo. Resultado en producción: Mamba-3-Large performa a la par de Transformers de nivel intermedio en benchmarks estándar, corriendo 2-3x más barato en contextos largos.
RWKV — el "shapeshifter"
RWKV combina entrenamiento paralelizable del Transformer con inferencia secuencial del RNN. Resultado: huella de memoria constante independiente de la longitud del contexto. Trade-off: para tareas que requieren recuperación precisa de tokens específicos en contexto largo, el Transformer aún tiene ventaja estructural.
La tendencia de 2026: híbridos
La conclusión más clara: los modelos de producción cada vez más combinan ambas arquitecturas. Capas de atención para recuperación precisa; capas SSM para compresión eficiente de contexto largo. Impacto práctico más relevante: modelos híbridos Mamba-Transformer están habilitando razonamiento sofisticado en dispositivos consumer como smartphones.
