
Ojo con lo que está pasando en la capa de inferencia de IA. Hasta hace poco, si querías servir modelos grandes (LLMs) en producción sin arruinarte pagando GPUs, vLLM era casi la única opción por su velocidad y optimización de memoria (hola, PagedAttention).
Pero la cosa acaba de cambiar: el equipo de Hugging Face ha logrado que el backend nativo de la librería Transformers iguale la velocidad nativa de vLLM.
¿Qué significa para la infra y DevOps?
- Menos fricción: Ya no vas a tener que andar saltando entre diferentes motores de inferencia ni armando contenedores súper custom solo para exprimir unos tokens por segundo extra.
- Estandarización: Si el mismo ecosistema de HF te da la velocidad de punta, el tooling alrededor de Kubernetes y la observabilidad para estos modelos se vuelve mucho más sencillo de implementar.
Para los que estamos lidiando con pipelines de MLOps y sudando frío cada vez que hay que desplegar un modelo nuevo, esta es una tremenda noticia.


