RAG vs. 1M de contexto: cuándo conviene cada uno.

La pregunta más recurrente en briefs de IA hoy es la misma: «¿necesitamos RAG?». La respuesta corta es: depende. La respuesta larga son cuatro preguntas que hacemos antes de decidir.

1. ¿Cabe la base de conocimiento en 1M tokens?

Si la respuesta es sí, el contexto largo gana. Sin pipeline intermedio, sin re-ranking, sin chunks. El modelo razona sobre el corpus completo y cita con precisión. El 70% de los casos de cliente que evaluamos caben aquí.

2. ¿La base cambia más rápido que tu ciclo de deploy?

Si tu base se actualiza varias veces al día (logs en vivo, inventario, tickets), el contexto largo te obliga a re-cachear y re-cargar continuamente. Ahí RAG sigue siendo más barato y más fresco.

3. ¿El costo del prompt importa?

A 1M tokens cada query cuesta más. Si tu agente atiende cientos de miles de queries diarias y la mayoría son simples, cargar 1M en cada una es una sangría. RAG con embeddings te da el 90% de la precisión a una fracción del costo.

4. ¿Tu información es sensible?

Si parte del corpus no puede pasar al modelo en cada query, RAG te permite filtrar antes de inyectar. Contexto largo te obliga a mostrar todo.

El árbol de decisión completo

• Base estable + cabe en 1M + costo por query no crítico → contexto largo.
• Base dinámica + alta frecuencia + presupuesto ajustado → RAG.
• Híbrido cuando una parte del conocimiento es estable y otra dinámica.

El error más común que vemos en 2026 es elegir RAG por defecto porque «así se hizo siempre». El stack cambió. La línea base también.