IA

¿Tu IA trabaja o solo gasta tokens? AI FinOps para SaaS en producción

Caché, enrutamiento y métricas para entender el coste de IA por tarea útil, con una simulación transparente y un plan de evaluación para SaaS.

Una persona regula un flujo de bloques luminosos entre un procesador de IA y una bandeja de resultados, junto a monedas y un medidor.
El costo debe compararse con el resultado que entrega la aplicación. · Crédito: Ilustração gerada com IA.

Lectura estimada: 10 minutos. Referencias y tarifas consultadas el 26 de octubre de 2026.

Lanzas una funcionalidad de IA, a los primeros usuarios les gusta y el uso empieza a crecer. Excelente. Hasta que llega la factura y descubres que aquel botón tan simpático también tiene un apetito impresionante por tu presupuesto.

La reacción habitual es buscar un modelo más barato o una herramienta que prometa un ahorro espectacular. Yo empezaría por una pregunta anterior: ¿cuánto cuesta entregar una tarea cuyo resultado el usuario realmente puede aprovechar?

Mi experiencia con integraciones de marketplaces y con Oombe mantiene el volumen, la repetición y el tratamiento de fallos dentro de la conversación sobre arquitectura. Esa misma perspectiva sirve para evaluar IA. La aplicación debe seguir siendo útil cuando pasa de la demostración a cientos o miles de operaciones.

Ahí entra AI FinOps: organizar decisiones de coste, calidad y operación para que la funcionalidad tenga una economía sostenible.

La unidad que importa es el resultado

El State of FinOps 2026 reunió a 1.192 participantes de la comunidad FinOps; el 98% de los encuestados declaró gestionar gastos de IA. El dato describe esa muestra, no todas las empresas del mundo.

La FinOps Foundation propone relacionar gastos técnicos con resultados del negocio, avanzando desde el coste por token hacia unidades como una atención o una acción completada.

Para un producto, lo expresaría así:

Coste por tarea aceptada = costes atribuidos a los intentos y al trabajo adicional ÷ número de tareas aprobadas.

Imagina un extractor de atributos de productos. Un modelo cuesta menos por llamada, pero confunde medidas y necesita revisión frecuente. Otro cobra más, aunque entrega más registros aprovechables. Comparar únicamente el precio de entrada puede premiar la alternativa que genera trabajo extra para el equipo.

Mantén dos perspectivas: coste del modelo y coste completo de la operación. La primera ayuda a investigar las llamadas; la segunda incluye herramientas, infraestructura y revisión humana. Los intentos fallidos siguen en el numerador. Quitarlos del informe no mejora el margen.

Una API contratada y las GPU propias requieren cuentas distintas

Quien consume una API puede ajustar modelo, cantidad de llamadas, tamaño del contexto, respuestas, procesamiento por lotes y repetición. Quien opera su infraestructura también debe considerar capacidad reservada, memoria, colas, mantenimiento y recursos ociosos.

Son problemas relacionados, con mecanismos presupuestarios diferentes. Una aplicación con poco tráfico puede pagar demasiado por una GPU esperando trabajo. Otra, con demanda constante y requisitos específicos, puede justificar estudiar infraestructura dedicada.

Yo empezaría por la carga real: volumen diario, picos, latencia aceptable, tamaño de las entradas y exigencias de calidad. Después compararía escenarios. También separaría el ahorro de capacidad de una reducción inmediata de la factura: aprovechar mejor un equipo ya contratado no cancela automáticamente el compromiso económico.

Hay tres cachés en esta conversación

Caché parece una palabra sencilla hasta que cada persona la utiliza para algo distinto.

La caché de resultados de la aplicación guarda una respuesta ya generada. Si vuelve la misma consulta, quizá sea posible reutilizarla. Hay que definir vigencia, autorización y claves por cliente. La información de existencias puede quedar desactualizada rápidamente; transformar un documento inmutable permite otra estrategia.

La caché de prefijos reutiliza procesamiento del contexto. La documentación de Anthropic exige coincidencia exacta en los segmentos reutilizados y distingue escritura y lectura. No elimina la generación de la respuesta. Colocar primero instrucciones estables y después contenido variable puede favorecer la reutilización.

Compartir KV cache corresponde a la infraestructura de inferencia. LMCache demuestra reutilización entre instancias compatibles. Eso no significa transferir libremente el estado interno de un modelo a otro proveedor.

Mi decisión sería empezar por lo que necesita la carga existente. Añadir una caché distribuida a una aplicación pequeña puede incorporar más piezas operativas que beneficios para el usuario. Una operación con contexto repetido y volumen relevante merece una medición cuidadosa.

También observaría cómo interactúan las decisiones: reescribir todo el contexto en cada llamada puede perjudicar un prefijo estable; alternar proveedores puede fragmentar la reutilización. Son hipótesis arquitectónicas para comprobar, no garantías sobre cualquier servicio.

Una cuenta reproducible, sin inventar un caso de éxito

Hagamos una simulación hipotética, no un resultado medido en Oombe.

Consideremos mil solicitudes, cada una con 8.000 tokens de prefijo estable, 2.000 tokens variables y 500 tokens de salida. En el escenario con caché habrá 100 escrituras y 900 lecturas válidas dentro del plazo de retención.

La tabla de precios consultada indica estas tarifas de Claude Sonnet 4.6 por millón de tokens: US$ 3 de entrada, US$ 15 de salida, US$ 3,75 por escritura de caché de cinco minutos y US$ 0,30 por lectura.

Componente Sin caché Con caché
Prefijo: 8 millones de tokens US$ 24,00 US$ 5,16
Entrada variable: 2 millones US$ 6,00 US$ 6,00
Salida: 500 mil US$ 7,50 US$ 7,50
Total del modelo US$ 37,50 US$ 18,66

Los US$ 5,16 del prefijo corresponden a 800 mil tokens escritos por US$ 3,00 y 7,2 millones leídos por US$ 2,16. La diferencia total es de US$ 18,84, o 50,24%.

Ese porcentaje depende de las hipótesis del ejemplo. Si disminuye la reutilización, cambia la cuenta. También cambia con un contexto más corto o variable. Los valores no incluyen herramientas, infraestructura adicional, impuestos, conversión de moneda ni trabajo humano.

Observa el detalle: el descuento del prefijo no se extendió mágicamente a toda la factura. La entrada variable y la salida siguieron costando lo mismo. Antes de anunciar un ahorro en tu producto, sustituye cada hipótesis por datos observados.

Un modelo barato debe superar el mismo criterio

El enrutamiento puede ser útil. Un modelo económico quizá resuelva una clasificación sencilla, mientras un caso ambiguo merece escalarse. OmniRoute es un proyecto que documenta enrutamiento, fallback y compresión. Eso acredita funcionalidades propuestas, no ahorros validados aquí.

Diseñaría el enrutamiento a partir de la tarea. ¿Qué campos deben ser correctos? ¿Cuándo puede continuar automáticamente un resultado? ¿Qué fallo requiere revisión? ¿Cuántos intentos se permiten?

El fallback también debe respetar los proveedores y condiciones aprobados para esos datos. Si el proveedor principal deja de estar disponible, enviar automáticamente el contenido a cualquier alternativa barata cambia una decisión que va más allá del precio.

Además, hay una trampa elegante: gastar varias llamadas en decidir cuál sería la más económica. El propio enrutador entra en la cuenta. Para algunas tareas, una regla sencilla resuelve la clasificación inicial con un coste operativo más previsible.

Un experimento que puedes repetir

Para convertir la conversación en ingeniería, prepararía un conjunto fijo de ejemplos representativos. En un catálogo podrían ser registros sintéticos con unidades distintas, campos ausentes y descripciones ambiguas.

Primero definiría qué se acepta: JSON válido, identificadores conservados, unidades correctas, ausencia de valores inventados y campos obligatorios completos cuando exista evidencia. Después reservaría una parte de los ejemplos para la evaluación final, sin ajustar el prompt utilizando esos casos.

Compararía cuatro configuraciones: flujo actual, prefijo estable, modelo económico con escalamiento y procesamiento por lotes cuando el plazo lo permita. Cambiaría una variable cada vez para poder explicar el resultado.

El informe mostraría coste por tarea aceptada, tasa de éxito, intervenciones humanas, intentos, aprovechamiento de caché y latencia mediana y p95. Esta última ayuda a identificar las operaciones lentas que el promedio puede ocultar.

También registraría versiones de modelo, prompt, reglas y datos. Si la configuración ganadora pierde calidad la semana siguiente, necesitamos poder investigar qué cambió. Un gráfico bonito sin condiciones reproducibles acaba siendo decoración de presentación.

Observabilidad sin guardar todo por costumbre

Cada operación debería llevar un identificador de tarea, una referencia al cliente o proyecto, la funcionalidad utilizada y la versión del flujo. Así puede atribuirse una factura creciente a una parte concreta del producto.

Medir costes no exige almacenar indiscriminadamente contenido sensible. Cantidades, tiempos, códigos de fallo e identificadores adecuados ya responden muchas preguntas. El contenido necesario para evaluar merece reglas de acceso y retención definidas.

La caché también forma parte de esta arquitectura. La documentación de seguridad de vLLM indica que un proceso compartido no ofrece aislamiento completo entre tenants; cache_salt reduce riesgos específicos sin sustituir una frontera de aislamiento.

La decisión práctica consiste en definir quién puede compartir qué. Ahorrar procesamiento saltándose permisos entre clientes crearía un problema mucho más caro. Ese análisis debe acompañar el diseño de la aplicación desde el principio.

Dónde hay trabajo útil que ofrecer

Veo un servicio concreto en diagnóstico, instrumentación y mejora con seguimiento. El primer entregable sería un mapa: dónde gasta la aplicación, qué tareas fallan, cuánto trabajo adicional existe y qué intervenciones tienen más posibilidades de ayudar.

El segundo sería un cambio verificable: reducir contexto repetido, limitar reintentos, separar tareas por complejidad o crear presupuestos por cliente. El tercero consistiría en comprobar si el ahorro se mantiene sin deteriorar la experiencia.

Este razonamiento coincide con lo que desarrollé sobre IA para el trabajo administrativo repetitivo: una automatización útil libera tiempo y entrega algo que encaja en la rutina. Para sostener esa utilidad, también debe encajar en el presupuesto.

Prefiero presentar una mejora modesta, medida y repetible a prometer una reducción espectacular antes de revisar los datos. El cliente necesita entender qué recibe, cuánto cuesta y qué límites siguen existiendo. Así es como una funcionalidad emocionante empieza a convertirse en un producto sostenible.

Fuentes y referencias

EN

Ernani Nascimento

Desarrollador, emprendedor y administrador de empresas. Creo sistemas y comparto lo que aprendo en el camino.

Conoce al autor ↗

Sigue explorando.

DE LA IDEA A LA PRÁCTICA

¿Tienes algo en mente?
Vamos a construirlo.

Conversemos ↗