Para gobernar un agente, define su propósito, su acceso y su proceso de revisión, y asigna a alguien que supervise su funcionamiento y costo. Mide el costo en relación con el trabajo útil, como una revisión de incorporación completada. Deja claro quién responderá si la calidad o el costo quedan fuera de los límites acordados.
Fija límites, revisa la calidad y el costo, y luego ajusta con una persona responsable.
Usa un marco de responsabilidad, límites y revisión
La gobernanza de costos de IA conecta tres decisiones: quién responde por trabajo y gasto, qué límites se aplican y qué evidencia activa una revisión. El presupuesto es un control dentro del marco. Calidad, permisos y revisión humana siguen determinando si el trabajo es aceptable.
Desplázate horizontalmente para ver todas las columnas.
| Decisión | Qué registrar antes del lanzamiento | Pregunta de revisión |
|---|---|---|
| Responsabilidad | Responsable del flujo, del presupuesto, administrador y encargado de excepciones | ¿Quién actúa si el flujo resulta caro o poco fiable? |
| Límite | Asignación monetaria, moneda, período, alcance y ruta aplicable | ¿Aplica esta ruta la política y la respuesta prevista? |
| Revisión | Tareas completadas, calidad, intentos repetidos y gasto | ¿Se explica el costo por trabajo útil o por correcciones evitables? |
AgentShelf admite presupuestos monetarios por organización, equipo, usuario y widget. Los administradores de la organización eligen presupuestos estrictos o flexibles. En rutas compatibles cubiertas con una política activa, los límites flexibles advierten y permiten continuar; los estrictos rechazan solicitudes cubiertas al alcanzar el límite. Otras rutas pueden continuar sin comprobar el presupuesto. Los informes por agente y espacio de trabajo aportan visibilidad, no aplicación independiente. Estos controles concretan la responsabilidad presupuestaria; permisos de fuentes y calidad requieren decisiones separadas.
Consulta la gestión de presupuestos para LLM para elegir importes, períodos, alcances y verificar cobertura real. El marco siguiente explica cómo operar esa política junto con controles de calidad y autoridad.
Asigna responsables del flujo y del presupuesto
Usa un mismo flujo de trabajo ficticio en toda esta guía: una persona revisora de Compras solicita: «Revisa el expediente de incorporación de Northstar Supplies e indícame qué falta». El agente compara el expediente enviado con la lista vigente para incorporar proveedores y la ficha actual del proveedor. Al expediente le falta un certificado de seguro vigente, así que el agente prepara un resumen para revisión y una solicitud en borrador. Una persona sigue decidiendo si envía la solicitud o continúa la revisión del proveedor.
El registro operativo de ese borrador podría decir:
Revisión operativa de Northstar Supplies (borrador)
Responsable: La persona responsable del proceso de Compras; asigna a alguien antes del piloto.
Permitido: Leer el expediente, la lista vigente y la ficha actual del proveedor; preparar un resumen y una solicitud en borrador.
Decisión humana: Una persona revisora de Compras comprueba la evidencia y decide si envía la solicitud. El agente no puede modificar el registro ni aprobar al proveedor.
Señales de revisión: Hallazgos de evidencia faltante, correcciones de quien revisa, transferencias y costo por expediente revisado.
Límite de costo: Lo define junto con la persona responsable del presupuesto según la carga de trabajo prevista y el punto de referencia del piloto; este ejemplo no fija un umbral.
Estado: Borrador para revisión antes del piloto.
Antes del piloto, asigna a una persona responsable del proceso y a otra que atienda las excepciones. Registra quién puede solicitar la revisión, qué expediente y fuentes de referencia entran en el alcance, qué puede leer el agente y qué puede preparar. En este ejemplo, el resultado permitido es texto en borrador; modificar la ficha del proveedor, enviar una solicitud o aprobarlo quedan fuera de la autoridad del agente. Nombra a quien puede pausar el flujo y a quien revisa el borrador.
Revisa el costo por tarea útil en cada etapa
- Antes del piloto: Acuerden el trabajo, las fuentes aprobadas, los permisos de lectura y escritura, el punto de revisión humana, el procedimiento alternativo y las pruebas. Fijen una asignación monetaria y verifiquen la respuesta en la ruta elegida.
- Durante el piloto: Revisen los borradores completados y las excepciones. Registren el volumen de expedientes, el costo por expediente revisado, el tiempo de revisión, la detección de evidencia faltante y las correcciones. Interpreten las métricas en conjunto: un costo bajo por expediente no sirve si hay que rehacer el trabajo, y transferir un caso puede ser lo correcto cuando falta evidencia.
- Antes de ampliar el acceso: Confirmen que la persona responsable, el grupo de usuarios, el acceso a los datos, las herramientas y las reglas de revisión sigan correspondiendo al flujo de trabajo. Revisen las pruebas si cambian la lista, los registros de origen o los permisos.
En el ejemplo de Northstar, una unidad útil es un expediente que una persona revisora pueda evaluar con el resumen y la evidencia. Incluye el uso del modelo, los intentos repetidos, los cargos por servicios conectados y el tiempo de revisión o corrección al medir el costo. No deduzcas ahorros a partir de la cantidad de borradores; compara costo y calidad con el proceso humano actual usando el mismo conjunto de trabajo.
Calcula el costo por tarea completada
Un modelo barato aún puede producir un flujo caro. Si sus resultados necesitan muchas correcciones, el tiempo del personal puede superar cualquier ahorro en cargos del modelo. Para comparar opciones de forma justa, suma todo lo que cuesta un flujo, incluidos los intentos fallidos y el tiempo que las personas dedican a revisar y corregir resultados. Después divide entre los resultados que realmente podrías usar.
Costo por resultado utilizable = (cargos del modelo + cargos de otros servicios + tiempo del personal para revisar y corregir resultados + los costos operativos que decidas incluir) ÷ resultados utilizables.
Compara opciones con la misma tarea, durante el mismo período y usando la misma regla sobre qué cuenta como utilizable. El agente puede completar gran parte de la hoja a partir de sus propios registros de uso y los resultados de la revisión. Tu equipo define qué cuenta como utilizable y la tarifa por hora del personal.
Hoja de costo por tarea completada (en blanco)
- Tarea y qué cuenta como resultado utilizable: ___
- Período y número de tareas enviadas: ___
- Intentos y cargos del modelo (incluye reintentos e intentos fallidos que generaron cargos): ___
- Llamadas y cargos de otros servicios (incluye llamadas repetidas): ___
- Tiempo del personal para revisar y corregir resultados, y la tarifa por hora utilizada: ___
- Costos operativos incluidos y cómo se dividieron, o una nota de que se dejaron fuera: ___
- Resultados utilizables (cuenta resultados, no intentos): ___
- Costo total y costo por resultado utilizable (si ningún resultado fue utilizable, informa el costo total y ese resultado): ___
Esta es una comparación ficticia de dos opciones con las mismas 100 tareas. Los números están inventados para mostrar el método. No son precios reales de modelos ni resultados de clientes.
Desplázate horizontalmente para ver todas las columnas.
| Concepto | Modelo más barato | Modelo más caro |
|---|---|---|
| Tareas enviadas | 100 | 100 |
| Intentos del modelo | 200 a $0,01 = $2 | 100 a $0,03 = $3 |
| Llamadas a otros servicios | 200 a $0,02 = $4 | 100 a $0,02 = $2 |
| Tiempo del personal para revisar y corregir | 400 minutos a $30/hora = $200 | 100 minutos a $30/hora = $50 |
| Resultados utilizables | 80 | 90 |
| Costo total | $206 | $55 |
| Costo por resultado utilizable | $2,58 | $0,61 |
El tiempo del personal explica casi toda la diferencia. Es una suposición del ejemplo, no una regla que diga que los modelos más caros necesitan menos revisión, así que mídelo en tu propio piloto. El alojamiento y otros costos fijos quedan fuera de ambas columnas. En una comparación real, di qué dejaste fuera y revisa la calidad con el mismo conjunto de tareas.
Esta hoja mide lo que realmente cuesta un resultado. Un presupuesto hace otra cosa: limita el gasto de las solicitudes que cubre y no incluye el tiempo del personal. Consulta los controles presupuestarios de AgentShelf para conocer qué cubre un presupuesto.
Usa una lista de gobierno de costos
- Nombra a las personas responsables del flujo, el presupuesto y las excepciones.
- Acuerda qué cuenta como resultado utilizable y fija la carga de trabajo y el período que vas a medir.
- Registra el presupuesto y cómo llegan las solicitudes al agente, luego prueba qué ocurre en el límite.
- Cuenta los intentos fallidos e indica qué costos se miden y cuáles se dejan fuera.
- Revisa juntos calidad, correcciones, resultados utilizables y gasto.
- Anota si ajustarás, pausarás o continuarás y qué activa la próxima revisión.
Define respuestas separadas para costo, calidad y autoridad
Elige un detonante y una persona responsable para cada tipo de parada. Estos ejemplos ficticios de Northstar no fijan un umbral universal:
Desplázate horizontalmente para ver todas las columnas.
| Condición | Ejemplo de detonante | Respuesta |
|---|---|---|
| Calidad | La persona revisora no puede vincular un hallazgo requerido con el expediente, la lista o la ficha aprobados. | Pausa el borrador de ese expediente, identifica la evidencia faltante o contradictoria y vuelve a probar el caso antes de aceptar el resultado. |
| Gasto | El piloto alcanza el límite monetario acordado. | Una política estricta cubierta rechaza solicitudes; una flexible cubierta advierte y continúa. La persona responsable revisa el gasto y decide si pausa el flujo o cambia la asignación. |
| Autoridad | Una ejecución intenta enviar una solicitud, modificar la ficha del proveedor o aprobarlo. | Trátala como una infracción de límites, bloquea la acción y comprueba el estado del sistema antes de reintentar. |
Define el umbral de gasto según la carga prevista y el costo de revisar un expediente. Comprueba que la configuración se aplique al flujo previsto; si el entorno no puede pausar el uso, asigna a una persona operadora para que lo vigile y lo detenga manualmente. Revisa los registros disponibles de fuentes, actividad de herramientas, transferencias y fallos. Después de un cambio, compara un conjunto repetible de expedientes habituales, incompletos y contradictorios. Si un registro no permite explicar un borrador, añade un paso de revisión adecuado antes de ampliar el uso.
Mantén vigente el registro de responsables, límites y revisión
Mantén un registro vigente de:
- Responsabilidad: La persona responsable del flujo y los usuarios previstos.
- Alcance y permisos: Las fuentes aprobadas, el alcance de las acciones y las reglas de aprobación.
- Evidencia y evaluación: Los criterios de evaluación y el punto de referencia de costos.
- Límites operativos: Los límites conocidos y el procedimiento para pausar el flujo.
- Revisión: La fecha de revisión.
Revisa el registro según un calendario y después de cualquier cambio importante. Consulta la revisión de permisos, la guía de evaluación previa al piloto y el resumen de gobernanza y control de costos.