La infraestructura para LLM es el conjunto de servicios y controles operativos que permite a una aplicación utilizar modelos de lenguaje de gran tamaño de forma fiable. Para un agente de IA, el acceso al modelo es una dependencia dentro de un sistema más amplio: también necesita un entorno de ejecución, información autorizada, herramientas y una forma de comunicar los resultados.
Un buen punto de partida es seguir una tarea desde la solicitud hasta un resultado verificable. Así se identifica quién opera cada dependencia y dónde un fallo podría impedir completar el trabajo.
El modelo es una dependencia más; la ejecución, los datos y las herramientas completan el sistema.
Separa el servicio del modelo de la ejecución del agente
El servicio del modelo ejecuta el modelo y devuelve contenido generado. La ejecución del agente realiza la lógica de la aplicación: reúne contexto, llama al modelo, utiliza herramientas permitidas y determina el siguiente paso. Ambos pueden funcionar en entornos distintos y tener responsables diferentes.
Una pasarela puede ofrecer un punto común de acceso a los modelos configurados. Por sí sola, no define el trabajo del agente ni decide qué acciones de negocio debe aprobar una persona. Para conocer el sistema completo, consulta la arquitectura de un agente de IA.
Mapea las seis partes de una solución de infraestructura para LLM
Una lista larga de modelos disponibles dice poco sobre si un proveedor puede ejecutar tu trabajo. En cambio, sigue una tarea completa y pregunta, para cada una de estas seis partes, quién la opera y qué sucede cuando falla.
- Acceso al modelo: Envía solicitudes a un modelo aprobado. Normalmente lo operan el equipo de plataforma y el proveedor del modelo. Prepárate para que el modelo no esté disponible o que la única alternativa no sirva para la tarea.
- Entorno de ejecución del agente: Realiza la tarea paso a paso. Normalmente lo opera quien administra la aplicación. Prepárate para una tarea que se interrumpe a mitad de camino sin que nadie sepa si terminó.
- Conocimiento y herramientas: La información que el agente puede leer y las acciones que puede realizar. Normalmente cada responsable de una fuente las opera. Prepárate para información ausente, desactualizada o bloqueada.
- Trabajo en curso y resultados: Donde se guardan los borradores y resultados terminados. Normalmente lo opera quien administra los datos de la aplicación. Prepárate para un borrador a medio hacer que parece terminado.
- Reglas de recuperación: Cuándo reintentar, cambiar a otro modelo o detenerse. Normalmente las define la persona responsable del flujo. Prepárate para repetir una acción, como enviar un mensaje o actualizar un registro, que tal vez ya ocurrió.
- Uso y costo: Lo que cuesta cada tarea y qué presupuesto se aplica. Normalmente lo gestiona la persona responsable del presupuesto. Prepárate para costos que nadie puede rastrear o una solicitud que ningún presupuesto revisa.
Pide al agente que prepare la hoja a partir de la descripción de la tarea y los sistemas que conectará. Después, tu equipo revisa cada respuesta con quien realmente opera esa parte. Mantén separada la lista de modelos de los permisos del agente: añadir un modelo nunca debe darle acceso silenciosamente a nuevos registros o acciones.
Hoja de requisitos de infraestructura (en blanco)
- Acceso al modelo: quién lo opera, qué sucede si falla y cómo lo probaremos: ___
- Entorno de ejecución del agente: quién lo opera, qué sucede si falla y cómo lo probaremos: ___
- Conocimiento y herramientas: quién es responsable de cada fuente, qué sucede si una no está disponible y cómo lo probaremos: ___
- Trabajo en curso y resultados: dónde se guardan los borradores, cómo se marca un borrador a medio hacer y cómo lo probaremos: ___
- Reglas de recuperación: cuándo reintentar, cuándo cambiar, cuándo detenerse y a quién avisar: ___
- Uso y costo: quién es responsable del presupuesto, qué presupuesto se aplica a esta tarea y cómo lo confirmaremos: ___
Ejemplo: un asistente para solicitudes de mantenimiento
En este piloto ficticio, un equipo de mantenimiento quiere clasificar solicitudes y preparar una respuesta sugerida. El modelo interpreta texto libre; la aplicación comprueba las categorías permitidas y muestra un borrador. Una persona aprueba cualquier cambio en el registro de mantenimiento.
El equipo redacta un breve plan de infraestructura:
- Entrada: Texto de la solicitud y guía de categorías aprobada; excluir registros de personal ajenos a la tarea.
- Ejecución: Una persona responsable de la aplicación mantiene el entorno y la conexión con la herramienta.
- Modelo: Probar las opciones configuradas con solicitudes ambiguas e información faltante.
- Resultado: Categoría recomendada, evidencia y borrador de respuesta.
- Fallos: Mostrar un estado pendiente de revisión cuando el modelo o la guía no estén disponibles.
- Revisión operativa: Examinar fallos y gasto junto con las recomendaciones aceptadas.
El éxito consiste en que una persona pueda verificar la recomendación y comprender cualquier fallo. Una respuesta del modelo, por sí sola, no significa que la tarea haya terminado correctamente.
La hoja completada
La versión del equipo de mantenimiento se lee así. Cada prueba es algo que el piloto debe superar antes de que entren solicitudes reales.
Hoja de requisitos de infraestructura: piloto de mantenimiento (ficticio)
- Acceso al modelo: El equipo de plataforma opera un modelo aprobado sin respaldo sin probar. Si el modelo no está disponible, la solicitud queda como "pendiente" y el operador de mantenimiento la atiende manualmente. Prueba: desactiva el modelo en un entorno de prueba y confirma que la solicitud aparece como pendiente.
- Entorno de ejecución del agente: Lo opera quien administra la aplicación. El agente revisa la solicitud frente a las categorías aprobadas y prepara un borrador; nunca modifica el registro de mantenimiento. Si una tarea se interrumpe a mitad de camino, queda marcada como incompleta hasta que el operador la revise. Prueba: interrumpe una tarea y confirma que no pueda pasar por terminada.
- Conocimiento y herramientas: El equipo de mantenimiento es responsable de la guía de categorías y el agente solo puede leer la versión aprobada. Si la guía falta, está desactualizada o bloqueada, el agente se detiene y pide atención manual. Prueba: intenta usar una versión antigua, una guía ausente y acceso bloqueado.
- Trabajo en curso y resultados: Los borradores quedan como "pendientes" hasta que el operador los acepta y solo el equipo de mantenimiento puede verlos. Prueba: interrumpe un guardado, inicia sesión como segundo usuario y revisa qué puede ver.
- Reglas de recuperación: El agente reintenta una vez cuando una llamada al modelo falla claramente. Si no puede saber si un paso terminó, se detiene y el operador revisa antes de repetir nada. Prueba: simula una respuesta lenta y confirma que el agente se detiene en lugar de repetir.
- Uso y costo: La persona responsable del presupuesto del piloto registra por separado los cargos del modelo, de otros servicios y el tiempo de revisión del personal. El uso faltante se informa como faltante, nunca como cero. Prueba: envía una solicitud que deba activar la advertencia presupuestaria y confirma que ocurra.
Que una parte funcione no hace que toda la tarea funcione. Conserva la hoja aprobada con los resultados del piloto para que la siguiente persona operadora vea qué se pretendía y qué se comprobó.
Diseña el piloto con resultados observables
Elige casos representativos antes de ajustar la infraestructura: una solicitud clara, otra con dos categorías, una sin ubicación y una dependencia no disponible. Registra el tiempo de finalización, la utilidad del borrador y el costo de la tarea completa. Explicita las limitaciones si los registros de uso solo cubren parte del recorrido.
Después determina si necesitas trabajar en la conmutación entre proveedores, la responsabilidad del despliegue o la diferencia entre una pasarela y una plataforma de agentes.
Cuando compares costos operativos, cuenta los intentos fallidos y el tiempo que las personas dedican a corregir resultados, no solo los precios de los modelos. La hoja de costo por tarea completada muestra cómo hacerlo. Los presupuestos son otra cuestión: limitan el gasto, mientras esta hoja te indica lo que realmente cuesta un resultado útil.
En AgentShelf
La descripción de infraestructura explica los servicios gestionados y el acceso a modelos configurados. La disponibilidad depende de la configuración, las credenciales, la región, el plan y el catálogo. Consulta el entorno de ejecución para desarrolladores y los controles de gobernanza y costos para conocer las opciones admitidas, los presupuestos monetarios y los límites de su cobertura.