La infraestructura para LLM es el conjunto de servicios y controles operativos que permite a una aplicación utilizar modelos de lenguaje de gran tamaño de forma fiable. Para un agente de IA, el acceso al modelo es una dependencia dentro de un sistema más amplio: también necesita un entorno de ejecución, información autorizada, herramientas y una forma de comunicar los resultados.
Un buen punto de partida es seguir una tarea desde la solicitud hasta un resultado verificable. Así se identifica quién opera cada dependencia y dónde un fallo podría impedir completar el trabajo.
El modelo es una dependencia más; la ejecución, los datos y las herramientas completan el sistema.
Separa el servicio del modelo de la ejecución del agente
El servicio del modelo ejecuta el modelo y devuelve contenido generado. La ejecución del agente realiza la lógica de la aplicación: reúne contexto, llama al modelo, utiliza herramientas permitidas y determina el siguiente paso. Ambos pueden funcionar en entornos distintos y tener responsables diferentes.
Una pasarela puede ofrecer un punto común de acceso a los modelos configurados. Por sí sola, no define el trabajo del agente ni decide qué acciones de negocio debe aprobar una persona. Para conocer el sistema completo, consulta la arquitectura de un agente de IA.
Identifica los servicios y sus responsables
Utiliza esta tabla antes de comparar ofertas de infraestructura. Describe responsabilidades que debes investigar; no es una lista universal de funciones.
Desplázate horizontalmente para ver todas las columnas.
| Capa | Pregunta para su responsable |
|---|---|
| Acceso a modelos | ¿Qué modelos están disponibles y con qué credenciales y restricciones regionales? |
| Ejecución del agente | ¿Quién despliega la aplicación, actualiza dependencias y responde a los fallos? |
| Conocimiento y herramientas | ¿Qué información puede leer el agente y qué acciones puede solicitar? |
| Estado y resultados | ¿Dónde se guardan el contexto de conversación, los archivos y los resultados finales? |
| Fiabilidad | ¿Qué puede recuperarse automáticamente y cuándo debe intervenir una persona? |
| Uso y coste | ¿Qué solicitudes se registran, qué presupuestos se aplican y quién investiga gastos inesperados? |
Mantén separado el inventario de modelos de los permisos del agente. Añadir un modelo no debería ampliar silenciosamente el acceso a registros de clientes ni permitir una nueva acción.
Ejemplo: un asistente para solicitudes de mantenimiento
En este piloto ficticio, un equipo de mantenimiento quiere clasificar solicitudes y preparar una respuesta sugerida. El modelo interpreta texto libre; la aplicación comprueba las categorías permitidas y muestra un borrador. Una persona aprueba cualquier cambio en el registro de mantenimiento.
El equipo redacta un breve plan de infraestructura:
- Entrada: Texto de la solicitud y guía de categorías aprobada; excluir registros de personal ajenos a la tarea.
- Ejecución: Una persona responsable de la aplicación mantiene el entorno y la conexión con la herramienta.
- Modelo: Probar las opciones configuradas con solicitudes ambiguas e información faltante.
- Resultado: Categoría recomendada, evidencia y borrador de respuesta.
- Fallos: Mostrar un estado pendiente de revisión cuando el modelo o la guía no estén disponibles.
- Revisión operativa: Examinar fallos y gasto junto con las recomendaciones aceptadas.
El éxito consiste en que una persona pueda verificar la recomendación y comprender un fallo. Una respuesta del modelo, por sí sola, no demuestra que el flujo haya terminado correctamente.
Diseña el piloto con resultados observables
Elige casos representativos antes de ajustar la infraestructura: una solicitud clara, otra con dos categorías, una sin ubicación y una dependencia no disponible. Registra el tiempo de finalización, la utilidad del borrador y el coste de la tarea completa. Explicita las limitaciones si los registros de uso solo cubren parte del recorrido.
Después determina si necesitas trabajar en la conmutación entre proveedores, la responsabilidad del despliegue o la diferencia entre una pasarela y una plataforma de agentes.
En AgentShelf
La descripción de infraestructura explica los servicios gestionados y el acceso a modelos configurados. La disponibilidad depende de la configuración, las credenciales, la región, el plan y el catálogo. Consulta el entorno de ejecución para desarrolladores y los controles de gobernanza y costes para conocer las opciones admitidas, los presupuestos monetarios y los límites de su cobertura.