Elegir infraestructura para LLM implica decidir dónde funciona cada parte y quién la mantiene. Gestionada, híbrida y on-premise son enfoques útiles, pero una etiqueta arquitectónica no identifica por sí sola el destino de instrucciones, archivos, resultados de herramientas o registros operativos.
Dibuja por separado el servicio del modelo, el entorno del agente, los almacenes de datos y las conexiones con herramientas. Después marca cada límite que atraviesa la tarea.
Define dónde se ejecutan el modelo, el entorno, los datos y los registros antes de elegir una etiqueta.
Compara las opciones según la responsabilidad
Desplázate horizontalmente para ver todas las columnas.
| Enfoque | Organización general | Responsabilidad por aclarar |
|---|---|---|
| Gestionado | Un operador de servicio mantiene componentes determinados. | Acordar qué componentes y tareas operativas cubre el servicio. |
| Híbrido | Los componentes se reparten entre infraestructura local y servicios en la nube. | Coordinar identidad, redes, transferencias de datos e incidentes entre entornos. |
| On-premise | Determinados componentes funcionan en infraestructura local controlada por el cliente. | Proporcionar capacidad, actualizaciones, supervisión y recuperación para esos componentes. |
Un servicio de modelos gestionado puede recibir llamadas desde un entorno de agentes operado por el cliente. Un entorno local puede seguir enviando instrucciones a un modelo externo. Del mismo modo, alojar un modelo localmente no demuestra que todas las herramientas y registros operativos permanezcan allí.
Especifica el alcance de «on-premise»: ¿incluye el servicio del modelo, la ejecución del agente, el almacenamiento, la telemetría o todo el recorrido de la solicitud?
Empieza por el recorrido de los datos
Para una tarea representativa, enumera:
- Los documentos de entrada y dónde se cargan.
- El contexto preparado para el modelo, incluidos los resultados de herramientas.
- Dónde se realiza la inferencia.
- Qué sistemas puede consultar o modificar el agente.
- Dónde se conservan conversaciones, resultados y registros operativos.
Revisa la ruta habitual y las alternativas. Aprobar la ubicación principal no aprueba automáticamente un destino de respaldo. Utiliza la guía de revisión de seguridad para convertir el mapa en preguntas para cada responsable.
Ejemplo: un piloto de operaciones financieras
Un equipo financiero ficticio quiere que un agente redacte explicaciones internas de diferencias de conciliación. El primer piloto usa registros inventados y produce borradores para revisión. Antes de utilizar registros reales, el equipo identifica el destino del modelo, el entorno de ejecución, el almacén de referencia y los registros operativos.
Compara tres propuestas con la misma tarea. Para cada una, pregunta quién puede actualizar el entorno, restablecer el acceso a los datos de referencia, investigar un borrador incompleto y sustituir un modelo no disponible. También comprueba si el modelo necesario puede funcionar con la capacidad propuesta.
El documento de decisión recoge la ruta de datos aprobada, los responsables, el esfuerzo operativo y las preguntas pendientes. No afirma que elegir una etiqueta de despliegue demuestre cumplimiento normativo. Para conocer el contexto del producto, consulta agentes de IA en servicios financieros.
Incluye el coste de operar la opción elegida
Compara el uso del modelo con el resto del trabajo: capacidad de cómputo, almacenamiento, conectividad, supervisión, actualizaciones y tiempo del personal. La infraestructura operada por el cliente necesita mantenimiento; un servicio gestionado sigue requiriendo que tu equipo configure el acceso y evalúe su adecuación.
Prueba el diseño ante una dependencia no disponible y una actualización programada. Define quién decide si el piloto puede reanudarse. Un despliegue que parece sencillo en un diagrama puede requerir una coordinación compleja durante un incidente.
Vincula la arquitectura con una oferta documentada
Pide al proveedor que identifique por escrito los componentes admitidos, las obligaciones del cliente, los destinos de datos y el comportamiento de recuperación. Separa las ideas arquitectónicas opcionales de los despliegues que se ofrecen actualmente.
En AgentShelf
La oferta documentada incluye servicios gestionados por AgentShelf y entornos admitidos gestionados por el cliente o externos. Son el punto de partida adecuado para una evaluación. La comparación general de opciones híbridas y on-premise no establece que AgentShelf ofrezca un despliegue híbrido o completamente local. Confirma la configuración admitida para tus requisitos antes de planificar el despliegue.
Continúa con los fundamentos de infraestructura para LLM y espacios de trabajo y agentes externos para distinguir los componentes y sus vínculos.