La conmutación entre proveedores de LLM dirige una solicitud apta hacia una alternativa cuando la ruta preferida no puede atenderla. Puede reducir la dependencia de un proveedor, pero la recuperación útil también depende de la tarea, del modelo sustituto y de lo que ya ocurrió en el flujo del agente.
La pregunta de planificación es concreta: si esta llamada al modelo no termina, ¿qué puede hacer el sistema de forma segura?
Recurre solo a una alternativa aprobada; si no la hay, envía la solicitud a revisión.
Distingue reintento, cambio de ruta y recuperación
Un reintento repite una solicitud, a menudo después de una espera. La conmutación cambia la ruta que la atiende. La recuperación del flujo determina si la tarea completa puede continuar de forma segura. Cambiar de región dentro de un servicio y cambiar de proveedor son diseños diferentes; ninguno restaura automáticamente el estado del agente.
Define límites para la espera y los intentos con alternativas. Los intentos repetidos pueden añadir latencia y coste, por lo que la aplicación necesita un punto de parada y una forma de comunicar un resultado incompleto. Son recomendaciones de diseño, no una descripción de los reintentos de AgentShelf.
Comprueba la alternativa antes de necesitarla
El destino alternativo debe estar aprobado para el trabajo que reciba. Revisa estas cuestiones con la persona responsable del sistema:
Desplázate horizontalmente para ver todas las columnas.
| Comprobación | Por qué importa |
|---|---|
| Compatibilidad de entrada | El sustituto debe aceptar el contexto y los tipos de entrada necesarios. |
| Salida y herramientas | Valida los campos obligatorios y los argumentos de herramientas sin asumir comportamientos idénticos. |
| Calidad | Ejecuta los casos de evaluación de la tarea con cada opción aprobada. |
| Destino de los datos | Confirma dónde se pueden procesar las solicitudes antes de ampliar las rutas. |
| Coste y capacidad | Cada alternativa tiene precios y límites propios. |
| Visibilidad operativa | Registra las rutas intentadas y si la aplicación recibió un resultado utilizable. |
Un modelo capaz de responder preguntas generales puede no ser adecuado para extraer datos de documentos. Vincula la aptitud de cada alternativa a la tarea.
Ejemplo: recuperar un borrador sin repetir una acción
Una empresa ficticia de servicios utiliza un agente para redactar un mensaje posterior a una inspección. El registro de inspección permanece en modo de solo lectura durante la redacción. Si el modelo preferido no está disponible antes de producir un borrador utilizable, el equipo permite que una alternativa evaluada intente ese paso.
Enviar el mensaje es una acción separada que requiere aprobación. Si se produce un fallo posterior a un intento de envío, la aplicación consulta el registro de entrega antes de ofrecer otro intento. Cambiar de modelo no demuestra que el envío anterior haya fallado.
Ante una respuesta interrumpida, la interfaz debe distinguir un borrador parcial de un resultado final. No añadas la salida de otro modelo al texto parcial como si fuera una única respuesta coherente, salvo que ese comportamiento se haya diseñado y verificado.
Prueba los fallos junto con las solicitudes habituales
En un piloto controlado, comprueba:
- Ruta preferida no disponible antes de comenzar la respuesta.
- Alternativa incapaz de cumplir el formato de salida.
- Ninguna alternativa aprobada disponible.
- Respuesta interrumpida tras mostrar texto parcial.
- Acción de herramienta cuyo resultado no se conoce con certeza.
En cada caso, especifica el estado visible, la evidencia para operaciones y el siguiente paso permitido. «Sin completar; requiere revisión» puede ser el resultado correcto. Mide la finalización de tareas por separado del éxito de las llamadas al modelo y consulta la observabilidad de agentes para definir la evidencia necesaria.
En AgentShelf
La arquitectura publicada de AgentShelf describe conmutación automática entre siete o más proveedores. La página de infraestructura explica el acceso a modelos configurados; la disponibilidad depende de la configuración, las credenciales, la región, el plan y el catálogo. Este posicionamiento no establece un número de reintentos, transmisión sin interrupciones, repetición automática de herramientas ni un acuerdo de nivel de servicio. Verifica la ruta admitida para tu flujo antes de depender de un comportamiento de recuperación.
Para conocer el contexto, consulta qué incluye la infraestructura para LLM y qué hace una pasarela.