Control humano no significa operación manual.
Un sistema puede automatizar tareas y conservar autoridad humana al mismo tiempo. La clave es separar niveles de actuación. Observar información no tiene el mismo riesgo que modificar una base de datos; preparar una recomendación no equivale a comprometer dinero; ejecutar una acción reversible no es igual que una irreversible.
Por eso la pregunta no es “¿el agente es autónomo?”. La pregunta útil es: ¿autónomo para qué acción, bajo qué condiciones y con qué evidencia?
Cuatro niveles de autoridad
El nivel depende del riesgo, no de la moda tecnológica
Dos agentes que usan el mismo modelo pueden necesitar niveles de control completamente distintos. Un asistente que clasifica documentos tolera más autonomía que un sistema que aprueba pagos, modifica precios, cancela pedidos o envía comunicaciones sensibles.
El gobierno debe contemplar impacto potencial, reversibilidad, sensibilidad de los datos, calidad de las fuentes, frecuencia de la acción y costo del error.
La evidencia es parte del control
Una aprobación humana pierde valor si la persona no sabe sobre qué información está decidiendo. Por eso el sistema debe registrar entradas, fuentes relevantes, decisión propuesta, acción resultante y resultado observado.
La evidencia sirve para auditar, pero también para aprender: permite detectar qué excepciones son frecuentes, dónde falla el contexto y qué acciones podrían ganar autonomía más adelante.
Rollback y salida segura
Gobernar también implica diseñar qué ocurre cuando algo sale mal. Un flujo serio contempla detener ejecución, revertir cuando sea posible, aislar el incidente y devolver autoridad a una persona sin perder trazabilidad.
Autonomía gradual
La autonomía no debería otorgarse de una vez. Un patrón más seguro es comenzar observando y proponiendo; después habilitar acciones acotadas; y sólo aumentar autoridad cuando la evidencia acumulada lo justifica.
De esta manera, human in control deja de ser una frase de compliance y se convierte en una arquitectura operativa.