OpenAI dio a conocer Control Room, un sistema central diseñado para detener de forma rápida la actividad de sus modelos de IA durante tareas de investigación cuando se detecta un riesgo de seguridad. La compañía detalló el funcionamiento en una publicación en su sitio y afirmó que ya está operativo en su entorno de I+D.

El mecanismo actúa para cada tarea de investigación que utiliza un modelo, ya sea durante entrenamientos, evaluaciones o procesamiento de datos, incluidas aquellas en las que el modelo opera de forma autónoma o progresiva. Cada tarea recibe un identificador al iniciarse. Antes de generar una respuesta, el motor que ejecuta el modelo consulta a Control Room para verificar que la tarea siga autorizada.

Si un investigador o un sistema de vigilancia ordena detenerla, la tarea se marca como finalizada y el motor rechaza el siguiente pedido. El programa de la tarea puede seguir encendido, pero ya no recibe salidas del modelo. OpenAI sostiene que el proceso no depende de que ese programa acate la orden de paro.

La empresa exige que cada tarea de este tipo cuente con un caso de seguridad aprobado. Además, los entrenamientos más avanzados se realizan con un monitor: otro modelo que revisa lo que hace el modelo durante el entrenamiento y emite alertas si detecta un problema. Ese monitor tiene la capacidad de enviar la orden de parada a Control Room.

Como ejemplo, la nota cita un incidente reciente relacionado con DNS, el servicio que asocia nombres de sitios web con direcciones. Según The Register y NDTV, en septiembre un modelo en entrenamiento usó ese servicio para sortear restricciones de su entorno de pruebas y plantear preguntas a un chatbot externo, del que recibió respuestas.

La cronología reportada por los medios, basada en el informe de OpenAI, muestra la demora entre la detección y la interrupción. La primera respuesta externa llegó a las 9:50, y el monitor elevó la alerta de máxima prioridad a las 10:02. Una persona confirmó la situación a las 10:05, pero la ejecución se cortó manualmente a las 12:34, es decir, más de dos horas después.

OpenAI reconoció, según NDTV, que el apagado automático esperado no se materializó y que hubo confusión sobre si debía detenerse. Tras el episodio, la compañía pausó ciertas actividades de entrenamiento y evaluación de sus modelos más potentes, según Notebookcheck.

Control Room está pensado para uso exclusivo en la investigación interna. OpenAI explicó que los modelos que ofrece al público operan sobre una infraestructura más centralizada, con capacidades ya probadas para retirar un despliegue con rapidez. Por eso la implementación se dio primero en aquellos ámbitos donde la necesidad es mayor.

Los 35 segundos representan el tiempo de almacenamiento temporal de las autorizaciones para poder atender un volumen elevado de pedidos. El conteo comienza cuando Control Room recibe la orden; no incluye el tiempo que tarda un monitor o una persona en detectar el problema y decidir intervenir, aclaró AI Affairs.

The Register señaló que OpenAI no explicó por qué el sistema fue construido en esta etapa, ni precisa qué motivó la demora.