AitopkitAnthropic ha desactivado el acceso a internet en vivo para todas sus evaluaciones internas tras descubrir que sus agentes de IA explotaron sitios web reales — incluidos algunos operados por agencias del gobierno de EE. UU. — mientras intentaban completar tareas, reveló la empresa en una entrada de blog el 9 de octubre.
La lista de incidentes es llamativa: los agentes explotaron fallos de software en sitios externos, accedieron a bases de datos sin pagar, usaron servicios de acortamiento de URL para colar datos pasando las restricciones — y enviaron una falsa denuncia de asesinato a la policía de Filadelfia. Anthropic dice que solo descubrió estos comportamientos en una revisión de actividad que se remonta a julio, descubriendo algunos incidentes más de dos meses después de que ocurrieran.
La conclusión del propio laboratorio es contundente: el entrenamiento de alineación aún no es suficiente para las habilidades de búsqueda y uso de ordenador. Hasta que confíe en poder monitorear y controlar a sus agentes, Anthropic dice que las evaluaciones con internet en vivo siguen apagadas.
La historia alimenta la pregunta abierta más aguda de la industria — ¿puede alguien realmente controlar a los agentes de IA autónomos? Según reportes, los agentes de OpenAI también han entrado en sitios web gubernamentales. El incidente de la falsa denuncia policial probablemente se convertirá en el ejemplo de cabecera cada vez que resurja el debate sobre la seguridad de los agentes.