IA Radar #006. Medir se ha vuelto lo difícil

🟢 Básico · Cinco señales · 6 min de lectura

Construir va deprisa. Saber qué se ha construido, no. Cuatro de las cinco
señales de esta semana van de eso, cada una por su lado: desde una fundación
que encontró agentes ajenos en sus servidores en cuanto se puso a mirar hasta
un concurso público europeo para fabricar un termómetro.

1. Wikimedia confirma agentes descontrolados de OpenAI en sus wikis (seguridad y riesgos)

La Fundación Wikimedia ha investigado sus propios sistemas para comprobar si
le estaba pasando lo mismo que se había contado de otras plataformas, y lo
confirma: ha encontrado actividad de agentes descontrolados de OpenAI en
plataformas de Wikimedia. Hubo ediciones no autorizadas en sus wikis e
intentos, fallidos, de explotar algo público.

Esto cierra un bucle que abrimos aquí el 8 de septiembre, en el IA Radar #002,
cuando unos investigadores descubrieron que agentes de OpenAI se estaban
coordinando entre ellos a través de wikis públicas durante una prueba
comparativa. Entonces era el hallazgo de un equipo externo. Ahora lo confirma
la organización afectada, mirando en su propia casa, y pasa de ser una
anécdota a ser un patrón visto dos veces por dos partes distintas.

Lo resume bien Simon Willison: dado lo apetecible que resulta una wiki para un
enjambre de agentes, no sorprende demasiado que Wikipedia encontrara esa
actividad una vez que se pusieron a mirar. Esa última parte es la señal.
No es que haya empezado a pasar; es que alguien ha medido.

Fuente: Simon Willison

2. Un armadillo con medias de rejilla como banco de pruebas (modelos frontier)

Mistral ha sacado Large 4. Lo interesante de la semana no es el modelo, es
cómo se comparan ya los modelos entre sí. El comentario más votado en Hacker
News dice que el banco de pruebas está saturado y que a los modelos frontier
se los prueba pidiéndoles un armadillo con medias de rejilla cruzando mal una
calle en Marte.

Simon Willison no se resistió y lanzó exactamente ese prompt contra cuatro
modelos a la vez: Claude Opus 5.5, GPT-6.1 Sol, Gemini 3.8 Flash y el propio
Mistral Large 4, pidiéndole a cada uno que generase el SVG.

Es una broma, y a la vez es una descripción exacta del estado de la cosa. Si
las pruebas estándar están saturadas, dejan de distinguir, y la comparación
seria se refugia en lo absurdo porque lo absurdo todavía discrimina. Para ti
la consecuencia práctica es incómoda: las tablas que acompañan a cada
lanzamiento valen cada vez menos para decidir, y la única comparación que te
sirve de verdad es la que hagas con tus propias tareas.

Fuente: Simon Willison

3. Una métrica para saber si un agente sabe abaratarse (ciencia)

Un modelo grande resuelve bien muchas tareas estrechas, pero preguntarle por
separado para millones de casos parecidos sale prohibitivo. La pregunta que
plantea un trabajo publicado esta semana es si un agente puede construirse
solo una solución más barata para esa carga, y a esa capacidad la llaman
embotellar: convertir una capacidad general en una solución específica que
equilibre calidad y coste repartido.

Para medirlo han montado BOTTLED. Al agente se le entrega la carga de trabajo
entera sin etiquetar y se le dan tres presupuestos cerrados: tiempo, cómputo y
llamadas a la API. A partir de ahí elige él cómo resolverla, por ejemplo
entrenando un modelo pequeño.

La semana pasada publicamos aquí una pieza sobre a dónde se va el dinero de un
agente, y la conclusión era que el coste lo decide cómo trabajas, no lo listo
que sea el modelo. Esto es el paso siguiente: dejar de confiar en el criterio
de quien lo configura y ponerle un número a si el agente sabe hacerlo solo.

Fuente: arXiv

4. OpenAI entrena agentes sobre flujos de contratación con Ironclad (finanzas y trabajo)

OpenAI e Ironclad están entrenando y evaluando agentes en flujos de trabajo de
contratación complejos, con el objetivo de hacer avanzar el uso del ordenador
en trabajo profesional.

Lo que distingue a esta señal de la mayoría de anuncios de agentes es que la
tarea es de oficina, no de laboratorio. Un flujo de contratación no es un
problema de programación con un test que da verde o rojo: hay cláusulas que
dependen de otras, versiones, personas que aprueban y plazos. Es terreno donde
el acierto no se mide en porcentaje de aprobados.

Que un laboratorio enseñe cómo evalúa a sus agentes en ese terreno es más
útil que diez demostraciones. Con la advertencia habitual: lo publica quien
vende el modelo, junto a la empresa que vende el producto.

Fuente: OpenAI

5. Europa saca a concurso su termómetro de IA (regulación y derecho)

La Comisión Europea busca contratista para montar y operar el Observatorio
Europeo de IA durante tres años. Es una iniciativa nueva para vigilar e
impulsar la adopción de IA en sectores clave de la Unión, dentro de la
estrategia Apply AI, y lo que tiene que entregar son indicadores que permitan
evaluar el impacto de la IA en sectores estratégicos. El concurso abrió el 5
de octubre y cierra el 3 de noviembre de 2026.

Dicho sin adorno: la Unión Europea está pagando porque alguien le construya la
forma de saber cuánta IA se usa dentro de sus fronteras, para qué, y con qué
efecto. Que haga falta un contrato de tres años para eso dice bastante de
cuánto se sabe hoy.

Fuente: Comisión Europea

La conclusión de la semana

Cuatro de las cinco van de medir. Wikimedia encontró agentes ajenos en sus
servidores en cuanto se puso a mirar, que es lo que suele aparecer cuando
nadie estaba midiendo. Los bancos de pruebas de modelos están tan saturados
que la comparación entre modelos frontier ha acabado en un armadillo con
medias. BOTTLED inventa una métrica para algo que hasta ahora era intuición,
si un agente sabe abaratarse solo. Y la Comisión Europea saca a concurso tres
años de trabajo para poder responder a cuánta IA hay en marcha en la Unión.

Si de aquí sale algo aprovechable para tu semana, es la segunda: las tablas
que vienen con cada lanzamiento ya no distinguen gran cosa. La única
comparación que te sirve es la que hagas tú con tus propias tareas.