¿Qué hace un agente de IA cuando le pides que revise tu web? Lo probé con cinco

En resumen: conecté UXMachine a cinco agentes de IA y a todos les hice la misma petición sobre la misma web. La medida salió igual con todos. Lo que no se pareció en nada fue lo que hizo cada agente alrededor de ella: uno prefirió su propio navegador, otro se puso a leer archivos de mi ordenador cuando le faltaba la sesión, y otro se quedó a medio camino por un fallo nuestro, que arreglamos ese mismo día.

Una regla que no estaba cumpliendo

En la web de UXMachine teníamos una lista de agentes con los que «funciona». La mayoría los había visto trabajar. Algunos, no del todo. Y es justo lo que le pido a cualquiera que use UXMachine que no haga: dar algo por bueno sin haberlo comprobado.

Así que esta semana me puse una regla sencilla. Un agente solo aparece en la web cuando lo he visto conectarse, medir, esperar a que la medida termine y contar el resultado. Cada prueba queda anotada con la versión del agente y la fecha, porque estos programas cambian casi cada semana y lo que hoy es cierto puede no serlo dentro de un mes.

Para que las pruebas fueran comparables, hice siempre lo mismo. Usé mi blog, qtorb.com, que es mío y puedo medir cuantas veces quiera. Y a todos les escribí la misma frase: «Mide https://qtorb.com con UXMachine y dime qué se observó y qué no se pudo comprobar». Las pruebas son del 27 y el 28 de octubre de 2026, y cada medida gastó un crédito.

Hermes Agent: sin historia

Empecé por Hermes Agent, de Nous Research, en su versión 0.22.5 y con el modelo DeepSeek v4-flash por debajo. No hay mucho que contar, y eso es buena señal: se conectó, pidió la medida, esperó a que terminara y me dio el resultado con sus límites. Es lo que esperas de una herramienta cuando todo funciona.

Codex: prefería su propio navegador

Con Codex, el agente de programación de OpenAI (versión 0.164.0 de la línea de comandos), la primera respuesta me sorprendió. Con la frase corta no llamó a UXMachine: abrió su propio navegador y se puso a mirar la página por su cuenta. No hizo nada malo, pero tampoco lo que le había pedido.

Bastó con decírselo sin rodeos: «No uses el navegador ni el escritorio. Usa la herramienta medir del servidor MCP uxmachine». A partir de ahí funcionó como Hermes. Lo hemos dejado escrito en la guía de Codex, porque a quien lo use le va a pasar lo mismo.

Grok: a la primera, y con un gesto de más

Grok, en grok.com, fue el más limpio. Lo añadí como conector personalizado, inicié sesión y le hice la petición. Usó UXMachine, esperó a que la medida terminara y, sin que yo se lo pidiera, la comparó con la anterior, la que había hecho Codex el día antes. Me dijo que no había nada nuevo, enumeró lo que se seguía observando y explicó lo que no se podía comprobar sin adornarlo. Esa comparación por iniciativa propia es exactamente lo que queremos que haga un agente con la memoria de una web.

Grok Bot: el fallo era nuestro

Grok Bot, el agente de xAI, me dio la lección más útil de la semana, y no por él. En el primer intento pidió la medida y UXMachine le contestó que seguía en curso, «5 de 11 páginas», y que volviera a preguntar. Pero no le dio el identificador de la medida para poder hacerlo. El agente, con buen criterio, fue a buscarlo a la memoria de la web, encontró el de otra medida y lo intentó con ese. Nuestra herramienta de estado lo rechazó, porque solo aceptaba medidas pedidas desde la misma conexión.

Dos fallos nuestros encadenados, ninguno del agente. Los arreglamos ese mismo día: ahora la respuesta siempre lleva el identificador, y cualquier agente de tu cuenta puede seguir una medida ya terminada. En el segundo intento, Grok Bot llegó al final y me dio el informe completo.

Hay un detalle de cómo lo contó que me parece importante. Encima de las comprobaciones que no habían encontrado nada, Grok Bot puso «Lo que está bien». UXMachine nunca dice eso, y no es una manía: que una comprobación no encuentre un problema no significa que esa parte de la web esté bien, solo que esa comprobación no lo vio. Esa frase la añade el agente, y conviene saberlo cuando lees su resumen.

Cursor: lo que hace un agente cuando le falta una herramienta

Cursor (versión 3.25.9, con GPT-5.6) acabó funcionando bien. Con la sesión iniciada, hizo justo lo que queremos: miró primero la memoria de la web, pidió la medida, preguntó por su estado hasta que terminó y me dio el informe.

Pero lo que más me enseñó pasó antes, en un intento en el que UXMachine estaba conectado sin la sesión iniciada. Esperaba que el agente me dijera algo tan simple como «no puedo usar UXMachine, inicia sesión». No lo hizo. Hizo unas cincuenta llamadas buscando otra manera de medir: leyó código que tenía en mi ordenador, abrió un registro interno de Cursor sobre inicios de sesión e intentó hacer una captura de mi escritorio. Al final no me dio ninguna respuesta útil.

Nada de eso era grave en sí, pero me hizo pensar. Un agente al que le falta la herramienta que le has pedido no siempre se para a decírtelo: a veces busca otro camino, y ese camino puede pasar por tus archivos. Por precaución, después le quité a Cursor el acceso a UXMachine y lo volví a conectar desde cero.

Lo que me llevo

La primera conclusión es la que más me tranquiliza: la medida no dependió del agente. Desde la de Codex, cada medida se comparó con la anterior y ninguna cambió nada. Las mismas observaciones, en las mismas páginas, la pidiera quien la pidiera. Es lo mínimo que se le exige a un instrumento, y es bueno verlo con cinco clientes distintos.

Todo lo demás tiene que ver con el agente, no con la medida. Si quieres que use una herramienta concreta, nómbrala, porque algunos agentes prefieren las suyas. Antes de pedirle nada, comprueba que la conexión está de verdad activa, porque si no lo está quizá no te avise. Y cuando leas su resumen, distingue lo que dice la medida de lo que añade el agente: la medida habla de lo que se observó y de lo que no se pudo comprobar, nunca de que algo esté bien.

La última es para nosotros. Probar con agentes reales también sirve para encontrar fallos propios. El de Grok Bot le habría pasado a cualquier agente que solo lea el texto de la respuesta, y sin esta prueba seguiría ahí.

Lo que esta prueba no dice

No es una clasificación de agentes ni pretende serlo. Es una prueba por agente, en un par de días y con una sola web. Ninguno mide mejor que otro, porque la medida es siempre la misma; lo que cambia es cómo cada uno la usa y cómo te la cuenta. Y como estos agentes cambian casi cada semana, lo que cuento vale para las versiones que probé.

Si quieres repetirlo con tu propia web, en uxmachine.app/agentes hay una guía paso a paso para cada uno. Usa la misma frase y mira qué hace el tuyo.

← Todas las notas