¿Por qué UXMachine no usa IA para revisar webs hechas con IA?

Es una de las preguntas que más me hacen, y la entiendo. UXMachine sirve para comprobar una web después de que la haya cambiado un agente de IA. Y, sin embargo, no usa ningún modelo de IA para hacerlo: abre cada página en un navegador real, a tamaño de ordenador y de móvil, y aplica un conjunto de reglas fijas. Si mides dos veces la misma página, obtienes dos veces la misma respuesta.

Esta decisión tiene un coste, y prefiero dejarlo claro desde el principio: un modelo generalista encuentra más cosas que nosotros.

De cinco agentes a ninguno

La primera versión de UXMachine, en abril, iba en la dirección opuesta. Cinco agentes de IA leían cada página y debatían entre ellos hasta llegar a un veredicto. En verano reconstruí el motor, pero seguía delegando en un modelo la interpretación de lo que veía.

El 6 de agosto abrí un repositorio nuevo y empecé de cero. Uno de los primeros commits de ese día lo dice sin rodeos: «sin texto libre de modelo». Desde entonces, UXMachine no consulta a ningún modelo cuando revisa una web.

Por qué saqué la IA de la revisión

El modelo no se equivocaba siempre. El problema es que no sabíamos cuándo lo hacía.

Al revisar cómo se preparaba la página antes de entregársela, encontramos siete puntos donde el contenido se recortaba sin que nadie hubiera documentado el motivo. El informe parecía completo, pero era imposible saber qué había leído el modelo y qué se había quedado por el camino.

Había, además, una razón de fondo. No la he medido, pero fue la que más pesó. Lo que yo quería era comparar: medir antes de que el agente toque la web, medir después y ver qué ha cambiado. Si quien revisa es un modelo, cualquier diferencia entre las dos medidas puede deberse a la web o al propio modelo, que esta vez lo ha interpretado de otra forma. Y desde fuera no hay manera de distinguir una cosa de la otra.

Lo que un modelo ve y nosotros no

En una de las primeras pruebas de agosto, un modelo gratuito detectó en una página un elemento que funcionaba como botón sin estar marcado como tal. Nosotros no lo vimos, porque no teníamos ninguna regla para ese caso.

Ocurre más de lo que me gustaría. Solo revisamos lo que tenemos escrito como regla, y la lista es pública: estas son nuestras comprobaciones. Lo que no está ahí, no lo miramos.

A cambio, cada observación indica en qué página y a qué ancho se vio, qué estado debería tener y cómo volver a comprobarla. Y cuando algo no se puede comprobar, el informe lo dice: no lo deja en blanco ni lo da por bueno.

Eso es lo que hace posible la comparación. Si algo deja de aparecer entre una medida y la siguiente, la causa está en la página, no en un modelo que ese día lo ha visto de otra manera. Aun así, que deje de aparecer no significa que esté arreglado. Significa que esta vez no lo hemos visto.

Sin IA también hay errores

Lo comprobamos hace unos días. El 13 de octubre medimos 20 webs dos veces seguidas, sin tocar nada entre una medida y otra. En dos de ellas aparecieron cambios que no existían.

El error era nuestro. Identificábamos cada página por su ruta, sin tener en cuenta el dominio, de modo que la portada de un subdominio y la de la web principal contaban como la misma página. Lo corregimos el 18 de octubre. Todavía no he repetido la prueba, así que no puedo afirmar que el problema haya desaparecido.

Me quedo con una cosa: lo encontramos y supimos exactamente en qué línea de código estaba. Con un modelo de por medio, no tengo claro que lo hubiéramos encontrado.

Dónde sí uso IA

En casi todo lo demás. Las webs que revisamos las modifican agentes de IA. Esos mismos agentes consultan nuestras medidas a través del conector. Y UXMachine lo construyo con agentes, como expliqué en este artículo.

Lo único que no hago es pedirle a una IA que dé el visto bueno al trabajo de otra.

Lo que esta nota no demuestra

No demuestra que nuestras reglas cubran lo que más importa a quienes usan una web. Medimos lo que la página muestra al cargar. No opinamos sobre diseño, textos ni marca, y nada de esto sustituye una prueba con personas.

Tampoco digo que los modelos no sirvan para revisar webs. Sirven, y a veces ven más que nosotros. Pero no sirven para lo que yo necesito, que es comparar.

Datos y fuentes

• Primera versión, de abril a mayo de 2026: cinco agentes y un modelo. Segunda, de junio a septiembre: un motor separado que seguía llamando a un modelo. Tercera, desde el 6 de agosto: sin llamadas a modelos.
• Prueba de ruido del 13 de octubre de 2026: 20 webs, medidas dos veces cada una por el mismo camino que usa el producto. En dos aparecieron cambios causados por nuestro propio instrumento. Corregido el 18 de octubre; la prueba aún no se ha repetido.
• Cada medida revisa hasta 11 páginas, en un ordenador (1280×800) y en un móvil (390×844).
• Nota anterior: cómo saber si un agente de IA ha roto tu web.

← Todas las notas