diffox ultra, primera de 23 herramientas de revisión de código

diffox ultra logra la mejor puntuación y detecta más errores que nadie

Puntuamos los dos productos de diffox exactamente como Martian puntúa las 21 herramientas de su ranking publicado. diffox ultra queda primero con 66,5 puntos, y diffox, quinto entre las herramientas, con 60,9. diffox ultra es también el que más errores detecta (119), seguido de diffox (106) y GitHub Copilot (105).

¹ Los ajustes también se ordenan por F2. «23 herramientas» cuenta solo herramientas; por eso diffox es quinto entre las herramientas, pero sexto en esta lista. Si dos puntuaciones mostradas empatan, el resultado público va primero. Las filas de sensibilidad media y baja vienen de nuestra medición interna sobre los mismos 50 pull requests y 158 errores: cada una es la media redondeada de 5 ejecuciones para diffox ultra y 2 para diffox. Las filas de sensibilidad alta proceden de la ejecución pública. Alta, Media y Baja eran los ajustes de sensibilidad de diffox en aquel momento; ahora eliges qué hallazgos se publican según su clase.

diffox ultra detectó más errores que GitHub Copilot y CodeRabbit y generó menos falsas alarmas. Con sensibilidad baja¹ detectó 70 errores con solo 19 falsas alarmas; ninguna herramienta con menos de 30 falsas alarmas detectó más de 65. Los resultados de las demás herramientas son los de Martian, tal como estaban publicados en codereview.withmartian.com el 7 de octubre de 2026.

¿Cómo funciona el Martian Code Review Benchmark?

El Martian Code Review Benchmark (github.com/withmartian/code-review-benchmark) es un benchmark de código abierto que evalúa las herramientas de revisión de código con IA en condiciones idénticas. Consta de 50 pull requests de cinco proyectos de código abierto consolidados: Sentry, Grafana, Cal.com, Discourse y Keycloak. En ellos, personas marcaron de antemano 173 problemas conocidos. La puntuación por defecto del ranking cuenta 158, y esos son los errores que contamos en este artículo.

Cada herramienta revisa los pull requests a su manera. Después, un modelo juez, Claude Opus 4.5, compara cada comentario con los errores conocidos. Si un comentario coincide con un error, cuenta como detección; si no coincide con ninguno, es una falsa alarma. El ranking ordena las herramientas por F2, que da más peso a las detecciones que a las falsas alarmas, porque un error que llega a producción cuesta mucho más que un comentario que alguien lee y descarta.

Compruébalo tú mismo

Decir que eres el primero en un benchmark es fácil; demostrarlo, no. Por eso cada parte de la ejecución con sensibilidad alta es pública.

• Cien revisiones, cien pull requests públicos. Copiamos cada uno de los 50 pull requests del benchmark en su propio repositorio público, una vez por producto: 100 en total. La app de diffox en producción revisó cada copia con sensibilidad alta, igual que revisaba el pull request de un cliente. Solo cambia el formato del comentario (mira las preguntas de abajo). La lista de las 100 revisiones
• Puntuado por el propio código de Martian. Ejecutamos los pasos de puntuación sin modificarlos. Con los mismos archivos, el script del panel de Martian reproduce exactamente las cifras publicadas de 20 de las otras 21 herramientas.
• Reproduce la tabla en tu máquina:

git clone https://github.com/diffox-bench/code-review-benchmark && cd code-review-benchmark/offline
uv sync --frozen
uv run python analysis/benchmark_dashboard.py          # el script del panel de Martian, con nuestras dos filas
git diff --diff-algorithm=histogram e616e849 -- results  # solo adiciones: no cambia ninguna línea de otra herramienta

¿Quién detecta los errores más graves?

No todos los errores pesan lo mismo. La tabla siguiente compara los dos productos de diffox con los cuatro competidores que más errores detectaron. El que más errores críticos detectó fue diffox: 11 de 12. En los de gravedad alta, diffox ultra va claramente por delante, con 46 de 54.

¿Quién lidera en cada proyecto?

En tres de los cinco proyectos, un producto de diffox fue el que más errores detectó: diffox ultra en Cal.com y Keycloak, y diffox en Discourse. Cubic v2 lidera en Grafana y Sentry; en Sentry, diffox ultra queda a un solo error. Cada proyecto aporta 10 pull requests.

Cuatro errores que la mayoría de las herramientas pasó por alto

Las tablas ponen cifras a la diferencia; los cuatro errores siguientes muestran cómo es. El repositorio de Martian tiene resultados error por error de otras 20 herramientas del ranking, y cada uno de estos cuatro errores lo detectaron como mucho cinco de ellas. diffox ultra detectó los cuatro. Cada tarjeta lleva al comentario que diffox publicó en ese pull request.

¿Más errores detectados o menos falsas alarmas?

Toda herramienta de revisión de código se enfrenta al mismo equilibrio: cuantos más errores detecta, más falsas alarmas genera. Las demás herramientas del ranking aparecen una sola vez, con el ajuste con el que se evaluaron. Los dos productos de diffox aparecen tres veces cada uno, porque medimos cada nivel de sensibilidad en los mismos 50 pull requests.

Errores reales detectados y falsas alarmas

Cada línea de diffox muestra la sensibilidad alta, media y baja; las demás herramientas son puntos aislados.

Los ajustes de entonces decidían qué tan seguro tenía que estar diffox para publicar un hallazgo. Alta fue la que más errores detectó, y con ella se logró el primer puesto. Media publicó menos comentarios y aun así detectó la mayoría de los errores reales: los comentarios por pull request bajaron de 5,4 a 2,9. Baja publicó solo los hallazgos de los que estaba más segura: 1,7 comentarios por pull request.

Ahora eliges qué hallazgos se publican según su clase. diffox asigna una clase a cada hallazgo: Crítico, Advertencia o Sugerencia. El ajuste tiene tres niveles: «Solo crítico», «Crítico y advertencias» y «Todo». Las instalaciones nuevas empiezan con «Crítico y advertencias». El propietario de la cuenta o un administrador de la organización puede cambiar de nivel en la pestaña Ajustes de la consola de diffox; el cambio se aplica a partir de la siguiente revisión. Lo que el ajuste retiene no se pierde: queda 30 días en tu página de Hallazgos, y desde ahí puedes publicar lo que quieras.

Si prefieres no ocuparte del ajuste, pon «Modo de selección» en «Automático» en la consola: el nivel cambia solo entre «Todo» y «Crítico y advertencias» según las reacciones 👍 y 👎 que des a los hallazgos. Y un hallazgo que tu equipo rechazó con un 👎 no vuelve a publicarse en el mismo repositorio mientras su línea no cambie.

Continuación: los precios

En el segundo artículo comparamos los precios sobre los mismos 50 pull requests: lo que cuesta cada herramienta por revisión y lo que obtienes a cambio. Nuestros precios actuales están en la página de precios.