Dominio y fiabilidad de la IA en programación: Guía febrero 2026
La evaluación elegida es The Matthew Effect of AI Programming Assistants: A Hidden Bias in Software Evolution, publicada en ICLR 2026. Sus autores probaron Gemini 2.5 Flash con problemas de LeetCode en nueve lenguajes y publicaron la tasa de soluciones aceptadas al primer envío, además de los tipos de fallo registrados.
Ficha de la medición
- Modelo: Gemini 2.5 Flash, endpoint
gemini-2.5-flash. - Interfaz: API de Gemini; no la aplicación de Gemini ni un asistente de programación conectado a un repositorio.
- Conjunto: 3.011 problemas de LeetCode: 765 fáciles, 1.526 intermedios y 720 difíciles, solicitados en nueve lenguajes.
- Procedimiento: una generación por combinación de problema y lenguaje; extracción automatizada del código y envío al juez de LeetCode sin correcciones posteriores.
- Parámetros informados: temperatura 0,5,
top_p0,95 y máximo de salida de 65.535 tokens. - Fecha de referencia: versión 3 del artículo en arXiv, 9 de febrero de 2026; publicación en ICLR 2026. Esta revisión, 5 de octubre de 2026.
Pass@1 es la proporción de soluciones aceptadas en el primer envío. Es una medida concreta de éxito en esta batería algorítmica; no equivale a la proporción de código correcto que produciría el modelo en cualquier proyecto.
Resultados publicados por lenguaje
La tabla reproduce los datos de Gemini 2.5 Flash. Se puede ordenar haciendo clic en los encabezados.
| Python | 67,92 % | 2.045 | 0 | 726 | 217 | 23 |
| C++ | 68,65 % | 2.067 | 744 | 13 | 164 | 23 |
| C | 58,59 % | 1.764 | 1.007 | 52 | 170 | 18 |
| Java | 68,65 % | 2.067 | 739 | 39 | 157 | 9 |
| JavaScript | 64,50 % | 1.942 | 0 | 781 | 275 | 13 |
| Go | 50,22 % | 1.512 | 1.377 | 7 | 105 | 10 |
| Rust | 51,81 % | 1.560 | 1.311 | 17 | 115 | 82 |
| Erlang | 1,26 % | 38 | 2.824 | 145 | 4 | 33 |
| Racket | 17,10 % | 515 | 2.184 | 200 | 94 | 18 |
Nota sobre las categorías: en los datos publicados, las categorías de resultado de Rust suman 3.085 y las de Erlang 3.044, aunque se evaluaron 3.011 problemas por lenguaje. Se reproducen como aparecen en el artículo fuente y no deben interpretarse como categorías mutuamente excluyentes y completas para esos dos lenguajes.
Cómo interpretar la comparación
C++ y Java obtuvieron 68,65 % y Python 67,92 %: una diferencia de apenas 0,73 puntos porcentuales entre Python y los dos primeros. El artículo no aporta una prueba estadística por pares que permita afirmar que esa diferencia sea significativa. La tabla muestra el resultado de este modelo en esta prueba, no una clasificación universal de lenguajes ni de modelos.
JavaScript y Python registran cero resultados en la categoría llamada por el juez “Compile Error”. Esto no significa que JavaScript tenga compilador tradicional ni que no puedan existir errores sintácticos. Los autores reportan las etiquetas del juez de LeetCode, pero no explican en detalle cómo se asigna esa categoría en cada runtime. JavaScript suele ejecutarse mediante un motor que analiza y compila internamente el código; un fallo puede clasificarse como error de ejecución, según el entorno y el juez.
Los mayores conteos de errores de ejecución fueron JavaScript (781) y Python (726); también encabezaron los conteos de respuestas incorrectas (275 y 217). Son conteos brutos, no tasas de fallo entre las soluciones no aceptadas. Ambos lenguajes también tuvieron Pass@1 alto. Esto es compatible con que muchas soluciones alcanzaran la ejecución y fallaran por lógica o durante la ejecución, mientras que en Go, Rust, C, Erlang y Racket pesaron más los errores de compilación. No permite concluir que Python o JavaScript sean menos fiables en proyectos reales.
Conclusión
La evidencia citada aquí es acotada: en 3.011 problemas de LeetCode por lenguaje, Gemini 2.5 Flash obtuvo tasas Pass@1 cercanas en C++, Java y Python, menores en Go y Rust y muy bajas en Erlang y Racket. No debe presentarse como una medición de Gemini 3.x ni como garantía para código de producción. Para estimar el desempeño de un modelo actual, hace falta una prueba comparable, fechada y reproducible sobre ese modelo y el trabajo concreto que se quiere realizar.
Fuentes
- Artículo publicado en ICLR 2026: The Matthew Effect of AI Programming Assistants
- Texto completo, resultados, parámetros y apéndices del estudio
- Repositorio de código y materiales de evaluación
- Google AI for Developers: modelos de Gemini API y estados de disponibilidad
¿Te sirvió este informe?
Tu apoyo me permite seguir creando guías de optimización y hardware.
Comentarios