La IA dice que domina muchos lenguajes. ¿Qué prueba tenemos?
Cuando se le pregunta a un modelo qué lenguajes programa mejor, puede responder con una lista detallada: Python y JavaScript como fortalezas, Rust o COBOL como desafíos y hasta una estimación de cuánta experiencia humana hace falta para revisar su código. La respuesta puede sonar introspectiva, pero no es una medición de sus capacidades.
Revisado el 5 de octubre de 2026.
Una autoevaluación no es una prueba
Un modelo de lenguaje genera texto a partir de la solicitud y el contexto. Que diga “dominio experto” no significa que haya ejecutado pruebas, comparado sus resultados entre lenguajes o calculado una tasa de acierto. Sin un método publicado, esos niveles son afirmaciones sin respaldo verificable.
Para evaluar código hay que fijar, como mínimo, la versión exacta del modelo, las tareas, las instrucciones, las herramientas disponibles, el número de intentos y el criterio para considerar una solución correcta. También importa la fecha: los modelos y sus versiones cambian, así que una medición antigua no describe automáticamente una versión nueva.
Qué evidencia tenemos
Un estudio de ICLR 2026 midió Gemini 2.5 Flash con problemas de LeetCode en nueve lenguajes. Por ejemplo, obtuvo 68,65 % de soluciones aceptadas al primer envío en C++ y Java, y 67,92 % en Python. Esos resultados describen una prueba concreta de programación algorítmica; no validan las etiquetas “experto” o “avanzado” para todos los lenguajes ni predicen cómo funcionará el modelo en cualquier repositorio.
La evaluación se hizo mediante la API de Gemini y corresponde a Gemini 2.5 Flash. No debe presentarse como resultado de Gemini 3 Pro ni de otro modelo posterior. La metodología, los demás lenguajes y las limitaciones están en el artículo completo del estudio.
También importa describir correctamente los lenguajes
Una clasificación que mezcla “lenguajes de programación” puede inducir a error si incluye categorías distintas sin explicarlo. HTML es un lenguaje de marcado y CSS es un lenguaje de hojas de estilo; se usan junto con lenguajes de programación en el desarrollo web, pero no son equivalentes a Python, Java o Rust. SQL, Bash, TypeScript y ensamblador también tienen propósitos y entornos diferentes, por lo que una sola escala general no cuenta toda la historia.
El modelo puede ayudar a redactar una consulta SQL, un script de shell o una hoja de estilos, pero su utilidad se debe evaluar según la tarea. “Conoce la sintaxis” no es lo mismo que producir código correcto, seguro, eficiente y compatible con el proyecto.
Conclusión
Una IA puede describir lo que cree saber, pero su propia descripción no demuestra competencia. Para decir cuánto acierta, necesitamos evaluaciones fechadas y reproducibles y debemos limitar cada conclusión al modelo, la tarea y las condiciones realmente probadas. El código generado sigue siendo una propuesta: hay que verificarlo con pruebas y con el conocimiento del sistema donde se usará.
Comentarios