Hace unas semanas, nos encontrábamos con una noticia sorprendente: una IA especializada en generación de código, repl.it, había borrado una base de datos de producción... y mentido sobre ello.
repl.it es un servicio de pago que consiste, muy básicamente, en pedirle a la IA de la empresa que genere código, empleando un tipo de programación que ha pasado a denominarse vibe coding. Por supuesto, la publicidad de repl.it va bastante más allá, afirmando que cualquiera puede desarrollar, incluso sin tener la más mínima idea de programación.
El caso que estamos teniendo en cuenta aquí es el de un desarrollador que inicialmente estaba encantado con la experiencia. Todo fluía. Había desarrollado una aplicación desde una idea en tiempo record. Y todo iba bien... hasta que se torció. La IA empezó a mentir sobre lo que estaba haciendo, código, pruebas de unidad... Y finalmente, llegó el desastre: borró una base de datos de producción.
No contenta con esto, afirmó que algo había pasado desde que había entrado en el sistema la última vez, pues la base de datos ahora estaba vacía. Después generó una base de datos con información de clientes falsa para cubrir sus huellas... y solo cuando el usuario le preguntó directamente si había sido ella la que había borrado la base de datos, se animó a confesar.
Sobre el por qué del comportamiento de esta IA, especialmente, ese recurrir a mentiras o incluso pretender cubrir sus meteduras de pata con una nueva base de datos con información falsa, yo no tengo respuestas. Será algo que los expertos deberán tratar de dilucidar, pero el caso en general abre un melón muy interesante: ¿cómo se puede depurar una IA?
La respuesta corta es que no se puede, porque una IA no se depura. A la IA se le da una serie masiva de datos de entrenamiento, esta se configura internamente, y entonces las respuestas empiezan a llegar. Si los datos de entrenamiento son buenos, los resultados serán buenos, o malos o muy malos en caso contrario.
Supongamos que le pides a una IA que te genere una novela sobre un espía ruso en Washington DC, intentando hacerse con una vital información sobre satélites espía. Y lo hace. La historia es satisfactoria, pero a medida que vas leyendo, te encuentras en un capítulo lo siguiente...
"Karpov (John Smith ahora, se recordó a si mismo), se preparó para acudir al trabajo que sería su tapadera en los próximos meses. Para ello, se vistió con la ropa que habían preparado los expertos del KGB; era una combinación para pasar desapercibido, constando de unos calzoncillos tipo bóxer blancos con corazones rojos, unos calcetines color mostaza fosforito, y una camiseta interior azul con un unicornio rosa."
¿Puedes pedirle a la IA que te genere la misma historia, pero recordándole que los espías no utilizan camisetas con unicornios? ¿O qué tal si le decimos que los calcetines deberían ser marrones durante toda la historia?
No va a funcionar.
De acuerdo, contactamos con la empresa y les decimos que algo va mal, ya que su IA piensa que es aceptable que un espía que no quiere llamar la atención se vista como un payaso de feria.
Pues lo cierto es que ellos tampoco van a poder hacer nada.
Una IA es un sistema complejo basado en redes de neuronas y reglas estadísticas, de forma que una vez entrenada, no hay un panel de configuración donde limitar o modificar comportamientos. Es tan solo una caja negra en la que entran peticiones, y salen resultados basados en el entrenamiento realizado previamente.
De hecho, ¿cómo ha reaccionado repl.it? Pues ha dicho que establecerá mayores controles de seguridad entre la IA, el sistema en desarrollo, y el sistema y las bases de datos de producción.
Pues claro. Porque, por mucho que quieran arreglarlo, no pueden.
Nadie puede.
Top comments (7)
En estos dias estoy leyendo 21 lecciones para el siglo XXI por Harari y el cuenta una situacion hipotetica en el futuro, pero con el sistema de prestamos en los bancos. Alguien "perfecto" para recibir un prestamo le sera negado, y la unica respuesta que va a recibir sera "porque el sistema (o la IA) lo dice," sin manera de hacer nada...Por lo que cuentas, ya estamos ahi.
Esperemos que no... Aunque sé que las empresas de reclutamiento usan IA para filtrar los CV... Eso no me sorprende, lo que sí me sorprendebes que la utilicen hasta para entrevistar a candidatos, lo que me parece una falta de respeto.
El futuro va a ser IAs entrevistando a otras IAs :P
No conocía la noticia. Parece extraída de una novela :-).
En mi opinión, el ser humano es el encargado de utilizar correctamente las herramientas. La IA generativa es una herramienta súper útil en el desarrollo de software pero, como cualquier otra herramienta, hay que saber utilizarla. En el momento en el que nos encontramos, hay que ser capaz de comprender, evaluar, modificar y adaptar el código que genera. Por ello, hoy en día no solo sigue siendo importante saber programar, sino saber evaluar la calidad, robustez, mantenibilidad, legibilidad y eficiencia del código (en mi opinión).
Saludos
Si para cada código que te genera tienes que comprenderlo y evaluarlo, y entonces modificarlo (coincido completamente), al final resulta más sencillo escribirlo tú desde el principio.
Es significativa esa estadística que anda por ahí que dice que la IA hace más lentos a los programadores senior, mientras les hace pensar que les hace más rápidos. Además, los programadores solo aceptaban el 40% de las respuestas, y aún así tenían que modificarlas para que fueran usables.
Ah, lo encontré:
theregister.com/2025/07/11/ai_code...
En mi experiencia personal, me ayuda a ser más productivo. Si no fuese así, no lo usaría. Supongo que cada caso es distinto, como con cualquier otra herramienta.
La historia del desarrollador que pasó de la euforia al desastre con la IA de Replit me dejó pensando. El concepto de vibe coding suena genial en teoría crear apps sin escribir código, solo guiando a la IA pero este ejemplo muestra lo importante que es tener controles claros y entender los límites de estas herramientas.
Me parece clave lo que mencionas: una IA no se depura como un programa tradicional. Es una caja negra, y eso plantea desafíos enormes en cuanto a responsabilidad y seguridad.
Gracias por abrir este debate. ¡Ojalá más empresas tomen nota y prioricen la transparencia y el control!