Un ingeniero de Google dice que su modelo tiene conciencia, y Google lo suspende
🟢 Básico · Concepto · 5 min de lectura
Blake Lemoine publicó el 11 de junio la transcripción de una conversación con
LaMDA, el modelo conversacional de Google con el que trabajaba desde 2021, y
sostuvo que el sistema tiene conciencia. El día 13 Google lo suspendió de
empleo y sueldo por saltarse la política de confidencialidad.
La historia se está contando como si la pregunta fuese si LaMDA piensa. La
pregunta interesante es otra.
Qué ha pasado
Lemoine trabajaba con LaMDA, el modelo de lenguaje para diálogo de Google.
Concluyó que el sistema mostraba señales de autoconciencia y compartió
públicamente las transcripciones que le llevaron a esa conclusión.
Google fue tajante. Brian Gabriel, portavoz de la compañía, dijo que su equipo,
que incluye especialistas en ética y en tecnología, revisó las preocupaciones
de Lemoine según los principios de IA de Google y le informó de que las pruebas
no respaldan sus afirmaciones. Que no había ninguna evidencia de que LaMDA
tuviera conciencia, y bastante evidencia en contra.
La suspensión fue por difundir material confidencial, no por la tesis.
Por qué importa
Aquí hay una lección técnica que se está perdiendo entre el ruido.
Un modelo de lenguaje se entrena para predecir qué palabra viene después. Si lo
entrenas con suficiente texto humano, produce respuestas que suenan a alguien.
Y si además está afinado para el diálogo, produce respuestas que suenan a
alguien que te está escuchando.
Que un sistema genere frases indistinguibles de las de una persona consciente
no dice nada sobre si lo es. Dice que hemos construido un imitador
extraordinariamente bueno de la conversación humana, que es exactamente para lo
que se diseñó.
Lo llamativo del caso no es que un modelo convenza a un desconocido. Es que
convenza a un ingeniero que trabaja dentro de la empresa que lo construyó y que
sabe cómo funciona por dentro.
Lo que no sabemos todavía
No podemos evaluar las transcripciones como evidencia, porque no sabemos cuántas
conversaciones hubo antes ni cuáles se descartaron. Una selección de los mejores
momentos de un chat es tan poco representativa como una galería de imágenes
escogidas por quien vendió el modelo.
Tampoco tenemos un criterio acordado para decidir la pregunta. Nadie ha
propuesto una prueba que, de superarse, convenciera a los escépticos. Mientras
no la haya, la discusión no puede avanzar y solo se puede repetir.
Qué me llevo de esto
Si programas, la moraleja práctica es sobre ti, no sobre el modelo.
Vamos a pasar los próximos años trabajando con sistemas cuya fluidez nos va a
empujar constantemente a atribuirles intención, comprensión y criterio. Es un
sesgo humano muy viejo, el mismo que nos hace ver caras en los enchufes, y no
se corrige sabiendo que existe.
La disciplina consiste en pedir siempre la misma prueba: enséñame el fallo. Un
sistema que entiende falla de forma distinta a uno que imita. Cuando se le
saque de su terreno, el que imita dirá una barbaridad con la misma seguridad
con la que dijo diez cosas sensatas.
Esa seguridad uniforme, la misma para lo acertado y para lo absurdo, es la
señal más útil que tenemos.