GPT-4 aprueba el examen de acceso a la abogacía, y no sabemos con qué se ha entrenado
🟠 Intermedio · Importante · 5 min de lectura
OpenAI presentó GPT-4 el 14 de marzo. Acepta imágenes además de texto y rinde a
nivel humano en varias pruebas profesionales y académicas. En un examen simulado
de acceso a la abogacía queda en el 10% superior, cuando GPT-3.5 quedaba en el
10% inferior.
Es un salto grande. Y viene con un silencio que conviene señalar.
Qué ha pasado
GPT-4 es un modelo multimodal grande: acepta entradas de imagen y de texto y
produce texto. Los suscriptores de ChatGPT Plus tuvieron acceso desde el mismo
día del anuncio.
El dato del examen de abogacía es el que ha dado la vuelta al mundo, y con
razón, porque el contraste con la versión anterior es brutal: del percentil más
bajo al más alto en un salto de versión.
Por qué importa
Para quien programa, lo relevante no es que apruebe exámenes. Es que el
listón de lo que puedes pedirle a una llamada de API acaba de subir mucho, y
tareas que descartaste hace seis meses por dar resultados mediocres quizá ahora
salgan bien.
Merece la pena volver sobre lo que descartaste. Yo tengo una lista de cosas que
probé con GPT-3.5, que no funcionaron y que voy a volver a intentar esta
semana. Sospecho que la mitad ahora funciona.
La entrada de imágenes abre otra puerta distinta: describir una captura de
pantalla, leer un diagrama, extraer datos de una foto de un documento. Eso no
es una mejora incremental, es una categoría de problema que antes exigía un
sistema entero de visión y ahora es una llamada más.
Lo que no sabemos todavía
Con qué se ha entrenado, cuántos parámetros tiene, qué arquitectura usa y con
qué datos se ha evaluado. El informe técnico lo dice abiertamente: no da esos
detalles.
Y ahí hay un problema de método, no de secretismo empresarial. Cuando un modelo
saca un resultado espectacular en un examen conocido, la primera pregunta de
cualquiera que evalúe sistemas es si ese examen estaba en los datos de
entrenamiento. Sin saber con qué se entrenó, esa pregunta no se puede
responder, y el resultado del examen de abogacía vale menos de lo que parece.
No estoy diciendo que hagan trampa. Estoy diciendo que nos piden que confiemos
en una medición que no podemos comprobar, y que eso es un cambio respecto a
cómo funcionaba la investigación en este campo hace tres años.
Qué haría yo esta semana
Dos cosas concretas.
Repasar la lista de tareas que abandonaste con el modelo anterior y volver a
probarlas. Es media hora y puede desbloquear un proyecto.
Y montarte tus propias pruebas con datos tuyos, aunque sean veinte ejemplos en
una hoja de cálculo. Si los resultados publicados no se pueden auditar, la
única medición en la que puedes confiar es la que haces tú contra tu problema.
Esa costumbre te va a servir para todos los modelos que vengan detrás.