Saltar al contenido
David Gómez Rubio

Inteligencia Artificial · AI Developer

¿Cuánto razonamiento le pido al modelo, y cuándo subirlo es tirar el dinero?

5 min de lectura

🟠 Intermedio · Práctico · 7 min de lectura

Los modelos ya no vienen con un solo modo: traen un dial de razonamiento con cinco o seis posiciones. Lo pongo en alto «por si acaso» y no sé si estoy pagando calidad o pagando tokens de pensamiento que no sirven para nada.

El problema

Esta semana han salido dos modelos que lo ilustran bien. Claude Fable 5.2 tiene cinco niveles de razonamiento: low, medium, high, xhigh y max. Muse Ember, el modelo pequeño de Meta, tiene seis, porque añade minimal por debajo.

En la mayoría de las API, el razonamiento se cobra como tokens de salida. En un modelo que cuesta 40 dólares por millón de tokens de salida, como Fable 5.2, cada nivel que subes es más texto interno que pagas y que no ves. Y se paga también en tiempo: un agente que piensa el doble en cada paso tarda el doble en terminar la tarea.

Lo que duele de verdad es que subir el dial no siempre mejora el resultado. Simon Willison le pidió a Fable 5.2 su prueba de siempre, un pelícano en bicicleta en SVG, en los cinco niveles. El mejor salió en xhigh. En max, el modelo gastó 128.000 tokens pensando, se quedó sin presupuesto y no devolvió nada. Pagaste el nivel más caro y te quedaste sin respuesta.

Cómo se resuelve hoy

No hay una regla universal, y quien te la dé sin datos te la está inventando. Lo que sí hay son tres hechos medidos que ayudan a decidir.

El nivel no se corresponde limpiamente con la calidad. Willison repitió la prueba con los seis niveles de Muse Ember y lo resume así: el nivel de razonamiento no se traducía de forma limpia en la calidad visual del resultado. En high ni siquiera devolvió un SVG completo, y otros niveles más bajos sí.

El salto grande suele estar al principio. Los datos de Artificial Analysis que recoge Willison para los modelos pequeños dicen esto:

Modelo y nivel Índice de inteligencia Coste por tarea
GPT-6 Luna sin razonamiento ~9,5 0,07 $
GPT-6 Luna, xhigh ~23,5 0,10 $
Claude Haiku 5.5, low ~19 0,04 $
Claude Haiku 5.5, xhigh ~34,5 0,25 $
Muse Ember, xhigh ~34 0,12 $
Muse Ember, max ~36 0,14 $

Son lecturas aproximadas de unos gráficos, pero el patrón se ve. Encender el razonamiento en Luna multiplica el índice por más de dos y sube el coste un 40%. En Ember, pasar de xhigh a max añade dos puntos. Y Haiku en low cuesta seis veces menos que en xhigh.

El nivel se puede fijar por tarea, no por sesión. Claude Code 2.1.318 añadió una opción effort para que una tarea secundaria lanzada por un mod se ejecute en low, sea cual sea el esfuerzo de la sesión. Es la idea correcta: el nivel depende de la tarea, no de quién la lanza.

De ahí sale la forma de trabajar que recomendamos. Empieza bajo. Mide con tus propias tareas. Sube un nivel solo cuando veas fallos que el nivel siguiente arregla, y deja de subir cuando deje de arreglarlos. Para tareas mecánicas (extraer, clasificar, elegir una herramienta) lo normal es el nivel más bajo o un modelo pequeño. Para diseñar o depurar algo difícil, high o xhigh. max es para casos concretos y con un presupuesto de tokens que puedas permitirte perder.

Ejemplo

Un banco de pruebas mínimo para decidir el nivel con datos tuyos. Ejecuta cada tarea en cada nivel, mide el tiempo, comprueba si el resultado es válido y marca las respuestas vacías, que son el fallo de max que vio Willison.

La forma de fijar el nivel cambia según el proveedor y la herramienta, así que el script no la supone: tú pones el comando en PLANTILLA, con {nivel} donde va el nivel y el prompt por la entrada estándar.

import shlex
import subprocess
import time

# Tu comando, con {nivel} donde tu herramienta recibe el nivel de razonamiento.
# El prompt le llega por la entrada estándar.
PLANTILLA = "mi-cliente --modelo claude-fable-5.2 --razonamiento {nivel}"
NIVELES = ["low", "medium", "high", "xhigh"]
LIMITE_SEGUNDOS = 300

# Tareas reales tuyas, cada una con una comprobación automática del resultado.
TAREAS = [
    ("Devuelve solo el JSON {\"ok\": true}", lambda r: r.strip() == '{"ok": true}'),
    ("Escribe una función Python es_primo(n) y nada más",
     lambda r: "def es_primo" in r),
]


def ejecutar(nivel: str, prompt: str) -> tuple[str, float]:
    orden = shlex.split(PLANTILLA.format(nivel=nivel))
    inicio = time.monotonic()
    try:
        r = subprocess.run(orden, input=prompt, capture_output=True,
                           text=True, timeout=LIMITE_SEGUNDOS)
        salida = r.stdout
    except subprocess.TimeoutExpired:
        salida = ""
    return salida, time.monotonic() - inicio


for nivel in NIVELES:
    aciertos = vacias = 0
    total = 0.0
    for prompt, es_valida in TAREAS:
        salida, segundos = ejecutar(nivel, prompt)
        total += segundos
        if not salida.strip():
            vacias += 1
        elif es_valida(salida):
            aciertos += 1
    print(f"{nivel:>7}: {aciertos}/{len(TAREAS)} bien, "
          f"{vacias} vacías, {total:.1f} s")

Con veinte o treinta tareas tuyas, la salida te dice dónde está el codo: el nivel a partir del cual los aciertos dejan de subir y solo sube el tiempo. Si tu proveedor te devuelve los tokens de razonamiento consumidos, añádelos a la tabla: es el número que más se acerca a lo que vas a pagar.

Errores habituales

Poner max por defecto. Parece la opción segura y es la más arriesgada: además de ser la más cara, es la que puede agotar el presupuesto de tokens pensando y no devolver nada, como le pasó a Willison con Fable 5.2. Si lo usas, pon un límite de tokens y trata la respuesta vacía como un fallo, no como un caso imposible.

Elegir el nivel con una sola prueba. Un pelícano es una anécdota, y Willison lo presenta así. Que en Ember high fallara y otros niveles no dice que el resultado varía, no que high sea malo. Hacen falta varias tareas y varias repeticiones antes de concluir nada.

Ajustar el dial sin comparar modelos. En la tabla, Muse Ember en xhigh y Claude Haiku 5.5 en xhigh puntúan prácticamente igual, y Ember cuesta la mitad por tarea. El nivel es solo una de las dos perillas: antes de subirlo, prueba otro modelo de la misma categoría en el nivel que ya usas.

Un solo nivel para toda la sesión. Si el agente piensa en xhigh para leer un fichero o elegir una herramienta, estás pagando razonamiento donde no hace falta. Separa las tareas y dale a cada una su nivel, como permite ya Claude Code con las tareas secundarias.

Qué vigilar

🟢 Ya existe: niveles de razonamiento configurables en los modelos grandes y pequeños, y herramientas que dejan fijarlos por tarea.

🟡 Emergiendo: medir el coste por tarea y no por token. Artificial Analysis ya publica así sus comparaciones, y es la cifra que importa para decidir.

🔴 Hipótesis: que los modelos aprendan a elegir solos cuánto pensar según la tarea. Si llega a funcionar bien, el dial dejará de ser cosa tuya; mientras tanto, el fallo de max sugiere que todavía no saben cuándo parar.

Este consejo caducará cuando el nivel más alto deje de fallar por agotar el presupuesto, o cuando el precio del razonamiento baje tanto que dé igual pasarse.

Fuentes

← Volver al blog

Sigue leyendo