Saltar al contenido
David Gómez Rubio

Inteligencia Artificial · AI Developer

¿Cuándo me conviene un modelo de decisión en vez de preguntarle al LLM de siempre?

5 min de lectura

🟠 Intermedio · Nuevo · 8 min de lectura

Tengo media aplicación llena de llamadas a un LLM con un prompt que termina en «responde solo SÍ o NO». Funcionan casi siempre, tardan, cuestan, y el día que el modelo contesta «Sí, porque...» se rompe el parser.

El problema

Piensa en un sistema de soporte. Entra un correo y hay que decidir tres cosas: a qué departamento va, qué urgencia tiene y si el cliente pide un reembolso. Lo habitual hoy es mandarle el correo a un modelo generalista con un prompt largo y pedirle un JSON.

Eso tiene tres costes que se notan a escala. El primero, el dinero: pagas tokens de salida por algo que en el fondo es elegir entre tres opciones. El segundo, la fiabilidad del formato: un LLM no garantiza el esquema, y de vez en cuando devuelve una clave que no existe o una opción que no estaba en la lista. El tercero es el que menos se ve: te devuelve una respuesta, no una probabilidad. No sabes si «billing» lo ha dicho con un 99% de seguridad o con un 40%, así que no puedes decidir cuándo dejarlo pasar y cuándo mandarlo a una persona.

Cómo se resuelve hoy

Hasta ahora había dos caminos. El LLM generalista, con salida estructurada o decodificación restringida (Outlines, XGrammar), que arregla el formato pero añade trabajo de cómputo y sigue generando texto token a token. O un clasificador clásico, rápido y barato, pero con las clases fijadas en el entrenamiento: si mañana creas el departamento «Legal», toca reentrenar.

Desde septiembre hay un tercero, y esta semana ha dejado de ser una rareza. Los llaman modelos de decisión. Reciben un estado (el texto, una imagen, un documento), una o varias preguntas con sus respuestas permitidas, y devuelven probabilidades. No generan texto. Según el artículo de Hugging Face que lo explica, la interfaz se resume en «estado más preguntas más respuestas permitidas, igual a decisiones más probabilidades».

Hay tres tipos de pregunta, los mismos en todos los proveedores:

  • Sí o no, que llaman noul. Devuelve la probabilidad de que la respuesta sea sí, por ejemplo 0,92, y decides tú dónde pones el corte.
  • Elección entre opciones cerradas. Devuelve una probabilidad por opción y una confianza.
  • Puntuación contra una rúbrica de niveles ordenados. Devuelve el valor esperado, no un nivel: un 1,7 entre «bajo», «medio» y «alto» no significa «casi alto», significa que la probabilidad se reparte.

Y la oferta comercial, con los precios que da Simon Willison:

Modelo Entrada (por millón de tokens) Salida Qué acepta
Jev (TypeSafe AI) 0,042 $ gratis texto y JSON
GPT-6 Luna (OpenAI) 0,10 $ gratis texto e imágenes
Gemini Decision 1 (Google) 0,10 $ gratis texto, imagen, audio, vídeo y PDF

Gemini admite hasta 1.000 preguntas por petición, según la ficha que recoge Latent Space. En la medición independiente de Artificial Analysis, Jev tarda 92 milisegundos de media por tarea y Gemini 211. Y los modelos abiertos ya corren en local: Transformers y llama.cpp exponen el mismo endpoint, /v1/systemone.

El caso más útil para decidir es el de Cloudflare, contado en AI Engineer y recogido por Latent Space. Su agente para diagnosticar fallos de compilación mezcla las dos cosas: los modelos de decisión eligen herramienta y extraen las líneas de log que importan, y el modelo grande solo hace el diagnóstico. En su demostración pasaron de seis llamadas a un LLM a una, y de unos 40.000 tokens a 1.800.

De ahí sale la regla práctica. Si la respuesta cabe en una lista cerrada que puedes escribir de antemano, es candidata a modelo de decisión. Enrutar, filtrar, triar, elegir herramienta, decidir si algo pasa a la siguiente fase. Si necesitas que te explique por qué, que redacte algo o que razone en varios pasos, sigue siendo trabajo de un LLM.

Ejemplo

El triaje de soporte de arriba, contra un modelo abierto servido en local con llama.cpp. Primero el servidor, con el modelo que usa Hugging Face en su ejemplo (escucha en el puerto 9931):

llama serve -hf ggml-org/Kev-4B-GGUF

Y el cliente, solo con la biblioteca estándar de Python:

import json
import urllib.request

URL = "http://localhost:9931/v1/systemone"

def triar(correo: str) -> dict:
    peticion = {
        "state": correo,
        "questions": {
            "departamento": {
                "type": "choice",
                "instructions": "¿Qué departamento tiene que atender este correo?",
                "criteria": {
                    "billing": "Facturas, cobros, cargos duplicados",
                    "technical": "Errores, caídas, algo que no funciona",
                    "sales": "Precios, planes, contratar algo nuevo",
                },
            },
            "urgencia": {
                "type": "score",
                "instructions": "¿Con qué urgencia hay que responder?",
                "criteria": ["baja", "media", "alta"],
            },
            "reembolso": {
                "type": "noul",
                "instructions": "¿El cliente pide que le devuelvan dinero?",
            },
        },
    }
    datos = json.dumps(peticion).encode("utf-8")
    req = urllib.request.Request(
        URL, data=datos, headers={"Content-Type": "application/json"}
    )
    with urllib.request.urlopen(req, timeout=10) as resp:
        return json.load(resp)["answers"]


def decidir(correo: str) -> str:
    r = triar(correo)
    dep = r["departamento"]
    # Por debajo del corte no decide la máquina: va a una persona.
    if dep["confidence"] < 0.8:
        return "revision-humana"
    if r["reembolso"]["noul"] > 0.9:
        return "billing-reembolsos"
    return dep["choice"]


if __name__ == "__main__":
    print(decidir("Me habéis cobrado dos veces la cuota de noviembre. Quiero que me devolváis una."))

El formato de la petición y de la respuesta es el que documenta Hugging Face para transformers serve y llama serve. No lo hemos ejecutado: tómalo como punto de partida y compruébalo con tu versión. Las API comerciales usan los mismos tres tipos de pregunta, pero no hemos visto publicado su formato exacto en las fuentes de esta semana, así que no des por hecho que es el mismo.

Errores habituales

Fiarte de la probabilidad sin mirar de qué modelo viene. Willison ha comprobado que Jev y OpenAI devuelven 1,0 o 0,0 en las preguntas de sí o no, mientras que Gemini da valores intermedios. Con los dos primeros, un umbral de 0,9 no filtra nada. Antes de poner cortes, mira cómo se distribuyen las probabilidades en tus propios datos.

Leer la puntuación como un nivel. Un 1,7 en una escala de tres niveles es un valor esperado. Si tu código hace round(score) y lo trata como «alta», estás tirando la información que te interesaba, que es lo repartida que está la probabilidad. Usa la confianza o las probabilidades de cada nivel.

Elegir proveedor por la nota del fabricante. Google dice que Gemini Decision 1 gana a Jev en 5 de 7 pruebas. Artificial Analysis, que lo mide por fuera, lo deja empatado en su índice general, más lento y más caro por tarea que Jev, y muy por detrás del mejor en una prueba con documentos. Haz tu propio conjunto de cien casos reales etiquetados a mano y compara con eso.

Quitar el LLM del todo. El patrón que funciona en el caso de Cloudflare es híbrido: decisiones baratas delante y el modelo grande para lo que de verdad necesita razonar. Si mandas al modelo de decisión preguntas abiertas disfrazadas de lista («¿cuál es la causa del fallo?» con veinte opciones inventadas), obtendrás una respuesta segura y equivocada.

Qué vigilar

🟢 Ya existe: tres API comerciales con los mismos tres tipos de pregunta y salida gratis, y modelos abiertos que se sirven en local con Transformers o llama.cpp por el mismo endpoint.

🟡 Emergiendo: el ajuste fino. Hugging Face enseña un ejemplo de juguete con Trainer, y el soporte en TRL está en una pull request todavía abierta. Cuando se pueda afinar con tus propios casos sin montar nada a mano, la comparación con un clasificador clásico cambia.

🔴 Hipótesis: que las API comerciales converjan en un formato común, como pasó con el de chat. Si ocurre, cambiar de proveedor será cambiar una URL. Si cada uno sigue con el suyo, merece la pena aislar la llamada detrás de una función propia desde el primer día, como en el ejemplo.

El consejo caducará si los LLM generalistas empiezan a devolver probabilidades calibradas por opción a un precio parecido. Entonces la categoría se diluiría en una opción más de la API de siempre.

Fuentes

← Volver al blog

Sigue leyendo