Compatible con OpenAI

Utilice un modelo con LiteLLM a través de IteraCompute.

Enrute las solicitudes a través de una interfaz.

Conéctate en tres pasos

1. Cree una clave API

Cree o inicie sesión en su cuenta IteraCompute, luego cree una clave en la consola.

2. Configurar la URL base

Configure api_base y use openai/ antes del ID del modelo API.Este prefijo son metadatos de enrutamiento LiteLLM.

3. Selecciona el modelo

Utilice el ID de modelo API exacto para el modelo elegido.Verifique su contexto y capacidades antes de habilitar las funciones de agente o visión.

Elige tu modelo

Configuración de ejemplo

Mantenga las claves API en su entorno de servidor o almacén de credenciales de herramientas.Reemplace el campo clave de ejemplo con su propia clave cuando corresponda.

API compatible con OpenAI
import os
from litellm import completion

response = completion(
    model="openai/Auto",
    api_base="https://api.iteracompute.com/v1",
    api_key=os.environ["ITERACOMPUTE_API_KEY"],
    messages=[{"role": "user", "content": "Hello!"}],
    max_tokens=512,

)
print(response.choices[0].message.content)

Pruebe la conexión

cURL · Finalizaciones de chat
# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
  -H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'

Compruebe que choices[0].message.content contenga texto visible;HTTP 200 por sí solo es insuficiente.El razonamiento puede consumir el presupuesto de producción.Para Qwen gratis, utiliza el ejemplo de la primera llamada gratuita a la API para desactivar el pensamiento, luego envíe un mensaje dentro de su herramienta.

Capacidades del modelo seleccionado

Las capacidades describen la API de IteraCompute. Su disponibilidad también depende de la herramienta y su configuración; los controles de razonamiento varían según el modelo.

  • Finalizaciones de chatApoyado
  • Llamada de herramientasApoyado
  • RazonamientoApoyado
  • Entrada de imagenApoyado
  • TransmisiónApoyado

Solución de problemas

Proveedor no reconocido

Utilice openai/Auto para el enrutamiento LiteLLM y api_base=https://api.iteracompute.com/v1.El prefijo openai/ son metadatos de enrutamiento, no forman parte del ID del modelo API.

Modelo de proxy no encontrado

El cliente usa model_name de la configuración del proxy; litellm_params.model contiene el ID del modelo de la API de destino. Compruebe el nombre enviado.

Falta clave o respuesta

Establezca la clave en el proceso LiteLLM, incluido el proceso de proxy cuando se utilice.Confirme que las choices[0].message.content tengan texto antes de probar las políticas de enrutamiento o de respaldo.

429 / Límites de solicitud

Verifique el uso mensual y las solicitudes simultáneas en toda la cuenta.Respete el Retry-After y evite los reintentos paralelos.Free Auto no tiene excedente pagado automáticamente;otros modelos utilizan sus precios publicados.

401 / 403: verifique la clave y el permiso del modelo.Qwen gratuito no requiere saldo ni tarjeta.Para modelos pagos, consulta también saldo disponible.

Referencia de configuración de LiteLLM →

Comience a construir con LiteLLM.

Conecte su clave, elija un modelo y envíe su primera solicitud.