1. Cree una clave API
Cree o inicie sesión en su cuenta IteraCompute, luego cree una clave en la consola.
Enrute las solicitudes a través de una interfaz.
Cree o inicie sesión en su cuenta IteraCompute, luego cree una clave en la consola.
Configure api_base y use openai/ antes del ID del modelo API.Este prefijo son metadatos de enrutamiento LiteLLM.
Utilice el ID de modelo API exacto para el modelo elegido.Verifique su contexto y capacidades antes de habilitar las funciones de agente o visión.
Mantenga las claves API en su entorno de servidor o almacén de credenciales de herramientas.Reemplace el campo clave de ejemplo con su propia clave cuando corresponda.
import os
from litellm import completion
response = completion(
model="openai/Auto",
api_base="https://api.iteracompute.com/v1",
api_key=os.environ["ITERACOMPUTE_API_KEY"],
messages=[{"role": "user", "content": "Hello!"}],
max_tokens=512,
)
print(response.choices[0].message.content)model_list:
- model_name: itera-model
litellm_params:
model: openai/Auto
api_base: https://api.iteracompute.com/v1
api_key: os.environ/ITERACOMPUTE_API_KEY# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
-H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'Compruebe que choices[0].message.content contenga texto visible;HTTP 200 por sí solo es insuficiente.El razonamiento puede consumir el presupuesto de producción.Para Qwen gratis, utiliza el ejemplo de la primera llamada gratuita a la API para desactivar el pensamiento, luego envíe un mensaje dentro de su herramienta.
Las capacidades describen la API de IteraCompute. Su disponibilidad también depende de la herramienta y su configuración; los controles de razonamiento varían según el modelo.
Utilice openai/Auto para el enrutamiento LiteLLM y api_base=https://api.iteracompute.com/v1.El prefijo openai/ son metadatos de enrutamiento, no forman parte del ID del modelo API.
El cliente usa model_name de la configuración del proxy; litellm_params.model contiene el ID del modelo de la API de destino. Compruebe el nombre enviado.
Establezca la clave en el proceso LiteLLM, incluido el proceso de proxy cuando se utilice.Confirme que las choices[0].message.content tengan texto antes de probar las políticas de enrutamiento o de respaldo.
Verifique el uso mensual y las solicitudes simultáneas en toda la cuenta.Respete el Retry-After y evite los reintentos paralelos.Free Auto no tiene excedente pagado automáticamente;otros modelos utilizan sus precios publicados.
401 / 403: verifique la clave y el permiso del modelo.Qwen gratuito no requiere saldo ni tarjeta.Para modelos pagos, consulta también saldo disponible.
Conecte su clave, elija un modelo y envíe su primera solicitud.