1. Cree una clave API
Cree o inicie sesión en su cuenta IteraCompute, luego cree una clave en la consola.
Impulsa flujos de recuperación y agentes.
Cree o inicie sesión en su cuenta IteraCompute, luego cree una clave en la consola.
Utilice OpenAILike con api_base y configure explícitamente la ventana de contexto del modelo y la capacidad de llamada de herramientas.
Utilice el ID de modelo API exacto para el modelo elegido.Verifique su contexto y capacidades antes de habilitar las funciones de agente o visión.
Los ejemplos de Auto usan el nivel Free: 30M tokens/mes y contexto total de 128K (131072), que incluye la entrada y la salida máxima solicitada. La salida máxima es de 8192 tokens.
Una recarga neta acumulada de $10 desbloquea Starter: 100M tokens/mes, contexto de 128K (131072) y prioridad en la cola. Con $50, Pro ofrece 300M tokens/mes, prioridad en la cola y el contexto máximo del modelo de 256K (262144). Las recargas siguen siendo saldo utilizable de API; no son cuotas mensuales.
Mantenga las claves API en su entorno de servidor o almacén de credenciales de herramientas.Reemplace el campo clave de ejemplo con su propia clave cuando corresponda.
import os
from llama_index.llms.openai_like import OpenAILike
from llama_index.core.llms import ChatMessage
llm = OpenAILike(
model="Auto",
api_base="https://api.iteracompute.com/v1",
api_key=os.environ["ITERACOMPUTE_API_KEY"],
context_window=131072,
is_chat_model=True,
is_function_calling_model=False,
max_tokens=512,
)
response = llm.chat([ChatMessage(role="user", content="Hello!")])
print(response.message.content)# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
-H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'Compruebe que choices[0].message.content contenga texto visible;HTTP 200 por sí solo es insuficiente.El razonamiento puede consumir el presupuesto de producción.Para Qwen gratis, utiliza el ejemplo de la primera llamada gratuita a la API para desactivar el pensamiento, luego envíe un mensaje dentro de su herramienta.
Las capacidades describen la API de IteraCompute. Su disponibilidad también depende de la herramienta y su configuración; los controles de razonamiento varían según el modelo.
Utilice OpenAILike de llama_index.llms.openai_like y proporcione context_window e is_chat_model=True.Los metadatos de su modelo deben coincidir con el nivel de cuenta seleccionado.
Establezca is_function_calling_model solo para un modelo que admita herramientas.El contexto Qwen gratuito es 131072, incluida la entrada y la salida solicitada;La salida máxima es 8192.
Primero verifique que llm.chat devuelva message.content que no esté vacío.Una canalización de recuperación también necesita un índice y un modelo de incrustación configurados;una conexión de chat no verifica la recuperación.
Verifique el uso mensual y las solicitudes simultáneas en toda la cuenta.Respete el Retry-After y evite los reintentos paralelos.Free Auto no tiene excedente pagado automáticamente;otros modelos utilizan sus precios publicados.
401 / 403: verifique la clave y el permiso del modelo.Qwen gratuito no requiere saldo ni tarjeta.Para modelos pagos, consulta también saldo disponible.
Conecte su clave, elija un modelo y envíe su primera solicitud.