Compatível com OpenAI

Use um modelo com LiteLLM por meio do IteraCompute.

Roteie solicitações por meio de uma interface.

Conecte-se em três etapas

1. Crie uma chave API

Crie ou faça login em sua conta IteraCompute e, em seguida, crie uma chave no Console.

2. Configure o URL base

Defina api_base e use openai/ antes do ID do modelo de API.Este prefixo são metadados de roteamento LiteLLM.

3. Selecione o modelo

Use o ID do modelo de API exato para o modelo escolhido.Verifique seu contexto e recursos antes de ativar recursos de agente ou visão.

Escolha seu modelo

Configuração de exemplo

Mantenha as chaves de API em seu ambiente de servidor ou armazenamento de credenciais de ferramentas.Substitua o campo-chave de exemplo pela sua própria chave, quando aplicável.

API compatível com OpenAI
import os
from litellm import completion

response = completion(
    model="openai/Auto",
    api_base="https://api.iteracompute.com/v1",
    api_key=os.environ["ITERACOMPUTE_API_KEY"],
    messages=[{"role": "user", "content": "Hello!"}],
    max_tokens=512,

)
print(response.choices[0].message.content)

Teste a conexão

cURL · Conclusões de bate-papo
# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
  -H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'

Verifique se choices[0].message.content contém texto visível;O HTTP 200 por si só é insuficiente.O raciocínio pode consumir o orçamento de produção.Para Qwen grátis, use o exemplo da primeira chamada gratuita à API para desativar o pensamento e envie um prompt dentro de sua ferramenta.

Capacidades do modelo selecionado

As capacidades descrevem a API da IteraCompute. A disponibilidade também depende da ferramenta e de suas configurações; os controles de raciocínio variam por modelo.

  • Conclusões de bate-papoSuportado
  • Chamada de ferramentaSuportado
  • RaciocínioSuportado
  • Entrada de imagemSuportado
  • TransmissãoSuportado

Solução de problemas

Provedor não reconhecido

Use openai/Auto para roteamento LiteLLM e api_base=https://api.iteracompute.com/v1.O prefixo openai/ roteia metadados, não faz parte do ID do modelo de API.

Modelo de proxy não encontrado

O cliente chama model_name da configuração do proxy; litellm_params.model contém o ID do modelo da API de destino. Confira o nome enviado.

Chave ou resposta ausente

Defina a chave no processo LiteLLM, incluindo o processo de proxy quando usado.Confirme que choices[0].message.content tem texto antes de testar políticas de roteamento ou de fallback.

429 / Limites de solicitação

Verifique o uso mensal e as solicitações em andamento em toda a conta.Honre o Retry-After e evite novas tentativas paralelas.O Qwen grátis não tem excesso pago automaticamente;outros modelos usam seus preços publicados.

401/403: verifique a chave e a permissão do modelo.O Qwen grátis não requer saldo ou cartão.Para modelos pagos, verifique também o saldo disponível.

Referência de configuração LiteLLM →

Comece a construir com LiteLLM.

Conecte sua chave, escolha um modelo e envie sua primeira solicitação.