Compatível com OpenAI

Use um modelo com LlamaIndex por meio de IteraCompute.

Dê suporte a fluxos de recuperação e agentes.

Conecte-se em três etapas

1. Crie uma chave API

Crie ou faça login em sua conta IteraCompute e, em seguida, crie uma chave no Console.

2. Configure o URL base

Use OpenAILike com api_base e configure explicitamente a janela de contexto do modelo e o recurso de chamada de ferramenta.

3. Selecione o modelo

Use o ID do modelo de API exato para o modelo escolhido.Verifique seu contexto e recursos antes de ativar recursos de agente ou visão.

Escolha seu modelo

Os exemplos de Auto usam o nível Free: 30M tokens/mês e contexto total de 128K (131072), incluindo a entrada e a saída máxima solicitada. A saída máxima é de 8192 tokens.

Uma recarga líquida acumulada de $10 libera o Starter: 100M tokens/mês, contexto de 128K (131072) e prioridade na fila. Com $50, o Pro oferece 300M tokens/mês, prioridade na fila e o contexto máximo do modelo de 256K (262144). As recargas continuam disponíveis como saldo de API; não são mensalidades.

Configuração de exemplo

Mantenha as chaves de API em seu ambiente de servidor ou armazenamento de credenciais de ferramentas.Substitua o campo-chave de exemplo pela sua própria chave, quando aplicável.

Python · pip install llama-index-llms-openai-like
import os
from llama_index.llms.openai_like import OpenAILike
from llama_index.core.llms import ChatMessage

llm = OpenAILike(
    model="Auto",
    api_base="https://api.iteracompute.com/v1",
    api_key=os.environ["ITERACOMPUTE_API_KEY"],
    context_window=131072,
    is_chat_model=True,
    is_function_calling_model=False,
    max_tokens=512,

)
response = llm.chat([ChatMessage(role="user", content="Hello!")])
print(response.message.content)

Teste a conexão

cURL · Conclusões de bate-papo
# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
  -H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'

Verifique se choices[0].message.content contém texto visível;O HTTP 200 por si só é insuficiente.O raciocínio pode consumir o orçamento de produção.Para Qwen grátis, use o exemplo da primeira chamada gratuita à API para desativar o pensamento e envie um prompt dentro de sua ferramenta.

Capacidades do modelo selecionado

As capacidades descrevem a API da IteraCompute. A disponibilidade também depende da ferramenta e de suas configurações; os controles de raciocínio variam por modelo.

  • Conclusões de bate-papoSuportado
  • Chamada de ferramentaSuportado
  • RaciocínioSuportado
  • Entrada de imagemSuportado
  • TransmissãoSuportado

Solução de problemas

Metadados de modelo desconhecidos

Use OpenAILike de llama_index.llms.openai_like e forneça context_window e is_chat_model=True.Os metadados do modelo devem corresponder ao nível de conta selecionado.

Ferramentas ou incompatibilidade de contexto

Defina is_function_calling_model apenas para um modelo que suporta ferramentas.O contexto Qwen gratuito é 131072, incluindo entrada e saída solicitada;a saída máxima é 8192.

Recuperação ou resposta ausente

Primeiro verifique se llm.chat retorna mensagem.content não vazia.Um pipeline de recuperação também precisa de um modelo e índice de incorporação configurados;uma conexão de bate-papo não verifica a recuperação.

429 / Limites de solicitação

Verifique o uso mensal e as solicitações em andamento em toda a conta.Honre o Retry-After e evite novas tentativas paralelas.O Qwen grátis não tem excesso pago automaticamente;outros modelos usam seus preços publicados.

401/403: verifique a chave e a permissão do modelo.O Qwen grátis não requer saldo ou cartão.Para modelos pagos, verifique também o saldo disponível.

Referência de configuração do LlamaIndex →

Comece a construir com LlamaIndex.

Conecte sua chave, escolha um modelo e envie sua primeira solicitação.