1. APIキーを作成する
IteraCompute アカウントを作成するかサインインし、コンソールでキーを作成します。
IteraCompute アカウントを作成するかサインインし、コンソールでキーを作成します。
api_baseを設定し、APIモデルIDの前にopenai/を追加してください。このプレフィックスはLiteLLMルーティングメタデータです。
選択したモデルの正確な API モデル ID を使用してください。エージェントまたはビジョン機能を有効にする前に、そのコンテキストと機能を確認してください。
API キーをサーバー環境またはツール認証情報ストアに保管します。該当する場合は、サンプルのキー フィールドを独自のキーに置き換えます。
import os
from litellm import completion
response = completion(
model="openai/Auto",
api_base="https://api.iteracompute.com/v1",
api_key=os.environ["ITERACOMPUTE_API_KEY"],
messages=[{"role": "user", "content": "Hello!"}],
max_tokens=512,
)
print(response.choices[0].message.content)model_list:
- model_name: itera-model
litellm_params:
model: openai/Auto
api_base: https://api.iteracompute.com/v1
api_key: os.environ/ITERACOMPUTE_API_KEY# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
-H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'choices[0].message.content に表示されるテキストが含まれていることを確認します。HTTP 200 だけでは不十分です。推論により出力バジェットが消費される可能性があります。無料のQwenを使用するには、 初めての無料API呼び出しの例 思考を無効にするには、ツール内でプロンプトを送信します。
機能は IteraCompute API の対応状況を示します。ワークフローでの利用可否はツールと設定にも依存し、推論の制御方法はモデルによって異なります。
LiteLLM ルーティングと api_base=https://api.iteracompute.com/v1 には openai/Auto を使用します。openai/ プレフィックスはルーティング メタデータであり、API モデル ID の一部ではありません。
クライアントはプロキシ設定の model_name を呼び出します。litellm_params.model には対象 API のモデル ID を指定します。送信する名前を確認してください。
LiteLLM プロセス (使用時のプロキシ プロセスを含む) にキーを設定します。ルーティング ポリシーまたはフォールバック ポリシーをテストする前に、choices[0].message.content にテキストが含まれていることを確認します。
アカウント全体の月間使用量と 同時実行 を確認します。Retry-After を尊重し、並列再試行を避けます。Free Auto には、自動的に支払われる超過料金はありません。他のモデルには公開価格が適用されます。
401 / 403: キーとモデルの権限を確認します。無料の Qwen には残高やカードは必要ありません。有料モデルの場合は、利用可能残高も確認してください。