1. APIキーを作成する
IteraCompute アカウントを作成するかサインインし、コンソールでキーを作成します。
IteraCompute アカウントを作成するかサインインし、コンソールでキーを作成します。
OpenAILike を api_base で使用し、モデル コンテキスト ウィンドウとツール呼び出し機能を明示的に構成します。
選択したモデルの正確な API モデル ID を使用してください。エージェントまたはビジョン機能を有効にする前に、そのコンテキストと機能を確認してください。
Auto の例では Free プランを使用します。月間 30M tokens、入力と指定した最大出力を合わせて 128K(131072)の総コンテキストを利用できます。最大出力は 8192 tokens です。
累計の正味チャージ額が $10 に達すると Starter が利用可能になります。月間 100M tokens、128K(131072)コンテキスト、優先キューを利用できます。$50 で Pro が利用可能になり、月間 300M tokens、優先キュー、モデル上限の 256K(262144)コンテキストを利用できます。チャージ額は API 残高として使用でき、月額料金ではありません。
API キーをサーバー環境またはツール認証情報ストアに保管します。該当する場合は、サンプルのキー フィールドを独自のキーに置き換えます。
import os
from llama_index.llms.openai_like import OpenAILike
from llama_index.core.llms import ChatMessage
llm = OpenAILike(
model="Auto",
api_base="https://api.iteracompute.com/v1",
api_key=os.environ["ITERACOMPUTE_API_KEY"],
context_window=131072,
is_chat_model=True,
is_function_calling_model=False,
max_tokens=512,
)
response = llm.chat([ChatMessage(role="user", content="Hello!")])
print(response.message.content)# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
-H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'choices[0].message.content に表示されるテキストが含まれていることを確認します。HTTP 200 だけでは不十分です。推論により出力バジェットが消費される可能性があります。無料のQwenを使用するには、 初めての無料API呼び出しの例 思考を無効にするには、ツール内でプロンプトを送信します。
機能は IteraCompute API の対応状況を示します。ワークフローでの利用可否はツールと設定にも依存し、推論の制御方法はモデルによって異なります。
llama_index.llms.openai_like の OpenAILike を使用し、context_window と is_chat_model=True を指定します。そのモデルのメタデータは、選択したアカウント層と一致する必要があります。
is_function_calling_model はツールをサポートするモデルにのみ設定してください。無料の Qwen コンテキストは、入力と要求された出力を含めて 131072 です。最大出力は8192です。
まず、llm.chat が空ではない message.content を返すことを確認します。取得パイプラインには、構成された埋め込みモデルとインデックスも必要です。チャット接続では取得が検証されません。
アカウント全体の月間使用量と 同時実行 を確認します。Retry-After を尊重し、並列再試行を避けます。Free Auto には、自動的に支払われる超過料金はありません。他のモデルには公開価格が適用されます。
401 / 403: キーとモデルの権限を確認します。無料の Qwen には残高やカードは必要ありません。有料モデルの場合は、利用可能残高も確認してください。