1. API 키 생성
IteraCompute 계정을 생성하거나 로그인한 다음 콘솔에서 키를 생성하세요.
IteraCompute 계정을 생성하거나 로그인한 다음 콘솔에서 키를 생성하세요.
api_base를 설정하고 API 모델 ID 앞에 openai/를 사용하세요.이 접두사는 LiteLLM 라우팅 메타데이터입니다.
선택한 모델에 대한 정확한 API 모델 ID를 사용하세요.에이전트 또는 비전 기능을 활성화하기 전에 해당 컨텍스트와 기능을 확인하세요.
서버 환경이나 도구 자격 증명 저장소에 API 키를 보관하세요.해당하는 경우 예제 키 필드를 사용자 고유의 키로 바꿉니다.
import os
from litellm import completion
response = completion(
model="openai/Auto",
api_base="https://api.iteracompute.com/v1",
api_key=os.environ["ITERACOMPUTE_API_KEY"],
messages=[{"role": "user", "content": "Hello!"}],
max_tokens=512,
)
print(response.choices[0].message.content)model_list:
- model_name: itera-model
litellm_params:
model: openai/Auto
api_base: https://api.iteracompute.com/v1
api_key: os.environ/ITERACOMPUTE_API_KEY# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
-H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'choices[0].message.content에 보이는 텍스트가 포함되어 있는지 확인하세요.HTTP 200만으로는 부족합니다.추론은 출력 예산을 소비할 수 있습니다.무료 Qwen을 사용하려면 다음을 사용하세요. 첫 무료 API 호출 예제 사고를 비활성화하려면 도구 내부에 메시지를 보내세요.
기능은 IteraCompute API의 지원 범위를 나타냅니다. 워크플로에서의 사용 가능 여부는 도구와 설정에도 달려 있으며, 추론 제어는 모델마다 다릅니다.
LiteLLM 라우팅에는 openai/Auto를 사용하고 api_base=https://api.iteracompute.com/v1을 사용하세요.openai/ 접두사는 API 모델 ID의 일부가 아닌 라우팅 메타데이터입니다.
클라이언트는 프록시 설정의 model_name을 호출합니다. litellm_params.model에는 대상 API 모델 ID를 지정하세요. 전송하는 이름을 확인하세요.
사용 시 프록시 프로세스를 포함하여 LiteLLM 프로세스에서 키를 설정합니다.라우팅 또는 대체 정책을 테스트하기 전에 choices[0].message.content에 텍스트가 있는지 확인하세요.
계정 전체의 월간 사용량과 동시 요청을 확인하세요.Retry-After를 존중하고 병렬 재시도를 방지합니다.무료 Qwen에는 자동으로 지불되는 초과분이 없습니다.다른 모델은 게시된 가격을 사용합니다.
401 / 403 : 키와 모델 권한을 확인하세요.무료 Qwen에는 잔액이나 카드가 필요하지 않습니다.유료 모델의 경우 사용 가능한 잔액도 확인하세요.