OpenAI 호환

IteraCompute를 통해 LiteLLM이 포함된 모델을 사용합니다.

하나의 인터페이스를 통해 요청을 라우팅합니다.

3단계로 연결

1. API 키 생성

IteraCompute 계정을 생성하거나 로그인한 다음 콘솔에서 키를 생성하세요.

2. 기본 URL 구성

api_base를 설정하고 API 모델 ID 앞에 openai/를 사용하세요.이 접두사는 LiteLLM 라우팅 메타데이터입니다.

3. 모델을 선택하세요

선택한 모델에 대한 정확한 API 모델 ID를 사용하세요.에이전트 또는 비전 기능을 활성화하기 전에 해당 컨텍스트와 기능을 확인하세요.

모델을 선택하세요

예시 구성

서버 환경이나 도구 자격 증명 저장소에 API 키를 보관하세요.해당하는 경우 예제 키 필드를 사용자 고유의 키로 바꿉니다.

OpenAI 호환 API
import os
from litellm import completion

response = completion(
    model="openai/Auto",
    api_base="https://api.iteracompute.com/v1",
    api_key=os.environ["ITERACOMPUTE_API_KEY"],
    messages=[{"role": "user", "content": "Hello!"}],
    max_tokens=512,

)
print(response.choices[0].message.content)

연결 테스트

cURL · 채팅 완료
# Bash / zsh / WSL; set ITERACOMPUTE_API_KEY in your environment first.
curl --fail-with-body https://api.iteracompute.com/v1/chat/completions \
  -H "Authorization: Bearer $ITERACOMPUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"Auto","messages":[{"role":"user","content":"Reply with exactly: Hello!"}],"max_tokens":512}'

choices[0].message.content에 보이는 텍스트가 포함되어 있는지 확인하세요.HTTP 200만으로는 부족합니다.추론은 출력 예산을 소비할 수 있습니다.무료 Qwen을 사용하려면 다음을 사용하세요. 첫 무료 API 호출 예제 사고를 비활성화하려면 도구 내부에 메시지를 보내세요.

선택된 모델 기능

기능은 IteraCompute API의 지원 범위를 나타냅니다. 워크플로에서의 사용 가능 여부는 도구와 설정에도 달려 있으며, 추론 제어는 모델마다 다릅니다.

  • 채팅 완료지원됨
  • 도구 호출지원됨
  • 추론지원됨
  • 이미지 입력지원됨
  • 스트리밍지원됨

문제 해결

제공업체가 인식되지 않음

LiteLLM 라우팅에는 openai/Auto를 사용하고 api_base=https://api.iteracompute.com/v1을 사용하세요.openai/ 접두사는 API 모델 ID의 일부가 아닌 라우팅 메타데이터입니다.

프록시 모델을 찾을 수 없습니다.

클라이언트는 프록시 설정의 model_name을 호출합니다. litellm_params.model에는 대상 API 모델 ID를 지정하세요. 전송하는 이름을 확인하세요.

키 또는 응답이 누락되었습니다.

사용 시 프록시 프로세스를 포함하여 LiteLLM 프로세스에서 키를 설정합니다.라우팅 또는 대체 정책을 테스트하기 전에 choices[0].message.content에 텍스트가 있는지 확인하세요.

429 / 요청 제한

계정 전체의 월간 사용량과 동시 요청을 확인하세요.Retry-After를 존중하고 병렬 재시도를 방지합니다.무료 Qwen에는 자동으로 지불되는 초과분이 없습니다.다른 모델은 게시된 가격을 사용합니다.

401 / 403 : 키와 모델 권한을 확인하세요.무료 Qwen에는 잔액이나 카드가 필요하지 않습니다.유료 모델의 경우 사용 가능한 잔액도 확인하세요.

LiteLLM 구성 참조 →

LiteLLM으로 구축을 시작하세요.

키를 연결하고 모델을 선택한 후 첫 번째 요청을 보내세요.