Qwen3.8-27B

동시 요청이 몰리면 이 Flask 엔드포인트가 500을 반환합니다.
경쟁 조건을 찾아서 고쳐 주세요.

카운터 증가가 원자적이지 않아, 두 요청이 같은 값을 읽은 뒤 각각 쓰는
구간이 생깁니다. 갱신을 락으로 감싸거나 카운터를 원자적 저장소로 옮기면
값이 유실되는 구간이 사라집니다. 아래 패치를 참고하세요.

[차트 이미지] 이 처리량 곡선은 무엇을 말해 주나요?

처리량은 동시성 32에서 정점을 찍고 그 이후로 떨어집니다. 메모리 한계에
닿기 전에 배치 스케줄러가 먼저 포화된다는 뜻입니다.

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://ap-1.aieev.cloud/endpoints/qwen-3-8-27b/v1"
)

response = client.chat.completions.create(
    model="qwen/qwen3.8-27b",
    messages=[{"role": "user", "content": "안녕하세요!"}]
)

print(response.choices[0].message.content)

curl https://ap-1.aieev.cloud/endpoints/qwen-3-8-27b/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen/qwen3.8-27b",
    "messages": [{"role": "user", "content": "안녕하세요!"}]
  }'

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "YOUR_API_KEY",
  baseURL: "https://ap-1.aieev.cloud/endpoints/qwen-3-8-27b/v1",
});

const response = await client.chat.completions.create({
  model: "qwen/qwen3.8-27b",
  messages: [{ role: "user", content: "안녕하세요!" }],
});

console.log(response.choices[0].message.content);