제품 업데이트

​

Air API 정식 출시 (GA)

• OpenAI 호환 API: 기존 OpenAI SDK와 코드를 그대로 사용하여 AirCloud 모델에 접근할 수 있습니다.
• 가격 공개: 모델별 토큰 단가가 확정되어 투명한 종량제 과금이 적용됩니다.
• Air API Playground: 코드 없이 브라우저에서 모델을 바로 테스트할 수 있습니다.

​

External API 확장 및 신규 모델 추가

• 엔드포인트 목록 조회: 접근 가능한 모든 엔드포인트를 상태 및 구성 정보와 함께 조회합니다.
• 레플리카 목록 조회: 활성 엔드포인트의 실시간 레플리카 상태를 확인합니다.
• 로그 파일 목록/내용 조회: 디버깅을 위해 엔드포인트 로그 파일에 접근하고 내용을 다운로드합니다.
• 엔드포인트 설정 수정: 비활성 엔드포인트의 런타임 설정(레플리카 수, 스케일링 구성)을 변경합니다.
• 인증 컨텍스트 조회: API 키의 인증 범위와 권한을 확인합니다.

​

Jupyter Notebook, Web IDE, 영구 볼륨 지원

• TensorFlow, PyTorch 등 주요 라이브러리 사전 구성
• GPU 리소스를 활용한 실험 및 모델 개발 가능
• 브라우저 기반 접근 지원
• Jupyter AI 기본 연동

• 로컬 개발 환경 없이 브라우저에서 코드 작성 및 실행 가능
• 컨테이너 기반 격리된 개발 환경 제공
• 개발 및 디버깅을 위한 기본 도구 지원
• 코드 어시스턴트 기본 연동

• 모델 체크포인트, 로그, 데이터 파일 지속 저장
• 컨테이너 lifecycle과 독립적인 데이터 관리
• 장기 작업 및 반복 실험에 적합한 환경 제공

​

External API 최초 출시

# 엔드포인트 상태 조회
curl -X GET https://external.aieev.cloud:5007/external/api/v1/endpoints/{id} \
  -H "Authorization: Bearer YOUR_API_KEY"

# 레플리카 스케일링
curl -X POST https://external.aieev.cloud:5007/external/api/v1/endpoints/{id}/scale \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{"replica_count": 3}'

• 엔드포인트 상태 조회: 엔드포인트의 현재 상태, 구성, 헬스 정보를 확인합니다.
• 엔드포인트 시작/중지: API를 통해 엔드포인트를 온디맨드로 시작하거나 중지합니다.
• 레플리카 스케일링: 트래픽 요구사항에 맞게 활성 엔드포인트의 레플리카 수를 조정합니다.

​

Air API 베타 출시, 관측성, 대시보드, UX 대규모 개선

• OpenAI SDK 호환 — 기존 코드 변경 없이 모델 교체 가능
• API 키 기반 인증 및 엔드포인트별 접근 제어
• Playground에서 모델 테스트 가능

• 로그 다운로드/일괄 내보내기: 로그를 다운로드하여 오프라인에서 분석할 수 있습니다.
• 고급 로그 필터링: 정규식 검색, 시간대 필터링으로 문제를 더 빠르게 찾을 수 있습니다.
• 원시 로그(JSON) 보기: 정리된 로그 화면과 함께 가공되지 않은 로그 데이터를 확인할 수 있습니다.
• 스케일링 히스토리: 오토스케일 이벤트, 타임아웃, 에러로 인한 레플리카 변동 이력을 확인할 수 있습니다.

• 프로젝트 대시보드: 프로젝트별 상태와 사용량을 한눈에 확인합니다.
• 조직 사용량 분석: 프로젝트, 엔드포인트, 인스턴스 타입별 사용량과 비용을 확인합니다.
• 요청 메트릭 확장: 누적 요청 수, 에러율 등 운영에 필요한 지표를 추가했습니다.
• 거래 내역 필터링: 타입, 상태별로 결제 내역을 정리해서 볼 수 있습니다.

• 한국어 지원: 한국어 UI가 추가되었습니다.
• 첫 사용자 온보딩: 첫 엔드포인트 배포까지 안내하는 튜토리얼을 추가했습니다.
• 인앱 피드백: 플랫폼에서 바로 피드백을 보낼 수 있습니다.

• OpenAI 호환 API 키: OpenAI 호환 형식의 API 키를 발급하고, 키별로 접근 가능한 엔드포인트를 지정할 수 있습니다.
• HTTPS 엔드포인트: 모든 추론 엔드포인트에 HTTPS가 적용되었습니다.
• 경로 기반 엔드포인트 주소 체계: 포트 기반에서 경로 기반 라우팅으로 전환하고, 커스텀 엔드포인트 URL을 지원합니다.

​

AirCloud 정식 출시

• 내 컨테이너를 GPU 클러스터에 바로 배포
• 오토스케일링, 스케줄 스케일링으로 트래픽에 맞게 운영
• 런타임, 의존성, 서비스 구성을 직접 관리
• 스토리지 연결로 모델과 데이터를 영구 보관

• 시간 기반 스케일링: 시간대별로 최소 레플리카 수를 설정하거나 오토스케일링을 활성화/비활성화할 수 있습니다.
• 커스텀 엔드포인트 URL: 시스템 생성 ID 대신 직접 지정한 URL로 엔드포인트를 운영할 수 있습니다.
• API Playground: 코드 없이 Playground에서 API를 바로 테스트하고 연동할 수 있습니다.
• 원클릭 클러스터 배포: 템플릿 기반 자동 배포로 반복 설정을 줄입니다.
• 상세한 에러 안내: 장애 화면에서 원인과 조치 방법을 안내하여 문제 해결 시간을 단축합니다.
• 추론 트래픽 HTTPS 적용: 모든 추론 요청에 HTTPS가 적용됩니다.

​

사용량 인사이트, 오토스케일링 제어, 성능 튜닝

• 사용량 및 과금 대시보드: 월별/일별 사용량을 시각화하여 크레딧 소비와 지출 추이를 한눈에 확인합니다.
• 오토스케일링 민감도 설정: 워크로드에 맞게 오토스케일 반응 속도(Heavy / Normal / Light)를 설정할 수 있습니다.
• 배포 템플릿 재사용: 기존 배포 설정을 재사용하여 동일한 설정의 엔드포인트를 빠르게 생성합니다.
• 예측 가능한 스케일링 동작: 스케일 인/아웃 정책 조정을 통해 다양한 부하 패턴에서의 변동성을 줄였습니다.
• 동시 요청 처리 성능 개선: 피크 트래픽에서의 대용량 파일 전송 및 동시 요청 처리 안정성을 개선했습니다.

​

무중단 운영 강화

• 무중단 업데이트: 플랫폼 업데이트 시 서비스 중단을 최소화했습니다.
• 요청 유실 방지: 스케일 인 및 업데이트 과정에서 요청 유실을 방지하도록 개선했습니다.
• 재시작 시 안정성 개선: 컴포넌트 재시작 시에도 데이터 손실이나 처리 순서 문제가 발생하지 않습니다.
• HTTPS 도입: 플랫폼 보안 기준으로 HTTPS 적용을 시작했습니다.

​

과금 및 팀 협업

• 크레딧 기반 과금: 선불 크레딧으로 사용량 비용을 관리하고, 충전과 잔액을 추적할 수 있습니다.
• 팀 초대: 이메일로 팀원을 조직에 초대하여 리소스를 함께 사용할 수 있습니다.
• 예약 용량: 예약형(기간 기반)과 온디맨드를 구분하여 비용을 예측할 수 있습니다.
• 과금 자동화: 사용량 수집과 정산이 자동으로 처리됩니다.

​

Air Container 베타 출시 및 플랫폼 기반 업그레이드

• 내 컨테이너 이미지를 GPU 클러스터에 배포
• 오토스케일링, 모니터링 기본 지원
• 헬스 체크 및 자동 복구

• 사용자 워크로드 커스텀 메트릭: 컨테이너별 메트릭(예: vLLM)을 수집하고 메트릭 타겟을 설정할 수 있습니다.
• 헬스 체크 개선: 부팅이 오래 걸리는 컨테이너가 준비되기 전에 종료되지 않도록 개선했습니다.
• 빠른 런타임 환경: 더 가볍고 빠른 배포 구조로 시작 시간을 단축했습니다.
• 오프라인 배포 지원: 네트워크가 제한된 환경에서도 배포와 운영이 가능합니다.
• 모델 캐싱 개선: HuggingFace 모델 캐시 관리를 개선하여 콜드 스타트를 줄였습니다.
• 이벤트 캡처 안정화: 오토스케일 이벤트를 더 안정적으로 수집하여 스케일링 판단의 정확도를 높였습니다.