> ## Documentation Index
> Fetch the complete documentation index at: https://docs.aieev.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Llama3.3-70B

> 범용 대화와 텍스트 작업을 위한 Meta의 다국어 70B instruct 모델.

<Info>
  **모델 ID:** `meta-llama/Meta-Llama-3.3-70B-Instruct` | **엔드포인트 ID:** `llama3-3-70b` | **파라미터:** 70B | **출시일:** 2024-12-06
</Info>

|     입력 가격    |     출력 가격    |   컨텍스트  |    모달리티   |
| :----------: | :----------: | :-----: | :-------: |
| \$0.100 / 1M | \$0.320 / 1M | 131,072 | 텍스트 → 텍스트 |

## 개요

Meta Llama 3.3 70B Instruct는 instruction following에 맞춰 파인튜닝된 70B 파라미터의 dense 모델입니다. 다양한 언어에서 뛰어난 다국어 instruction following 능력을 보이며, 최대 131,072 토큰의 컨텍스트를 지원해 긴 대화나 문서도 처리할 수 있습니다. 검증된 오픈소스 Llama 계열을 기반으로 하여 범용 대화, 문서 요약, 코딩 지원 등에 적합합니다. reasoning 과정이나 이미지 입력보다는 안정적인 텍스트 생성에 집중된 모델입니다.

<CardGroup cols={3}>
  <Card title="Air API Playground" icon="play" href="https://ap-1.aieev.cloud:3007/ko/models/meta-llama%2FMeta-Llama-3.3-70B-Instruct">
    플레이그라운드에서 모델을 체험하세요.
  </Card>

  <Card title="AIR Container로 배포" icon="container-storage" href="/docs/ko/air-container/deploy-a-container">
    AIR Container로 배포하세요.
  </Card>

  <Card title="OpenAI 호환 API" icon="arrow-left-right" href="/docs/ko/air-api/openai-compatible-api">
    OpenAI SDK 그대로 연동하세요.
  </Card>
</CardGroup>

## 가격

| 구분  | 입력 (1M 토큰) | 출력 (1M 토큰) |
| :-- | ---------: | ---------: |
| USD |    \$0.100 |    \$0.320 |
| KRW |       150원 |       480원 |

## 지원 기능

모든 기능은 [OpenAI 호환 API](/docs/ko/air-api/openai-compatible-api)로 사용할 수 있습니다.

| 기능                                                                                   |  지원 | 비고                             |
| :----------------------------------------------------------------------------------- | :-: | :----------------------------- |
| [Streaming](/docs/ko/air-api/openai-compatible-api#streaming)                        |  ✅  | SSE, `include_usage` 지원        |
| [Tool Calling](/docs/ko/air-api/openai-compatible-api#tool-calling-function-calling) |  ✅  | 스트리밍 tool call 지원              |
| [Vision](/docs/ko/air-api/openai-compatible-api#vision-이미지-입력)                       |  ❌  | 지원하지 않음                        |
| [Reasoning](/docs/ko/air-api/openai-compatible-api#reasoning-추론-출력)                  |  ❌  | 지원하지 않음                        |
| [JSON 모드](/docs/ko/air-api/openai-compatible-api#json-모드-structured-outputs)         |  ✅  | `response_format: json_object` |

## 주요 기능

* 다양한 언어에서 뛰어난 다국어 instruction following 능력
* 긴 대화와 문서 처리를 위한 128K 컨텍스트
* Tool calling과 JSON 모드를 지원하는 구조화된 워크플로우
* 검증된 오픈소스 Llama 계열 모델

## 활용 사례

### 일반 Q\&A 및 대화

안정적인 instruction following으로 범용 Q\&A와 멀티턴 대화를 처리합니다.

<CodeGroup>
  ```text 입력 theme={null}
  Explain how transformers work in simple terms and give a real-world analogy.
  ```

  ```text 출력 theme={null}
  Transformers process text by modeling relationships between tokens in parallel
  rather than strictly one by one...

  A simple analogy is a group discussion where each person listens to everyone
  else to understand the full context before responding.
  ```
</CodeGroup>

### 코드 생성 및 지원

실용적인 개발 작업을 위해 코드를 생성하고 설명합니다.

<CodeGroup>
  ```text 입력 theme={null}
  Write a Python function to check if a number is prime and explain the logic.
  ```

  ```python 출력 theme={null}
  def is_prime(n):
      if n <= 1:
          return False
      for i in range(2, int(n ** 0.5) + 1):
          if n % i == 0:
              return False
      return True

  # This function checks divisibility only up to the square root of n,
  # which improves efficiency.
  ```
</CodeGroup>

### 요약 및 분석

여러 언어에 걸쳐 긴 문서를 요약하고 텍스트를 분석합니다.

### 다국어 대화

다양한 언어로 일관된 품질의 자연스러운 대화와 instruction following을 수행합니다.

## 파라미터

| 파라미터                 | 타입               | 필수 | 기본값   | 설명                                  |
| -------------------- | ---------------- | -- | ----- | ----------------------------------- |
| `messages`           | array            | 필수 | -     | 채팅 기반 생성을 위한 입력 메시지 목록.             |
| `max_tokens`         | integer          | 선택 | -     | 생성할 최대 출력 토큰 수                      |
| `temperature`        | number           | 선택 | 1     | 샘플링 온도 (0.0-2.0)                    |
| `top_p`              | number           | 선택 | 1     | 핵 샘플링 임계값                           |
| `top_k`              | integer          | 선택 | -     | 상위 k개의 가장 확률 높은 토큰으로 샘플링 제한         |
| `min_p`              | number           | 선택 | -     | 토큰 샘플링을 위한 최소 확률 임계값                |
| `frequency_penalty`  | number           | 선택 | 0     | 토큰 빈도 페널티                           |
| `presence_penalty`   | number           | 선택 | 0     | 토큰 존재 페널티                           |
| `repetition_penalty` | number           | 선택 | -     | 반복 토큰 생성 페널티                        |
| `stop`               | string \| array  | 선택 | -     | 생성을 종료할 중지 시퀀스                      |
| `seed`               | integer          | 선택 | -     | 재현 가능한 샘플링을 위한 랜덤 시드                |
| `stream`             | boolean          | 선택 | false | 스트리밍 응답 활성화                         |
| `tools`              | array            | 선택 | -     | Tool calling 함수 정의                  |
| `tool_choice`        | string \| object | 선택 | auto  | Tool 호출 방식 (`auto`, `none`, 특정 함수)  |
| `response_format`    | object           | 선택 | -     | JSON 모드 (`{"type": "json_object"}`) |

## 모델 세부정보

| 속성       | 값                            |
| -------- | ---------------------------- |
| 컨텍스트 길이  | 131,072                      |
| 최대 출력 길이 | 131,072                      |
| 입력 모달리티  | text                         |
| 출력 모달리티  | text                         |
| 지원 기능    | tools, streaming, json\_mode |

## 시작하기

<Steps>
  <Step title="API 키 발급하기">
    [AirCloud 계정](https://aieev.com)에서 API 키를 발급받습니다.
  </Step>

  <Step title="코드 실행하기">
    아래 코드에서 `YOUR_API_KEY` 자리에 실제 발급받은 키를 넣어 실행하세요. 언어별(Python, cURL, Node.js) 코드 예시를 선택할 수 있습니다.
  </Step>
</Steps>

<CodeGroup>
  ```python Python theme={null}
  from openai import OpenAI

  client = OpenAI(
      api_key="YOUR_API_KEY",
      base_url="https://ap-1.aieev.cloud/endpoints/llama3-3-70b/v1"
  )

  response = client.chat.completions.create(
      model="meta-llama/Meta-Llama-3.3-70B-Instruct",
      messages=[{"role": "user", "content": "안녕하세요!"}]
  )

  print(response.choices[0].message.content)
  ```

  ```bash cURL theme={null}
  curl https://ap-1.aieev.cloud/endpoints/llama3-3-70b/v1/chat/completions \
    -H "Authorization: Bearer YOUR_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{
      "model": "meta-llama/Meta-Llama-3.3-70B-Instruct",
      "messages": [{"role": "user", "content": "안녕하세요!"}]
    }'
  ```

  ```javascript Node.js theme={null}
  import OpenAI from "openai";

  const client = new OpenAI({
    apiKey: "YOUR_API_KEY",
    baseURL: "https://ap-1.aieev.cloud/endpoints/llama3-3-70b/v1",
  });

  const response = await client.chat.completions.create({
    model: "meta-llama/Meta-Llama-3.3-70B-Instruct",
    messages: [{ role: "user", content: "안녕하세요!" }],
  });

  console.log(response.choices[0].message.content);
  ```
</CodeGroup>

## 태그

`open-source` `conversational` `70B` `multilingual`