NVIDIA: Llama 3.1 Nemotron Ultra 253B v1

Характеристики

Контекстное окно: 131K токенов
Провайдер: 131072
Архитектура: text->text

Модальности

Входящие

text

Исходящие

text

Цены

Оплата по факту за использованные токены и операции. Цены в рублях (за 1 млн токенов или за единицу — как указано).

Тип	Стоимость	Описание
Входящие токены	63.15 ₽ / 1M	Токены запроса и контекста, обработанные моделью
Исходящие токены	189.45 ₽ / 1M	Токены ответа, сгенерированные моделью

Цены могут меняться в зависимости от курса валют. Данные по тарифам поступают от поставщика услуг и обновляются каждые сутки.

Начать использовать

Описание

Llama-3.1-Nemotron-Ultra-253B-v1 — большая языковая модель (LLM), оптимизированная для продвинутого рассуждения, интерактивного чата, извлечения с дополнением генерации (RAG) и вызова инструментов. Создана на основе Meta Llama-3.1-405B-Instruct с существенной кастомизацией с помощью поиска нейронной архитектуры (NAS), что обеспечивает повышенную эффективность, сниженное потребление памяти и улучшенную задержку инференса. Модель поддерживает контекст до 128K токенов и может эффективно работать на узле из 8x NVIDIA H100.

Примечание: необходимо включить detailed thinking on в системном промпте для активации рассуждений. См. Рекомендации по использованию для получения дополнительной информации.

API и примеры кода

Единый API совместим с OpenAI SDK. Используйте ключ из личного кабинета.

main.py

from openai import OpenAI

client = OpenAI(
    base_url="https://routerapi.ru/api/v1",
    api_key="YOUR_API_KEY",
)

response = client.chat.completions.create(
    model="nvidia/llama-3.1-nemotron-ultra-253b-v1",
    messages=[{"role": "user", "content": "Привет!"}],
)

print(response.choices[0].message.content)

terminal

curl -X POST "https://routerapi.ru/api/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/llama-3.1-nemotron-ultra-253b-v1",
    "messages": [
      {"role": "user", "content": "Привет!"}
    ]
  }'

request.php

<?php
declare(strict_types=1);

$response = (new \GuzzleHttp\Client())->post(
    'https://routerapi.ru/api/v1/chat/completions',
    [
        'headers' => [
            'Authorization' => 'Bearer YOUR_API_KEY',
            'Content-Type'  => 'application/json',
        ],
        'json' => [
            'model'    => 'nvidia/llama-3.1-nemotron-ultra-253b-v1',
            'messages' => [
                ['role' => 'user', 'content' => 'Привет!'],
            ],
        ],
    ]
);

$data = json_decode((string) $response->getBody(), true);
echo $data['choices'][0]['message']['content'];

main.go

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io"
    "net/http"
)

func main() {
    body, _ := json.Marshal(map[string]any{
        "model": "nvidia/llama-3.1-nemotron-ultra-253b-v1",
        "messages": []map[string]string{
            {"role": "user", "content": "Привет!"},
        },
    })

    req, _ := http.NewRequest("POST",
        "https://routerapi.ru/api/v1/chat/completions",
        bytes.NewReader(body))
    req.Header.Set("Authorization", "Bearer YOUR_API_KEY")
    req.Header.Set("Content-Type", "application/json")

    resp, _ := http.DefaultClient.Do(req)
    defer resp.Body.Close()

    var result map[string]any
    raw, _ := io.ReadAll(resp.Body)
    json.Unmarshal(raw, &result)

    choices := result["choices"].([]any)
    msg := choices[0].(map[string]any)["message"].(map[string]any)
    fmt.Println(msg["content"])
}

Совместимо с OpenAI Python SDK, Node.js SDK, curl и любым HTTP-клиентом. Документация API · Все модели