Meta: Llama 3.1 405B Instruct

Характеристики

Контекстное окно: 131K токенов
Провайдер: 131000
Архитектура: text->text

Модальности

Входящие

text

Исходящие

text

Цены

Оплата по факту за использованные токены и операции. Цены в рублях (за 1 млн токенов или за единицу — как указано).

Тип	Стоимость	Описание
Входящие токены	420.99 ₽ / 1M	Токены запроса и контекста, обработанные моделью
Исходящие токены	420.99 ₽ / 1M	Токены ответа, сгенерированные моделью

Цены могут меняться в зависимости от курса валют. Данные по тарифам поступают от поставщика услуг и обновляются каждые сутки.

Начать использовать

Описание

Долгожданная модель класса 400B из серии Llama 3 наконец здесь! С контекстом 128k токенов и впечатляющими результатами на бенчмарках, команда Meta AI продолжает расширять границы open-source LLM.

Новейшее семейство моделей Meta (Llama 3.1) выпущено в различных размерах и вариантах. Эта версия с 405B параметрами, дообученная на инструкциях, оптимизирована для высококачественного диалогового взаимодействия.

Модель продемонстрировала высокую производительность по сравнению с ведущими закрытыми моделями, включая GPT-4o и Claude 3.5 Sonnet, в оценках.

Подробнее о релизе модели здесь. Использование модели регулируется Политикой допустимого использования Meta.

API и примеры кода

Единый API совместим с OpenAI SDK. Используйте ключ из личного кабинета.

main.py

from openai import OpenAI

client = OpenAI(
    base_url="https://routerapi.ru/api/v1",
    api_key="YOUR_API_KEY",
)

response = client.chat.completions.create(
    model="meta-llama/llama-3.1-405b-instruct",
    messages=[{"role": "user", "content": "Привет!"}],
)

print(response.choices[0].message.content)

terminal

curl -X POST "https://routerapi.ru/api/v1/chat/completions" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/llama-3.1-405b-instruct",
    "messages": [
      {"role": "user", "content": "Привет!"}
    ]
  }'

request.php

<?php
declare(strict_types=1);

$response = (new \GuzzleHttp\Client())->post(
    'https://routerapi.ru/api/v1/chat/completions',
    [
        'headers' => [
            'Authorization' => 'Bearer YOUR_API_KEY',
            'Content-Type'  => 'application/json',
        ],
        'json' => [
            'model'    => 'meta-llama/llama-3.1-405b-instruct',
            'messages' => [
                ['role' => 'user', 'content' => 'Привет!'],
            ],
        ],
    ]
);

$data = json_decode((string) $response->getBody(), true);
echo $data['choices'][0]['message']['content'];

main.go

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io"
    "net/http"
)

func main() {
    body, _ := json.Marshal(map[string]any{
        "model": "meta-llama/llama-3.1-405b-instruct",
        "messages": []map[string]string{
            {"role": "user", "content": "Привет!"},
        },
    })

    req, _ := http.NewRequest("POST",
        "https://routerapi.ru/api/v1/chat/completions",
        bytes.NewReader(body))
    req.Header.Set("Authorization", "Bearer YOUR_API_KEY")
    req.Header.Set("Content-Type", "application/json")

    resp, _ := http.DefaultClient.Do(req)
    defer resp.Body.Close()

    var result map[string]any
    raw, _ := io.ReadAll(resp.Body)
    json.Unmarshal(raw, &result)

    choices := result["choices"].([]any)
    msg := choices[0].(map[string]any)["message"].(map[string]any)
    fmt.Println(msg["content"])
}

Совместимо с OpenAI Python SDK, Node.js SDK, curl и любым HTTP-клиентом. Документация API · Все модели