AI AI-engineer
Панель
$ curl https://ai.smart-geek.com/v1/models

Свои нейросети
на своём железе_

Локальный LLM-шлюз на трёх GPU с OpenAI-совместимым API. Персональные ключи с лимитами, без подписок и облачных тарифов — данные не покидают дом.

3× GTX 1080 Ti 33 ГБ VRAM 128k контекст SSE стриминг
pavel@bichserver:~живой пример
pavel:~$ curl -s https://ai.smart-geek.com/v1/chat/completions \
  -H "Authorization: Bearer $AI_KEY" \
  -d '{"messages":[{"role":"user","content":"7*8? Ответь числом"}]}'
← 200 OK · 4.4 с · 55 токенов · 12.5 ток/с
"content": "56"
pavel:~$

//живые цифры

данные шлюза, обновляются в реальном времени
моделей онлайн
—
инстансы llama.cpp
живых серверов
—
узлы инференса
запросов всего
—
прошло через шлюз
токенов всего
—
сгенерировано

//возможности

⚙
Своя инфраструктура
Три GeForce GTX 1080 Ti и 33 ГБ VRAM в домашней стойке. Никаких облачных тарифов — только электричество.
⇄
OpenAI-совместимый API
Работает любой SDK или клиент: меняете base_url на https://ai.smart-geek.com/v1 — и всё.
🔑
Ключи с лимитами
Персональные ключи: свой лимит запросов на каждый, мгновенный отзыв и ротация прямо в панели.
▦
Логи запросов и токенов
Каждый вызов виден: модель, HTTP-статус, prompt/completion-токены, длительность.
✳
Reasoning-модели
Ход размышлений приходит в отдельном поле reasoning_content — виден процесс, а не только ответ.
⚡
Стриминг SSE
Ответы потоком, совместимо с OpenAI-клиентами: первый токен приходит сразу.

//код-примеры

base_url: https://ai.smart-geek.com/v1
from openai import OpenAI

client = OpenAI(
    base_url="https://ai.smart-geek.com/v1",
    api_key="<API_KEY>",
)

r = client.chat.completions.create(
    model="qwen3.8-27b",
    messages=[{"role": "user", "content": "Привет!"}],
    stream=True,
)
for chunk in r:
    print(chunk.choices[0].delta.content or "", end="")
Ключ персональный — создаётся в панели и показывается один раз. Актуальный список моделей: GET /v1/models.

//как начать

01
Открыть панель и войти
Заходишь в панель управления и входишь со своим админ-паролем.
02
Создать ключ
Раздел «Ключи» → имя и лимит запросов. Ключ показывается один раз — копируй сразу.
03
Вставить в клиент
base_url и ключ — в любой OpenAI-совместимый клиент: SDK, curl, ChatBox.

//faq

Что это вообще такое?
Личный шлюз к локальным нейросетям: llama.cpp на трёх GTX 1080 Ti в домашней стойке, наружу — OpenAI-совместимый API на https://ai.smart-geek.com/v1.
Как получить API-ключ?
Открыть панель, войти, в разделе «Ключи» создать ключ с лимитом. Ключ показывается один раз — сохраните его сразу.
Какие модели доступны?
Актуальный список — в GET /v1/models и в блоке «живых цифр» выше. Основная рабочая модель — Qwen3.8-27B (GGUF, квантование Q4_K_M, контекст 128k).
Чем это отличается от облачных API?
Данные не покидают дом, нет подписок и тарифов, ключи и лимиты — свои. Зато инференс последовательный: если кто-то уже генерирует — ваша очередь; ориентир скорости — ~13 ток/с.
Куда смотреть логи запросов?
В панели, раздел «Логи»: время, ключ, модель, HTTP-статус, токены и длительность каждого вызова.
Сколько это стоит?
Ничего: доступ по личным ключам владельца, без подписок. Единственная «валюта» — электричество и лимиты на ключ.