Локальный LLM-шлюз на трёх GPU с OpenAI-совместимым API. Персональные ключи с лимитами, без подписок и облачных тарифов — данные не покидают дом.
base_url на https://ai.smart-geek.com/v1 — и всё.reasoning_content — виден процесс, а не только ответ.from openai import OpenAI
client = OpenAI(
base_url="https://ai.smart-geek.com/v1",
api_key="<API_KEY>",
)
r = client.chat.completions.create(
model="qwen3.8-27b",
messages=[{"role": "user", "content": "Привет!"}],
stream=True,
)
for chunk in r:
print(chunk.choices[0].delta.content or "", end="")
curl https://ai.smart-geek.com/v1/chat/completions \
-H "Authorization: Bearer <API_KEY>" \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3.8-27b",
"messages": [{"role": "user", "content": "Привет!"}],
"stream": true
}'
base_url и ключ — в любой OpenAI-совместимый клиент: SDK, curl, ChatBox.https://ai.smart-geek.com/v1.GET /v1/models и в блоке «живых цифр» выше. Основная рабочая модель — Qwen3.8-27B (GGUF, квантование Q4_K_M, контекст 128k).