Начало работы
Руководство по развертыванию и интеграции платформы Coren в вашу инфраструктуру.
Системные требования
Серверы
- Kubernetes 1.26+ или Docker Compose
- Минимум 32 GB RAM для inference
- NVIDIA GPU (A100/H100) для LLM
- PostgreSQL 15+ и Redis 7+
Клиенты
- Python 3.10+ или Node.js 18+
- Сетевой доступ к API Gateway
- API ключ из панели управления
Установка SDK
Установите SDK для вашего языка программирования.
Python
Terminal
pip install coren
Node.js
Terminal
npm install @coren/sdk
Go
Terminal
go get github.com/coren-ai/coren-go
Настройка подключения
Укажите адрес API Gateway и ваш API ключ для подключения к платформе.
Безопасность API ключей
Храните API ключи в переменных окружения или в secrets management системе. Никогда не добавляйте ключи в код или публичные репозитории.
Переменные окружения
.env
# Адрес API Gateway вашей инсталляцииexport COREN_BASE_URL="http://api.internal:8080"# API ключ из панели управленияexport COREN_API_KEY="sk_live_ваш_ключ"
Python: Инициализация клиента
app.py
1from coren import Coren23# Автоматически читает переменные окружения4client = Coren()56# Или явное указание параметров7client = Coren(8 base_url="http://api.internal:8080",9 api_key="sk_live_ваш_ключ"10)
Node.js: Инициализация клиента
app.ts
1import { Coren } from '@coren/sdk';23// Автоматически читает переменные окружения4const client = new Coren();56// Или явное указание параметров7const client = new Coren({8 baseUrl: 'http://api.internal:8080',9 apiKey: 'sk_live_ваш_ключ'10});
Первый запрос к LLM
Отправьте тестовый запрос чтобы проверить подключение к платформе.
Python
test_connection.py
1from coren import Coren23client = Coren()45response = client.chat.create(6 model="llama-3-70b",7 messages=[8 {"role": "system", "content": "Ты помощник банковского сотрудника."},9 {"role": "user", "content": "Как проверить статус заявки на кредит?"}10 ],11 temperature=0.3,12 max_tokens=50013)1415print(response.content)16# Для проверки статуса заявки на кредит...
cURL
Terminal
curl -X POST http://api.internal:8080/v1/chat/completions \-H "Authorization: Bearer $COREN_API_KEY" \-H "Content-Type: application/json" \-d '{"model": "llama-3-70b","messages": [{"role": "user", "content": "Привет"}]}'
Потоковые ответы (Streaming)
Для интерактивных приложений используйте streaming для получения ответа по мере генерации.
streaming.py
1from coren import Coren23client = Coren()45stream = client.chat.create(6 model="llama-3-70b",7 messages=[8 {"role": "user", "content": "Напиши инструкцию по открытию счета"}9 ],10 stream=True11)1213for chunk in stream:14 if chunk.content:15 print(chunk.content, end="", flush=True)