oyd@lab:~$ ./boot --on-your-device
[ ok ] gpu ....... 4× RTX 3090 · 3× DGX Spark
[ ok ] weights ... on local disk
[ ok ] network ... no cloud required
[ ok ] privacy ... data never leaves your device
On Your Device Super Intelligence
Подбираем оборудование, разворачиваем и настраиваем языковые модели, которые работают в вашей инфраструктуре. Данные остаются в компании, а за каждый запрос платить не нужно.
oyd@lab:~$
oyd@lab:~cat services.md
Можно заказать весь путь или отдельную часть.
Сравниваем GPU-серверы, NVIDIA DGX Spark и компьютеры на Apple Silicon на ваших задачах и моделях. Измеряем скорость, длину контекста и качество, чтобы вы купили то, что действительно нужно.
Готовим сервер или Mac, устанавливаем сервер моделей с API, совместимым с OpenAI, настраиваем доступы, автозапуск и мониторинг.
Подбираем открытую модель под вашу задачу и выжимаем из оборудования больше: квантизация, спекулятивное декодирование, длинный контекст, распознавание изображений.
Соединяем локальную модель с тем, чем команда уже пользуется: поиск по документам компании, чат- или код-ассистент, интеграции через API.
oyd@lab:~oyd bench --list
Цифры наших собственных систем. Такие же замеры мы делаем с вашими задачами, прежде чем предлагать решение.
> 0 results
> Первые замеры готовятся
> Здесь будем публиковать только то, что сами измерили на своём оборудовании: модель, настройки и результат. Пока готово оборудование.
oyd@lab:~lsdev --lab
| qty | device | mem | status |
|---|---|---|---|
| 4× | NVIDIA RTX 3090 | 24 GB | работает |
| 3× | NVIDIA DGX Spark | 128 GB | работает |
| 1× | Mac Studio M5 Ultra | — | в пути |
| 1× | NVIDIA RTX 2080 Ti | 11 GB | работает |
| 1× | NVIDIA RTX 3060 | 12 GB | работает |
| 2× | AMD RX 480 | 8 GB | работает |
| 2× | Mac (Apple Silicon) | — | работает |
oyd@lab:~cat process.txt
Выясняем, какую работу должен выполнять ИИ, с какими данными и какие есть требования к конфиденциальности.
Тестируем несколько моделей и вариантов оборудования на ваших задачах: скорость, качество и длину контекста. Решают цифры.
Настраиваем оборудование, модели, API и доступы в вашей сети. Система сама запускается после перезагрузки.
Следим за работой системы и пробуем новые модели. Обновляем только тогда, когда замеры показывают пользу.
oyd@lab:~man local-ai
Договоры, данные клиентов или код остаются в вашей сети. Не нужно согласовывать, что можно отправлять внешнему поставщику.
Затраты зависят от оборудования и электричества, а не от того, сколько сотрудники пользуются системой.
Модель не изменится и не исчезнет без вашего решения. Её можно заменить, когда выйдет более сильная.
Самые крупные облачные модели в некоторых задачах всё ещё сильнее. Если в вашем случае локальное решение не окупается, мы скажем об этом после замеров.
oyd@lab:~oyd --faq
Зависит от задачи и размера модели. Небольшим моделям хватает одной хорошей видеокарты или компьютера на Apple Silicon, крупным нужно больше памяти или несколько устройств. Это мы выясняем замерами до покупки.
В одних задачах да, в других нет. Поэтому мы начинаем с тестов на ваших реальных задачах и показываем результаты до принятия решения.
Модель работает на вашем оборудовании и в вашей сети. Если какой-то части, например обновлениям, нужен интернет, мы это описываем, и такое соединение можно отключить.
Да. Измеряем, на что оно способно, и говорим, какие модели и задачи на нём реально выполнять.
oyd@lab:~mail [email protected]
Напишите, какую работу хотите выполнять и какое оборудование у вас есть или планируется. Предложим, что измерить в первую очередь.
[email protected]Вильнюс, Литва · работаем по всему ЕС · LT / EN / RU