oyd@lab:~oyd bench --list --verbose

Замеры

Скорость локальных языковых моделей на нашем оборудовании: какое оборудование, какая модель, какие настройки и какой результат. Список пополняется после каждого нового теста.

stdout

> 0 results

> Первые замеры готовятся

> Здесь будем публиковать только то, что сами измерили на своём оборудовании: модель, настройки и результат. Пока готово оборудование.

> lsdev --lab ↓

oyd@lab:~lsdev --lab --all

Наше оборудование

Измеряем на своём оборудовании: от одной потребительской видеокарты до нескольких NVIDIA DGX Spark и компьютеров на Apple Silicon.

qty	device	mem	status	note
4×	NVIDIA RTX 3090	24 GB	работает	Одна работает как eGPU-сервер. Есть 4-слотовый мост NVLink.
3×	NVIDIA DGX Spark	128 GB	работает	Соединены через ConnectX-7. Измеряем, как модели масштабируются от 1 до 4 устройств.
1×	Mac Studio M5 Ultra	—	в пути
1×	NVIDIA RTX 2080 Ti	11 GB	работает	Планируем расширение памяти до 22 ГБ и стенд из двух карт на 44 ГБ.
1×	NVIDIA RTX 3060	12 GB	работает
2×	AMD RX 480	8 GB	работает
2×	Mac (Apple Silicon)	—	работает	Два Mac, соединённых через Thunderbolt RDMA.
2×	X99 (Intel)	—	работает
1×	X299 (Intel)	—	в пути

oyd@lab:~cat METHOD.md

Как мы измеряем

[1] Измеряем на своём оборудовании, с моделями и настройками, указанными рядом с результатом.
[2] Публикуем только то, что измерили сами. Цифры производителей не пересказываем.
[3] Если настройка проводилась, показываем результат до и после.