Автор на Хабре за вечер решил практический вопрос: какой квант ставить на карту и нужна ли домой RTX 5090. Спойлер в лиде — нет: 9B с квантами Q5/Q6, и он будет счастлив. Прогнали 18 конфигураций по схеме: три модели, пять–шесть квантов на каждую, один и тот же набор из 22 реальных задач.
Тест охватывает селф-хост Ornith-1.5 и Qwen3.8 — не синтетические бенчмарки, а повторяемый пул задач, чтобы сравнение квантов было применимым к домашнему сценарию. Это ответ на вопрос «купить новую карту или ужаться квантом», а не абстрактный спор о TFLOPS.
Если вы выбираете железо и квант для локальных моделей, материал даёт эмпирическую базу до покупки RTX 5090. Следить за полным разбором 18 конфигураций — там должны быть нюансы по каждой модели и кванту на ваших типах задач.