Лайфхак с Shared GPU Memory Override или как я запускал нейросети на мини‑ПК (на примере GEEKOM GT1 Mega)
Неочевидный момент — на мини‑компьютерах можно отдать практически всю оперативную память для интегрированного GPU, что позволяет запускать LLM типа 26B/27B, без необходимости покупать дорогостоящие видеокарты. В статье покажу, как это сделать, какие LLM работают и оценю их эффективность.
Объект тестирования
Продолжаю тестировать локальные нейросети в OpenSCAD, FreeCAD, Blender и SolidCraft. Цель — получить относительно недорогую и рабочую домашнюю связку. Для очередного теста взял мини компьютер GEEKOM GT1 Mega, у которого 32 ГБ ОЗУ, и в память помещаются модели в три‑четыре раза крупнее, чем я пробовал до этого (7B/8B на видеокарте с 8 ГБ VRAM).
Чем интересен этот компьютер — маленький, тихий (действительно тихий, особенно если сравнивать с десктопами с дискретными GPU), с умеренным потреблением электроэнергии, с умеренным нагревом. В нём установлен процессор Intel Core Ultra 9 185H (16 ядер, 22 потока, максимальная частота 5,1 ГГц), встроенная видеокарта Intel Arc Graphics (8 ядер Xe), которая поддерживает аппаратную трассировку лучей и имеет выделенный NPU (блок нейронных вычислений). В комплектации с 32 ГБ двухканальной памяти DDR5-5600. Все это обеспечивает приличную аппаратную базу для локальных задач AI и работы с креативным контентом. В принципе, можно установить и 64 Гб памяти, но это потребует замену сразу двух модулей DDR5.
Shared GPU Memory Override
Часто сталкиваюсь с тем, что при запуске моделей практически «впритык» по объему памяти, Ollama падает с ошибкой нехватки памяти. Встроенная графика Arc своей памяти не имеет и берёт часть общей оперативной памяти. По умолчанию Windows разрешает ей около половины ОЗУ — ранее на компьютере с 32 ГБ Ollama видела 18 ГБ.
У процессоров Intel Core Ultra со встроенной Arc этот предел виртуальной VRAM меняется в программе Intel Graphics Software, в разделе Настройки — Система — Параметр Shared GPU Memory Override («переопределение общей памяти графики»). Отдаем необходимое количество ОЗУ для работы с iGPU. В данном случае я отдаю более 80% всей памяти — 26 Гб (можно перераспределить и больше). Этот объем определяю исходя из требований большинства LLM типа 26B/27B. После изменения нужна перезагрузка.
Фактически, этим ползунком я передвинул свой мини‑ПК практически на уровень видеокарт с 24 ГБ VRAM. Конечно, быстрее работать от этого он не стал. А вот с запуском LLM стало сильно легче. Gemma с окном контекста 24 576 токенов занимает в графике около 16–17 ГБ, Tiel‑Coder — около 17–18 ГБ, так что запас есть. Windows и остальным программам остаётся 5–6 ГБ. Тестам этого хватило: OpenSCAD, Blender, SolidCraft и компилятор arduino‑cli работали параллельно с моделью без проблем. Вот так это выглядит в диспетчере задач — при загруженной в памяти LLM востребовано 20 ГБ ОЗУ из 26 Гб, доступных для iGPU.
Тестирование
Я выбрал несколько моделей, которые могут более или менее комфортно работать с такими ресурсами и памятью. Речь идет про Gemma 4 26B‑A4B, Tiel‑Coder 35B‑A3B, GPT‑OSS 20B и Qwen3-Coder 30B‑A3B.
Начну с Gemma 4 26B‑A4B — это модель Google DeepMind. В названии два числа: всего в ней 25,2 миллиарда параметров, но на каждый токен работает около 4 миллиардов («A4B» — active 4B). Так устроены MoE‑модели: внутри много «экспертов», и на каждом шаге включаются только нужные. Памяти она требует как большая модель, а считает почти как маленькая. В Ollama: gemma4:26b, квантизация Q4_K_M, 18 ГБ на диске. Понимает картинки, умеет вызывать инструменты и рассуждать. Модуль для картинок (mmproj, 0,9 ГБ) Ollama скачивает сам. Установка простая:
ollama pull gemma4:26b
Tiel‑Coder 35B‑A3B — сторонняя сборка на Hugging Face (npario/Tiel‑Coder-35B‑A3B‑GGUF, лицензия MIT). Это доработанная под программирование модель Ornith-1.5 35B‑A3B на архитектуре Qwen 3.5 MoE: 34,7 миллиарда параметров, около 3 миллиардов активных. Я взял вариант UD‑IQ4_XS (17,7 ГБ) — по размеру он ближе всего к Gemma, будет интереснее сравнивать. Ставится вот такой командой:
ollama pull hf.co/npario/Tiel-Coder-35B-A3B-GGUF:UD-IQ4_XS
В процессе тестирования добавил GPT‑OSS 20B (открытая модель OpenAI в родном формате MXFP4) и Qwen3-Coder 30B‑A3B (специализированная модель Alibaba для кода, квантование IQ4_NL). Все это также будет интересно сравнить.
|
|
Gemma 4 26B‑A4B |
Tiel‑Coder 35B‑A3B |
GPT‑OSS 20B |
Qwen3-Coder 30B‑A3B |
|
Параметров всего / активных |
25,2 млрд / ~4 млрд |
34,7 млрд / ~3 млрд |
20,9 млрд / ~3,6 млрд |
30,5 млрд / ~3,3 млрд |
|
Формат |
Q4_K_M |
UD‑IQ4_XS |
MXFP4 |
IQ4_NL |
|
Файл |
18 ГБ |
18 ГБ |
13 ГБ |
17 ГБ |
|
Картинки |
да |
да |
нет |
нет |
|
Рассуждения |
выключены |
выключены |
минимум (low) |
нет |
|
Загрузка на GPU |
26 с |
31 с |
21 с |
28 с |
Эти модели также ставятся одной командой каждая:
ollama pull gpt-oss:20b ollama pull hf.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:IQ4_NL
При настройке нужно указать переменные OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1, чтобы Ollama смогла запускать LLM на встроенной графике.
set OLLAMA_VULKAN=1 set OLLAMA_IGPU_ENABLE=1 set OLLAMA_HOST=127.0.0.1:11435 ollama serve
После перезагрузки Ollama сообщила, что графике доступно 26,2 ГБ. Модели загрузились полностью, все слои на графике: в ollama ps — «650 GPU».
Как я считал токены, время и энергию
Токены — из ответа Ollama: на каждой попытке prompt_eval_count (вход) и eval_count (выход), затем сумма по всем попыткам задания. Время — от начала задания до результата, включая запуск CAD‑программы и компилятора.
Энергию я мерил по счётчикам процессора. Windows отдаёт данные Intel RAPL через счётчики производительности «Energy Meter»: мощность всего процессорного пакета (ядра, встроенная графика, контроллер памяти). Скрипт записывал её раз в 1,7 секунды, потом я интегрировал мощность по времени каждого задания. Это не мощность от розетки: в неё не входят модули памяти, SSD, вентилятор и потери блока питания. Для мини‑ПК это примерно ещё 20–30% сверху.
|
|
Gemma, CPU |
Gemma, GPU |
Tiel‑Coder, CPU |
Tiel‑Coder, GPU |
|
Генерация, токенов/с |
15,8 |
19,1 (+21%) |
12,2 |
16,9 (+39%) |
|
Средняя мощность пакета |
45,2 Вт |
32,6 Вт |
45,0 Вт |
32,1 Вт |
|
из них графика |
0 Вт |
≈ 11 Вт |
0 Вт |
≈ 14 Вт |
|
Энергия на 1000 токенов ответа |
1,20 Вт·ч |
0,87 Вт·ч (−28%) |
1,28 Вт·ч |
0,74 Вт·ч (−42%) |
|
Энергия всех 11 прогонов |
29,8 Вт·ч |
21,3 Вт·ч |
43,0 Вт·ч |
20,9 Вт·ч |
|
Время всех 11 прогонов |
40 мин |
39 мин |
57 мин |
39 мин |
|
Загрузка модели |
23 с |
26 с |
25 с |
31 с |
Что показали счётчики:
-
В простое пакет потребляет около 8,5 Вт.
-
Под нагрузкой — ровно 45 Вт: это долговременный лимит мощности процессора. Короткие пики до 70 Вт появляются при загрузке модели и в начале каждого ответа.
-
Встроенная графика всё это время спит (0 Вт), что подтверждает работу только на процессоре (на скриншоте пример работы на CPU).
Задания и референсные картинки
Использую вот такие задания для оценки генерации:
-
Шестерня для Pip‑Boy в OpenSCAD и во FreeCAD: 24 зуба, модуль 1 мм, толщина 5 мм, отверстие 5 мм с лыской (D‑профиль), четыре облегчающих отверстия 4 мм на радиусе 7 мм. Ожидаемый размер 26 × 26 × 5 мм.
-
Ручка‑крутилка в Blender: диаметр 22 мм, высота 14 мм, 18 рёбер накатки, фаска сверху, риска‑указатель, глухое отверстие 6 мм под вал.
-
Корпус под плату ESP32-C3 в SolidCraft через MCP: коробка 60 × 36 × 22 мм, открытая сверху, стенки и дно 2 мм; сохранить проект, экспортировать STEP и STL.
К каждому CAD‑заданию модель сразу получает картинку. Для шестерни и ручки это не готовый ответ, а похожая деталь другого размера: шестерня на 30 зубьев с шестью отверстиями и ручка диаметром 30 мм. Для корпуса — фото самой платы ESP32-C3. Идея в том, что модель видит, что именно от неё хотят, а размеры считает сама по заданию.
Тесты шли двумя группами:
-
Без шаблонов — только задание и картинка, каждое задание дважды. Это сложный тест: в таком режиме LLM не справилась ни разу, так что я не стану учитывать его результаты в итоге.
-
С шаблонами — подсказки‑образцы (рефренсы), например, изображение шестерни на 30 зубьев кодом, ручка кодом, цепочка вызовов SolidCraft для коробки другого размера. Использовал, чтобы сравнить скорость и расход токенов на одинаковой задаче.
По сути, первая часть тестов не так интересна, так как без рефренсов шанс получить корректный ответ сильно снижается. Всё гонял один скрипт bench2.py: отправлял задание в Ollama, вырезал код, запускал OpenSCAD, FreeCAD, Blender или arduino‑cli, при ошибке возвращал её текст модели. Для SolidCraft — используется агент через MCP.
С подсказками (рефренсами) модели сделали все три детали верно и с первой попытки. Но интересный момент — они не сделали это быстрее 8B‑моделей. Сравниваю модели попарно.
|
Задание |
Модель |
Время, с |
Вход, ток. |
Выход, ток. |
Энергия, Вт·ч |
|
Шестерня OpenSCAD |
Qwen3 8B |
34 |
760 |
289 |
0,26 (оценка) |
|
|
Gemma 26B |
65 |
1 091 |
423 |
0,8 |
|
|
Tiel‑Coder 35B |
61 |
1 564 |
304 |
0,7 |
|
Ручка Blender |
Qwen3 8B |
47 |
935 |
595 |
0,35 (оценка) |
|
|
Gemma 26B |
97 |
1 363 |
905 |
1,2 |
|
|
Tiel‑Coder 35B |
81 |
1 759 |
555 |
1,0 |
|
Корпус SolidCraft |
Qwen3 8B |
81 |
28 663 |
369 |
0,6 (оценка) |
|
|
Gemma 26B |
162 |
34 717 |
489 |
2,0 |
|
|
Tiel‑Coder 35B |
122 |
47 324 |
644 |
1,5 |
Скорость генерации у всех примерно одинаковая, около 15 токенов/с (упирается в ресурсы мини‑ПК), а большие модели пишут длиннее: больше комментариев, больше проверок. Кроме того, картинка добавляет 300–500 токенов на входе, а процессор читает промпт заметно медленнее, чем встроенная графика. Когда задача уже разжёвана шаблоном, ум большой модели не нужен, и она просто дороже в плане ресурсов.
|
|
Gemma 4 26B‑A4B |
Tiel‑Coder 35B‑A3B |
|
Прогонов (без шаблонов + с шаблонами) |
10 + 3 |
10 + 3 |
|
Входных токенов |
125 493 |
296 370 |
|
Выходных токенов |
32 130 |
40 467 |
|
Время всех прогонов |
49 мин |
67 мин |
|
Генерация, токенов/с |
15,7 |
12,3 |
|
Средняя мощность пакета |
45 Вт |
45 Вт |
|
Энергия пакета, Вт·ч |
37,2 |
50,2 |
|
Из них без шаблонов |
33,2 Вт·ч на 10 прогонов |
46,9 Вт·ч на 10 прогонов |
|
Стоимость при 6,5 ₽ за кВт·ч |
0,24 ₽ |
0,33 ₽ |
Энергия одного прогона без шаблона — от 1,8 Вт·ч (шестерня, корпус) у Gemma и до 9,3 Вт·ч у Tiel‑Coder. Если добавить потребление остального компьютера, все 26 прогонов обошлись примерно в 0,11 кВт·ч — меньше рубля. Tiel‑Coder потратила в 2,4 раза больше входных токенов, чем Gemma. Почти всё ушло на неудачи: каждая новая попытка отправляет модели весь предыдущий диалог. В SolidCraft она делала по 13 ходов там, где Gemma обходилась пятью. На встроенной графике генерация быстрее на 21% у Gemma и на 39% у Tiel‑Coder. Средняя мощность процессорного пакета падает с 45 до 32–33 Вт. Энергия на 1000 токенов ответа снижается на 28% и 42%. Качество деталей от устройства не зависит: разброс между двумя повторами одного задания больше, чем разница CPU и GPU.
Вторая пара сравнений. Обе модели GPT‑OSS 20B и Qwen3-Coder 30B‑A3B решают с первой попытки.
|
Задание (с шаблоном) |
Модель |
CPU |
GPU |
Энергия CPU → GPU |
|
Шестерня OpenSCAD |
Gemma 26B |
65 с |
58 с |
0,80 → 0,52 Вт·ч |
|
|
Tiel‑Coder 35B |
61 с |
51 с |
0,74 → 0,49 Вт·ч |
|
Ручка Blender |
Gemma 26B |
97 с |
81 с |
1,24 → 0,76 Вт·ч |
|
|
Tiel‑Coder 35B |
81 с |
62 с |
1,03 → 0,65 Вт·ч |
|
Корпус SolidCraft |
Gemma 26B |
162 с |
154 с |
2,02 → 1,15 Вт·ч |
|
|
Tiel‑Coder 35B |
122 с |
114 с |
1,53 → 0,94 Вт·ч |
В SolidCraft выигрыш по времени меньше всего (5–7%). Там модель пишет мало, а в основном читает длинный промпт: описания 13 инструментов и историю вызовов, 30–60 тысяч токенов за задание. Часть времени уходит на саму SolidCraft. Точно разделить, что из этого ускорилось, а что нет, по моим замерам нельзя. Энергию графика экономит и здесь — около 40%.
Результаты сравнительного теста
С подсказками‑образцами из первой статьи все четыре модели сделали все три детали верно и с первой попытки. Здесь сравнение самое честное — задача одна и та же.
GPT‑OSS и Qwen3-Coder пишут по шаблону короче и без лишних комментариев, поэтому заканчивают вдвое быстрее Gemma. В SolidCraft GPT‑OSS вообще лучшая: 55 секунд против 114–154 у остальных. Если задача уже разжёвана шаблоном, эти две модели выгоднее.
|
Задание (с шаблоном) |
Gemma 4 26B |
Tiel‑Coder 35B |
GPT‑OSS 20B |
Qwen3-Coder 30B |
|
Шестерня OpenSCAD |
58 с / 0,52 Вт·ч |
51 с / 0,49 Вт·ч |
31 с / 0,39 Вт·ч |
35 с / 0,29 Вт·ч |
|
Ручка Blender |
81 с / 0,76 Вт·ч |
62 с / 0,65 Вт·ч |
43 с / 0,56 Вт·ч |
45 с / 0,37 Вт·ч |
|
Корпус SolidCraft |
154 с / 1,15 Вт·ч |
114 с / 0,94 Вт·ч |
55 с / 0,71 Вт·ч |
141 с / 1,14 Вт·ч |
Какую модель выбрать для этого или подобного мини‑ПК
Итог:
-
Основная модель — Gemma 4 26B‑A4B. Единственная из четырёх, которая хоть что‑то делает в CAD без шаблона и пишет компилируемые прошивки. Самая быстрая на этой графике, понимает картинки и умеет работать с MCP.
-
Вторая модель для прошивок и кода — GPT‑OSS 20B. Лучше всех доводит код до компиляции по ошибкам и быстрее всех работает по шаблону. Минус — на встроенной Arc она нагружает и процессор: 44 Вт вместо 29–33.
-
Qwen3-Coder 30B‑A3B — только с шаблонами. Самая экономная, но без примера в CAD и прошивке не справилась ни разу.
-
Tiel‑Coder 35B‑A3B можно удалять. Ни в одной категории она не первая.
|
Критерий |
Лучшая модель |
|
Скорость генерации |
Gemma 4 26B — 19,1 токена/с |
|
Экономия энергии |
Qwen3-Coder 30B — 0,61 Вт·ч на 1000 токенов |
|
CAD без шаблона |
Gemma 4 26B — 4 из 6 деталей хотя бы частично |
|
Прошивка ESP32 без шаблона |
Gemma 4 26B и GPT‑OSS 20B — 2 из 2 |
|
Исправление ошибок по тексту компилятора |
GPT‑OSS 20B |
|
Работа по готовому шаблону |
GPT‑OSS 20B (быстрее всех), Qwen3-Coder (экономнее всех) |
|
Картинки в задании |
только Gemma 4 и Tiel‑Coder |
Несколько замечаний по результатам тестов:
-
Если у вас Core Ultra со встроенной Arc и 32 ГБ памяти — поднимите Shared GPU Memory Override до 24–26 ГБ. Это единственное, что нужно, чтобы модели на 17–18 ГБ работали на графике.
-
Встроенная графика быстрее процессора на 20–40% в генерации и тратит на 28–42% меньше энергии на тот же объём текста. Пакет работает на 32 Вт вместо 45.
-
В MCP‑агенте SolidCraft, где модель в основном читает длинный промпт, выигрыш по времени всего 5–7%, по энергии — около 40%. Если честно, именно SolidCraft мне понравился для генерации моделей (корпуса и подобное) с помощью LLM, а не FreeCAD/OpenSCAD.
-
Основные ошибки моделей одинаковы на CPU и на GPU. Лечатся они примерами и точными формулировками в задании, а не железом. Если контекст получается длинный — то не нужно отправлять всю информацию при очередном этапе (оправьте только нужную информацию для устранения ошибок, без раздувания контекста). Большие задачи дробите на законченные части.
-
Для создания CAD‑моделей на 32 ГБ начните с gemma4:26b. Она понимает картинки, умеет MCP и без шаблона решает часть задач, которые 8B не по силам. Используйте рефренсы (шаблоны и примеры) — с ними любая модель делает деталь верно с первой попытки. Добавляйте в задание контрольную величину: объём коробки, центр масс, число зубьев. Тогда модель может проверить себя сама.
-
Еще один неочевидный вывод — для простых задач с коротким контекстом и с рефренсом компактная 8B‑модель может оказаться выгоднее.
Если держать только одну модель на ПК, то имеет смысл выбрать Gemma 4 26B‑A4B. Она самая быстрая (19 токенов/с) и единственная из четырёх иногда справляется с CAD‑заданием без шаблона, и она понимает картинки (для рефренсов). Если место на диске позволяет — Gemma для «подумать и сделать с нуля» и GPT‑OSS для быстрых задач по шаблону и доводки кода. Qwen3-Coder — самая экономная, но без шаблона не справилась ни с одним заданием.
Теги:
- нейросети
- qwen
- мини компьютер
- geekom
- GEEKOM GT1 Mega
- Shared GPU Memory Override
- вайбкодинг
- вайбкодинг 2026
Хабы:
- Настольные компьютеры
- Искусственный интеллект