TOPZNANIE

Цифровая практика без сложностей

Выберите город
MET Norway · CC BY 4.0
← На главную

· Общий обзор

Ускоряем AI модель на процессоре Qwen3.8-Flash-Next Gyro

Существует много различных проектов и вариантов по ускорению генерации AI. Но в большинстве случаев они используют тюнинг модели, а так же использование внешней видео карты. Но можно ли ускорить генерацию модели, если у нас есть только процессор и ОЗУ?

Для тестирования использовалась модель Qwen3.8-Flash-Next Gyro GGUF

В данной оптимизации помог Opus, который несколько суток гонял тесты на моём железе и пытался оптимизировать код llama. К сожалению мою учётную запись заблокировали, и после верификации и апеляции, окончательно. Возможно ли такой же тюнинг и отладка с другими моделями AI?

Версия патча Opus

Промпт t/s

Генерация t/s

Сравнение с оригиналом

fix23

10.98 / 10.05

2.41 / 2.38

×1.23

fix37

11.21 / 14.49

2.72 / 2.73

×1.40

original

4.12 / 3.75

1.97 / 1.92

—

График снижения скорости генерации в зависимости от контекста.

Патчи и наработки здесь. Пишите в комментариях железо и насколько увеличивается у вас скорость генерации после применения патчей.
https://gitlab.com/agentionai-group/llama.cpp/-/merge_requests/1

Так же напишите, какая модель и из какого harness может так же долго работать как cloud code -заниматься такой сложной и низко-уровненовой работой на твоём личном железе.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.Я запускал у себя LLM0%На специализированном оборудовании для AI (NPU процессор)00%Ноутбук или обычный компьютер с дискретной видео картой00%Ноутбук или обычный компьютер без дискретной видео карты0 Никто еще не голосовал. Воздержался 1 пользователь. Теги:

  • llm
  • vibecoding
  • cpu
  • qwen
  • qwen3.8-flash-next

Хабы:

  • *nix
  • Искусственный интеллект
  • Процессоры