Локальный ИИ в 2026

Запустить языковую модель у себя на компьютере или даже на телефоне сегодня может каждый. Бесплатно, без подписок и без отправки данных в чужое облако. Но вопросов от этого меньше не стало. Какую модель выбрать? Хватит ли моей видеокарты? Чем GGUF отличается от safetensors? Можно ли запустить «настоящий DeepSeek» на ноутбуке? И главное: можно ли с помощью всего этого писать код, как с Claude или ChatGPT?

В этой статье разобраны три очень разных случая и один практический вопрос:

1. DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic — популярная 9-миллиардная модель «без цензуры» для домашнего ПК.
2. MNN-Pocket-0.3B от Alibaba — крошечная модель на 173 МБ для смартфона.
3. colibri — движок для запуска гигантских MoE-моделей (сотни миллиардов параметров) на обычном железе.
4. Агентное программирование локально: OpenClaw, OpenCode, Aider, Cline и другие. Как настроить, как получить лучший результат и какое железо купить.

• Краткий словарь: термины, без которых никуда
• Как прикинуть, сколько памяти нужно модели
• Часть 1. DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic
• Часть 2. MNN-Pocket-0.3B — нейросеть на 173 МБ для смартфона
• Часть 3. colibri — можно ли запустить мощную модель на скромном железе
• Часть 4. Локальные модели в OpenClaw и инструментах для написания кода
• Часть 5. Какое железо купить: цена/качество
• FAQ
• Итоги
• Источники

Простая формула для оценки:

Память под веса (ГБ) ≈ Параметры (млрд) × бит_на_вес / 8

К этому добавляется KV-кэш: обычно 1–3 ГБ при контексте 8–16K, а при 64K–128K может доходить до десятков гигабайт (зависит от архитектуры). Ещё понадобится около 0,5–1 ГБ на служебные нужды.

Как зависит скорость. Скорость генерации определяется в основном пропускной способностью памяти: на каждый токен нужно «прочитать» все активные веса. Отсюда правило: видеокарта (300–1000+ ГБ/с) намного быстрее обычной DDR5 (60–100 ГБ/с), а та намного быстрее NVMe-диска (5–14 ГБ/с). Поэтому MoE-модели с маленьким числом активных параметров так хорошо работают на скромном железе.

Ссылка:

Что это за модель

Название вводит в заблуждение: это не DeepSeek V4. Внутри Qwen3.5-9B (9 млрд параметров), которую дообучили на ответах DeepSeek V4 Pro. Это так называемая дистилляция: маленькая модель учится подражать стилю и рассуждениям большой. Дообучение сделал автор Jackrong (модель Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B). Затем инструментом Heretic (v2.0, метод Arbitrary-Rank Ablation, слои 9–24) с неё сняли цензуру. В тесте модель отказала в 3 запросах из 100, исходная — во всех 100. При этом отклонение от поведения оригинала небольшое: KL-дивергенция 0.0422, то есть модель «не сломали».

Цепочка происхождения:

Qwen/Qwen3.5-9B-Base → Qwen/Qwen3.5-9B → unsloth/Qwen3.5-9B
   → Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B (дообучение на ответах DeepSeek V4 Pro)
      → xtools-at/...-UNCENSORED-heretic (снятие цензуры)

Технические характеристики:

• Архитектура qwen3_5 (Qwen3_5ForConditionalGeneration), умеет работать с картинками (image-text-to-text)
• Веса в BF16, формат safetensors, около 18.8 ГБ (4 файла по ~4–5 ГБ)
• Отдельный файл model-mtp.safetensors (~0.5 ГБ) для ускоренной генерации через MTP
• Лицензия Apache-2.0: можно использовать в том числе коммерчески
• Существует и версия на 4B

Готовые сжатые версии (квантизации)

В самом репозитории только полные веса. Сообщество уже выложило 11 вариантов:

> ⚠ Архитектура Qwen3.5 новая, поэтому llama.cpp, Ollama и LM Studio нужны свежих версий. На старых будет ошибка вида unknown model architecture.

Какое нужно железо

Сверх весов закладывайте 1–3 ГБ памяти на контекст (KV-кэш). Чем длиннее контекст, тем больше нужно. Места на диске нужно столько, сколько весит выбранный файл.

Способ 1. Ollama (самый простой, Linux/Windows/macOS)

# 1. Установка (Linux; для Windows/macOS — установщик с ollama.com)
curl -fsSL https://ollama.com/install.sh | sh

# 2. Скачать и запустить сразу с Hugging Face
ollama run hf.co/mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF:Q4_K_M

После этого можно писать в чат в терминале. Ollama также поднимает API на http://localhost:11434. К нему можно подключить веб-интерфейс Open WebUI или инструменты для кода (см. часть 4).

Способ 2. LM Studio (с графическим интерфейсом)

1. Скачать с lmstudio.ai и установить (для Linux есть AppImage).
2. Во вкладке поиска ввести DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic.
3. Выбрать файл Q4_K_M (или Q8_0, если хватает видеопамяти) и нажать Download.
4. Загрузить модель во вкладке Chat. Ползунок «GPU offload» выставить на максимум, который выдерживает видеокарта.

LM Studio тоже умеет поднимать локальный OpenAI-совместимый сервер (вкладка Developer), обычно на http://localhost:1234/v1.

Способ 3. llama.cpp (больше всего контроля)

# Сборка с CUDA (для NVIDIA; для CPU уберите -DGGML_CUDA=ON,
# для AMD/Intel можно -DGGML_VULKAN=ON)
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON && cmake --build build -j

# Скачать и запустить сервер с веб-интерфейсом на :8080
./build/bin/llama-server \
  -hf mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF:Q4_K_M \
  -ngl 99 -c 16384 --jinja

• -ngl 99 переносит все слои на GPU. Если не хватает памяти, уменьшите число (например, 20): остальные слои посчитает процессор.
• -c задаёт длину контекста.
• --jinja включает встроенный чат-шаблон модели.
• Для работы с картинками нужен ещё файл mmproj-*.gguf, если он есть в репозитории квантизации. Его передают параметром --mmproj.

Способ 4. vLLM (оригинальные веса, сервер/продакшен, Linux + NVIDIA 24 ГБ+)

python -m venv venv && source venv/bin/activate
pip install -U vllm
vllm serve xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic --max-model-len 16384

Получится OpenAI-совместимый API на http://localhost:8000/v1. Если видеокарта на 16 ГБ, подставьте вместо имени модели sakamakismile/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-NVFP4 (только RTX 50xx) или используйте GGUF.

Другие варианты из карточки модели:

• SGLang: python3 -m sglang.launch_server --model-path xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic (API на порту 30000)
• Docker Model Runner: docker model run hf.co/xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic
• transformers (Python): AutoProcessor + AutoModelForMultimodalLM, затем apply_chat_template(..., add_generation_prompt=True)
• Unsloth Studio / Desktop: если планируете дообучать

Способ 5. Mac (Apple Silicon)

pip install -U mlx-lm
mlx_lm.chat --model digiflow/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-MLX-4bit

Можно и проще: LM Studio на Mac сам предложит MLX-версию.

Что выбрать

• Обычный ПК с видеокартой на 8–12 ГБ: Ollama или LM Studio с Q4_K_M.
• Видеокарты нет: то же самое на процессоре. Работать будет, но медленно; нужно 16 ГБ RAM.
• RTX 3090/4090 и нужен API для приложения: vLLM с оригинальными весами.

> ⚠ Это модель с отключёнными отказами. Ответственность за то, как используются её ответы, на вас. Как и все 9B-модели, она часто ошибается в фактах: не используйте её как источник истины без проверки.

Ссылка:

В соцсетях разошёлся такой пост:

> Alibaba выпустили крошечную мощную модель, которая работает на смартфоне и занимает всего 173 МБ. Внутри MNN-Pocket-0.3B всего 300 млн параметров, но на iPhone 18 Pro модель выдаёт около 350 токенов в секунду. Причём в 11 тестах на знания, математику, код и выполнение инструкций она набрала в среднем 50 баллов против 44 у вдвое более крупной Qwen3-0.6B. Плюсом, по тестам разработчиков, 100 запросов на OnePlus 13 расходуют всего 0,3% заряда аккумулятора. При этом модель можно бесплатно скачать, дообучать и встраивать в собственные приложения.

Мы проверили его по странице модели.

Что из поста подтверждается

• Да: около 300 млн параметров (Hugging Face пишет 0.4B, видимо, вместе с embedding-слоями). Сжатая 4-битная версия для MNN весит ~173 МБ. Средний балл по 11 тестам 50.0 против 44.3 у Qwen3-0.6B. Лицензия Apache-2.0, так что модель можно бесплатно дообучать и встраивать в свои приложения.
• Скорость в таблице производителя: iPad Pro M5 — 466 токенов/с, Snapdragon 8 Gen 5 — 138–251 токенов/с. Цифры для iPhone 18 Pro на странице есть только в виде демо-видео. Расход батареи на OnePlus 13 (0,3% на 100 запросов) в описании модели мы не нашли. Возможно, он есть в техническом отчёте (PDF в репозитории).
• Чего в посте нет: модель хороша в выполнении инструкций (IFEval 73), в коде (HumanEval 54) и в школьной математике (GSM8K 54). Но знаний у неё меньше: в тесте C-Eval 38.9 против 44 у Qwen3-0.6B. Сами авторы пишут, что для сложной математики и длинного кода она не предназначена. Это модель для быстрых простых задач на устройстве: переформулировать, классифицировать, извлечь данные, коротко ответить. Модели уровня ChatGPT она не заменит.

Технические характеристики

Бенчмарки (больше — лучше)

INT4-версия теряет в среднем всего 0,41 балла: это заслуга обучения с QAT.

Скорость на устройствах (контекст 512, INT4)

Какое нужно железо

Подойдёт практически любое:

Какие есть файлы

Версия Q4_1 в GGUF-репозитории сделана из QAT-модели. Поэтому при малом размере она почти не теряет в качестве. Из всех GGUF-вариантов её стоит брать в первую очередь.

Способ 1. На ПК: Ollama (проще всего)

ollama run hf.co/taobao-mnn/MNN-Pocket-0.3B-GGUF:Q4_1

Способ 2. На ПК: llama.cpp

llama-server -hf taobao-mnn/MNN-Pocket-0.3B-GGUF:Q4_1 -c 8192 --jinja
# веб-чат откроется на http://localhost:8080

Отвечать будет очень быстро даже на процессоре.

Способ 3. На ПК: Python (transformers)

pip install -U transformers torch

from transformers import AutoModelForCausalLM, AutoTokenizer

mid = "taobao-mnn/MNN-Pocket-0.3B"
tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, dtype="auto", device_map="auto")

msgs = [{"role": "user", "content": "Explain what CGNAT is in 3 sentences."}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=256)
print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True))

Запрос намеренно на английском: русский язык модель официально не поддерживает.

Способ 4. Нативно через MNN (как задумано авторами)

git clone --depth 1 https://github.com/alibaba/MNN.git
cd MNN && mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# скачать MNN-версию модели
pip install -U huggingface_hub
hf download taobao-mnn/MNN-Pocket-0.3B-MNN --local-dir ~/models/pocket-mnn

echo "Hello! Who are you?" > prompt.txt
./llm_demo ~/models/pocket-mnn/config.json prompt.txt

Без файла prompt.txt llm_demo запускается в интерактивном режиме.

Способ 5. На телефоне

• Android: в репозитории github.com/alibaba/MNN (раздел Releases и папка apps/Android/MnnLlmChat) есть приложение MNN Chat. В нём есть встроенный список моделей для скачивания; MNN-Pocket там может появиться, но на момент написания мы этого не проверяли. Альтернатива — Termux: pkg install llama-cpp, затем запуск GGUF Q4_1, как в способе 2.
• iPhone: в репозитории MNN есть демо-приложение для iOS (apps/iOS), его собирают в Xcode. Из App Store проще поставить приложение для локальных моделей с поддержкой GGUF, например PocketPal, и загрузить в него MNN-Pocket-0.3B-Instruct-Q4_1.gguf.

Для встраивания в своё приложение

• Android/iOS: библиотека MNN (C++ API llm) и файлы из MNN-Pocket-0.3B-MNN.
• Сервер: vLLM или llama-server с OpenAI-совместимым API.
• Дообучение: берите MNN-Pocket-0.3B-SFT или -Base. Модель маленькая, LoRA для неё обучится даже на видеокарте с 8 ГБ, а полное дообучение — на 16–24 ГБ. Потом её можно перевести в формат MNN:

cd MNN/transformers/llm/export
python llmexport.py --path /путь/к/вашей/модели --export mnn --quant_bit 4 --quant_block 64

Где такая модель действительно полезна: офлайн-подсказки в мобильном приложении, классификация обращений и отзывов, извлечение полей из текста (имя, дата, сумма), короткие переформулировки, умные ответы в чате, предварительная фильтрация запросов перед отправкой большой модели. Для всего этого 300 млн параметров и сотни токенов в секунду — почти идеальное сочетание.

Ссылка:

Естественный вопрос: раз есть 9B-модель, можно ли запустить её «самую мощную» полную версию на слабом железе с помощью colibri? Или вообще что-то гораздо крупнее?

Что такое colibri

colibri — open-source движок инференса на C с девизом «Tiny engine, immense model» («Крошечный движок, огромная модель»). Он нужен, чтобы запускать очень большие MoE-модели на обычном железе. Как он работает:

• Разделение по уровням. «Плотные» части модели (внимание, общие эксперты, эмбеддинги) лежат в RAM. Маршрутизируемые эксперты распределяются по трём уровням: горячие на GPU (CUDA или Vulkan), тёплые в RAM, холодные читаются с NVMe-диска, когда маршрутизатор их запрашивает.
• Обучаемое кэширование. LRU-кэш на каждый слой плюс закреплённый набор горячих экспертов. Набор вычисляется по реальной истории маршрутизации (файл .coli_usage обновляется каждый ход).
• Предзагрузка. Три матрицы эксперта читаются одним pread. Пока одни эксперты считаются, потоки-загрузчики подтягивают недостающие; отдельный поток может заранее предсказывать эксперты следующего слоя.
• Размещение влияет только на скорость, а не на ответ. Решения маршрутизатора и точность весов одинаковы, где бы ни лежал эксперт: в видеопамяти, в RAM или на диске.
• Форматы: нативные int4/int8-контейнеры и GGUF «как есть» (от IQ1_S до Q8_0, F16, BF16, MXFP4) через ./coli import model.gguf.
• Спекулятивное декодирование через встроенные MTP-головы или prompt lookup.
• API: OpenAI-совместимый http://127.0.0.1:8000/v1 и Anthropic-совместимый /v1/messages. Есть также /v1/systemone: он возвращает вероятности для вариантов ответа (выбор, да/нет, оценка).
• Около 49,5 тыс. звёзд на GitHub, более 5 тыс. коммитов, лицензия Apache-2.0, CI сверяет вывод Vulkan с CPU и с эталонными реализациями.

Почему для 9B-модели из части 1 он почти ничего не даст

1. colibri рассчитан на MoE-модели, а эта модель плотная (dense).

У MoE-модели сотни «экспертов», и на каждый токен работают лишь несколько из них. colibri держит в видеопамяти часто используемых экспертов, остальных в RAM, а редких читает с NVMe-диска. Так и получается запускать модели на сотни миллиардов параметров на обычном ПК.

В плотной 9B-модели на каждом токене работают все 9 млрд параметров. Делить их на «горячие» и «холодные» нельзя: если часть весов лежит на диске, её придётся читать целиком на каждом токене, и всё станет очень медленным.

2. Qwen3.5 нет в списке поддерживаемых. В README есть Qwen3.6, Qwen3.8, DeepSeek V4 Flash, GLM, Kimi и другие, а архитектуры qwen3_5 нет.

3. Для плотной модели нужный инструмент уже есть: llama.cpp.

• Q8_0 (~9.5 ГБ) по качеству практически не отличается от исходной BF16 (19 ГБ). Это и есть «самая мощная» версия на практике.
• Если видеопамяти мало, llama.cpp сам делит модель: -ngl 20 отправляет 20 слоёв на GPU, остальные считает процессор.

llama-server -hf mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF:Q8_0 \
  -ngl 20 -c 8192 --jinja

Для чего colibri подходит

Он позволяет на скромном железе запускать модели, которые намного сильнее этой 9B. Список поддерживаемых: GLM-5.2/5.3, GLM-5.3-Flash, Inkling, Kimi K3, DeepSeek V4 Flash и V4.1 Flash, MiMo-V2.6 Flash и Pro, Qwen3.8-Flash-Next, Qwen3.6 (через этот же движок работают Qwen3-Coder, плотная Qwen3.8-27B, Flint, Muse Spark Open, LFM3-VL), OLMoE, Mistral-Large-4 (через движок GLM). Есть даже генерация изображений: Qwen-Image-2.1, только для некоммерческого использования.

Цифры ниже — из README проекта, их намерили автор и участники сообщества:

Самый практичный вариант здесь Qwen3.6-35B-A3B. На ПК без видеокарты с 16 ГБ RAM она идёт примерно с той же скоростью, что и 9B, а по качеству, скорее всего, заметно лучше. Настоящий DeepSeek V4 запустить тоже можно, но 1 токен в секунду годится для экспериментов, а не для работы. Версии DeepSeek V4 Pro в списке поддерживаемых нет, есть только Flash.

Требования и установка

Требования colibri: от 8 ГБ RAM (лучше 16+), от 22 ГБ свободного места для самой маленькой модели, быстрый NVMe SSD (на HDD или SATA SSD большие модели будут работать очень медленно), видеокарта не обязательна. Бэкенды:

• CPU — всегда
• Vulkan — любая видеокарта с драйвером Vulkan 1.2 (NVIDIA, AMD, Intel, встроенная графика)
• CUDA — NVIDIA на Linux (на Windows — через отдельный архив с DLL)
• Metal — Apple Silicon

sudo apt install git python3 build-essential
git clone https://github.com/JustVugg/colibri
cd colibri
./start-here.sh          # мастер установки: поможет выбрать и скачать модель

# или вручную:
cd c && ./setup.sh
make qwen36 VK=1         # VK=1 включает Vulkan (любая видеокарта), можно без него
./coli chat  --model /путь/к/qwen36
./coli serve --model /путь/к/qwen36   # OpenAI- и Anthropic-совместимый API на :8000
./coli web   --model /путь/к/qwen36   # веб-панель
./coli import model.gguf              # использовать готовый GGUF-файл

Известные ограничения:

• Очень большие модели упираются в скорость диска; на машинах с малым объёмом RAM скорость часто ниже 1 токена/с.
• Большинство цифр намерено на машинах автора и сообщества, ваши могут отличаться.
• Вывод через Vulkan на длинных ответах может отличаться от CPU на слово-другое.
• В WSL модели, лежащие в /mnt/c, работают намного медленнее: держите их внутри файловой системы Linux.
• Старые int4-зеркала GLM с поканальной (per-row) квантизацией дают качество примерно на 9 пунктов хуже и склонны к зацикливанию (issue #455). Используйте актуальные версии.

Важный нюанс про «без цензуры»

В colibri нужны официальные веса поддерживаемых архитектур. Версий «heretic» или «uncensored» для этих MoE-моделей может не оказаться. Если вам важно именно снятие цензуры, придётся остаться на 9B через llama.cpp или поискать на Hugging Face abliterated- или heretic-версию нужной MoE-модели. Проверьте, что colibri её примет: для готовых GGUF-файлов есть команда ./coli import model.gguf.

Кстати, для MoE-моделей в llama.cpp тоже есть похожий трюк: параметр --n-cpu-moe N (или -ot с регулярным выражением) оставляет экспертов N слоёв в RAM, а всё остальное отправляет на GPU. Это не так продвинуто, как многоуровневый кэш colibri (с диска llama.cpp экспертов не подгружает), но для моделей, целиком помещающихся в RAM, работает очень хорошо.

Что выбрать

• Нужна именно эта 9B uncensored: llama.cpp или Ollama с Q8_0, colibri не нужен.
• Нужна модель умнее на том же скромном ПК: colibri и Qwen3.6-35B-A3B.
• Хотите попробовать настоящий DeepSeek V4: colibri и V4 Flash, но только с NVMe и приготовьтесь к ~1 токену/с.

Какая модель подойдёт для кода

Агенту вроде OpenClaw, OpenCode или Cline мало просто отвечать. Модель должна:

• правильно вызывать инструменты (читать и править файлы, запускать команды) в строгом формате;
• удерживать длинный контекст (32K токенов и больше): системный промпт агента, описание инструментов и содержимое файлов быстро съедают десятки тысяч токенов;
• не сбиваться за десятки шагов: план → правка → запуск тестов → исправление.

Маленьким моделям это даётся плохо.

> Честное сравнение: даже лучшие локальные модели в агентном программировании заметно слабее облачных (Claude, GPT, Gemini, DeepSeek API). Локальный запуск оправдан, если важны приватность (код не уходит за пределы компьютера), работа без интернета или нет оплаты за токены. Популярный компромисс: облачная модель для сложной архитектурной работы, локальная для рутины, автодополнения и работы с конфиденциальным кодом.

Порядок действий: OpenClaw + Ollama

OpenClaw — это скорее универсальный агент-ассистент (мессенджеры, автоматизация), но код он писать тоже умеет.

Шаг 1. Поставить Ollama и скачать модель

curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3.6:35b-a3b        # точное имя тега сверьте на ollama.com/library
ollama list                         # здесь будет точный ID модели

Шаг 2. Подключить в OpenClaw. Проще всего через мастер openclaw onboard, в нём выбрать Ollama. Можно и вручную в openclaw.json:

{
  agents: {
    defaults: { model: { primary: "ollama/qwen3.6:35b-a3b" } }
  },
  models: {
    providers: {
      ollama: {
        baseUrl: "http://127.0.0.1:11434",   // ВАЖНО: без /v1, иначе ломаются вызовы инструментов
        apiKey: "ollama-local",
        api: "ollama",
        timeoutSeconds: 300,
        models: [{
          id: "qwen3.6:35b-a3b", name: "qwen3.6:35b-a3b", input: ["text"],
          contextTokens: 32768,
          params: { num_ctx: 32768, keep_alive: "15m" }
        }]
      }
    }
  }
}

Что здесь важно:

• contextTokens ограничивает бюджет контекста на стороне OpenClaw, а params.num_ctx задаёт контекст на стороне Ollama. Держите их одинаковыми.
• timeoutSeconds: 300: локальные модели бывают медленными, особенно на первом запросе, а стандартного таймаута может не хватить.
• keep_alive: "15m" держит модель загруженной в памяти между запросами, чтобы не ждать загрузку каждый раз.
• Можно указать запасные модели: fallbacks: ["ollama/qwen3-coder:30b", ...] внутри model.

Шаг 3. Проверить: openclaw models list --provider ollama. Если список пустой, OpenClaw не достучался до Ollama.

Частые ошибки:

• /v1 в конце baseUrl: модель начинает печатать JSON вызова инструмента прямо в чат вместо того, чтобы его выполнить. Официальная документация OpenClaw прямо предупреждает об этом.
• Имя модели без префикса ollama/ даёт ошибку Unknown model.
• num_ctx и contextTokens должны совпадать. Без num_ctx Ollama может обрезать контекст, и агент «забудет» начало задачи.
• Не отключайте инструменты целиком (compat.supportsTools: false), если модель иногда ошибается: агент потеряет руки. Для локальных моделей OpenClaw сам включает Tool Search, который показывает модели только нужные инструменты, а не все сразу.

llama.cpp вместо Ollama. Есть официальный плагин:

openclaw plugins install @openclaw/llama-cpp-provider

Путь к GGUF-файлу задаётся в models.providers.llama-cpp → params.modelPath. Скачать файл нужно заранее, сам плагин модели не загружает. Проверка: openclaw models list --local. Можно также описать уже запущенный llama-server (по умолчанию http://127.0.0.1:8080) как отдельного провайдера в models.providers.

Другие инструменты для кода

Адреса локальных API:

Запрет на /v1 относится только к OpenClaw. Остальным клиентам с режимом «OpenAI Compatible» нужен именно адрес с /v1. API-ключ для локальных серверов обычно можно указать любой, например local.

Пример для Aider с llama-server:

export OPENAI_API_BASE=http://localhost:8080/v1
export OPENAI_API_KEY=local
aider --model openai/local-model

Как получить лучший результат

1. Квантизация не ниже Q4_K_M, для кода лучше Q5/Q6/Q8. Код от сжатия страдает сильнее, чем обычный текст: появляются опечатки в именах и лишние скобки.
2. Контекст 32K минимум, лучше 64K. Если видеопамяти не хватает, в llama.cpp можно сжать KV-кэш (--cache-type-k q8_0 --cache-type-v q8_0, вместе с flash attention -fa). Для MoE-моделей помогает --n-cpu-moe N: экспертов отдаём в RAM, а внимание остаётся на GPU.
3. Низкая температура (0.2–0.6) и включённый режим размышления (thinking), если модель его поддерживает. Для Qwen-моделей обычно рекомендуют temperature 0.6, top_p 0.95 в режиме размышления и 0.7 / 0.8 без него.
4. Файл с правилами проекта (AGENTS.md или аналог): как собрать проект, как запустить тесты, стиль кода, что трогать нельзя. Локальным моделям такая подсказка помогает сильнее, чем облачным.
5. Мелкие задачи. Вместо «сделай приложение» лучше «добавь функцию X в файл Y, вот тест». Сначала попросите план, потом реализацию.
6. Git как страховка. Коммит после каждого удачного шага, плохую правку откатываете через git checkout. Aider делает это сам.
7. Тесты как обратная связь. Агент, который может запустить pytest или npm test и увидеть ошибку, исправляет код намного лучше.
8. Две модели одновременно, если позволяет железо: маленькая и быстрая для автодополнения в Continue, большая для агента.
9. Ограничьте объём контекста. Не давайте агенту читать весь репозиторий: добавляйте в контекст только нужные файлы (/add в Aider, упоминания @file в Cline и Continue). Локальная модель «тупеет» на длинном контексте быстрее облачной.
10. Перезапускайте сессию. Если агент начал ходить по кругу, повторять одну и ту же ошибку или «забывать» задачу, начните новую сессию с коротким резюме того, что уже сделано.

Рекомендуемый «стартовый набор»

Главные правила при выборе железа для локальных LLM:

1. Объём памяти определяет, какую модель вы вообще сможете запустить. Видеопамять (VRAM) или общая (unified) память — главный ресурс.
2. Пропускная способность памяти определяет скорость. Поэтому видеокарта быстрее процессора, а мини-ПК с общей памятью — где-то посередине.
3. MoE-модели меняют правила игры: можно иметь мало видеопамяти, но много обычной RAM.

Цены ниже — американские, из обзоров сентября–октября 2026. В России они другие, сверяйтесь с Avito, DNS и маркетплейсами.

Моя рекомендация

• Есть нормальный ПК: докупить б/у RTX 3090 и довести RAM до 64 ГБ. Это самый дешёвый способ комфортно работать с Qwen3.6-35B-A3B и Qwen3-Coder в агентах. При покупке проверьте температуру памяти и что карта не после майнинга. Нужен блок питания от 850 Вт.
• Хочется тихо, компактно и запускать модели крупнее: Ryzen AI Max+ 395 со 128 ГБ. Он хорошо сочетается с colibri и MoE-моделями.
• В любом случае: NVMe SSD от 2 ТБ. Модели весят десятки гигабайт, а colibri подгружает экспертов прямо с диска.

Чек-лист при покупке б/у RTX 3090

• Попросите запустить стресс-тест (FurMark, OCCT) на 15–20 минут и посмотрите температуру памяти (Memory Junction Temperature в HWiNFO или GPU-Z). Выше 100–105 °C — повод насторожиться: нужна замена термопрокладок.
• Проверьте, что карта видит все 24 ГБ и проходит тест памяти (например, OCCT VRAM test).
• Осмотрите разъёмы, следы вскрытия и окисления, состояние вентиляторов.
• Убедитесь, что корпус вмещает карту (у многих моделей длина больше 30 см и толщина в 3 слота), а у блока питания хватает разъёмов PCIe.

Что ещё важно в сборке

Можно ли запустить настоящий DeepSeek V4 Pro дома?

Модель из части 1 — это не DeepSeek V4 Pro, а Qwen3.5-9B, обученная на его ответах. Настоящий DeepSeek V4 Flash можно запустить через colibri со скоростью примерно 1–1,6 токена/с с NVMe-диска. V4 Pro в списке поддерживаемых colibri нет.

Что лучше на слабом ПК: 9B-модель или Qwen3.6-35B-A3B?

Если хватает RAM (16–32 ГБ), то, скорее всего, 35B-A3B: она быстрая благодаря MoE и умнее за счёт объёма. 9B стоит брать, если нужна именно версия без цензуры или работа с картинками на слабом GPU.

Понимают ли эти модели русский язык?

Qwen3.5 и Qwen3.6 понимают русский неплохо. MNN-Pocket-0.3B официально поддерживает только китайский и английский.

Ollama, LM Studio или llama.cpp?

Все три используют один и тот же движок llama.cpp. Ollama проще всего и удобна как фоновый сервер. В LM Studio удобный графический интерфейс. Голый llama.cpp даёт максимум контроля (--n-cpu-moe, сжатие KV-кэша, MTP) и обычно первым получает поддержку новых архитектур.

Можно ли использовать модели «без цензуры» в коммерческих проектах?

Лицензия Apache-2.0 это позволяет. Но вы сами отвечаете за то, что генерирует модель. Для продуктов с пользователями добавляйте собственную модерацию.

Нужен ли интернет?

Только для скачивания моделей и программ. Дальше всё работает полностью офлайн.

Локальные модели в 2026 году — уже не игрушка. 9B на видеокарте за 300 долларов, 35B на процессоре без видеокарты, модель размером с MP3-альбом в смартфоне. До облачных флагманов им всё ещё далеко, особенно в сложных агентных задачах. Но для приватной работы, офлайна, встраивания в продукты и экспериментов это уже полноценный инструмент.

Цифры скорости и цены приведены по данным разработчиков и обзоров на ноябрь 2026 года и могут меняться. Перед покупкой железа и выбором модели сверяйтесь с актуальными данными.

Модели

• xtools-at/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic
• mradermacher/DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic-GGUF
• taobao-mnn/MNN-Pocket-0.3B
• taobao-mnn/MNN-Pocket-0.3B-GGUF
• taobao-mnn/MNN-Pocket-0.3B-MNN

Программы

• Ollama
• LM Studio
• llama.cpp
• vLLM
• MNN (Alibaba)
• colibri

OpenClaw

• OpenClaw docs: Ollama provider
• OpenClaw docs: Ollama recipes
• OpenClaw docs: llama.cpp plugin
• OpenClaw Ollama configuration: 5 settings the wizard skips
• Setting up a private local LLM with Ollama for OpenClaw

Железо

• Used RTX 3090 vs RTX 5060 Ti for LLMs — 2026 Prices
• Best GPU for a Local Coding LLM in 2026
• Used RTX 3090 vs New GPU for Local LLMs
• RTX 5060 Ti Review for Local AI
• Ryzen AI Max+ 395 for Local LLMs (dev.to)
• Ryzen AI Max+ 395: Run a 235B Model Locally
• The Ryzen AI Max+ 395 for Local LLMs: An Honest Reality Check
• GMKtec EVO-X2