Локальная нейросеть: свой ИИ без интернета и подписок

Модель на своём компьютере: без подписки, без лимитов, без отправки данных наружу. Разберём, что для этого нужно.

Зачем это нужно

Приватность. Рабочие документы, договоры, персональные данные не уходят на чужие серверы.

Отсутствие лимитов. Гоняй сколько хочешь, платишь только за электричество.

Работа без интернета. В самолёте, на даче, при отключении сети.

Никаких ограничений сервиса. Модель не откажется работать с твоей задачей.

Что нужно от компьютера

Главное - оперативная память, а если есть видеокарта, то её память.

8 ГБ - маленькие модели на 3-4 миллиарда параметров. Простые задачи, короткие тексты
16 ГБ - модели на 7-8 миллиардов. Уже нормальный рабочий уровень
32 ГБ - модели на 14-32 миллиарда. Близко к облачным по качеству
64 ГБ и выше - крупные модели

Видеокарта ускоряет в разы. На процессоре тоже работает, но медленнее: ответ печатается со скоростью медленной машинописи.

На Маках с процессорами M-серии работает особенно хорошо: память общая между процессором и графикой.

Установка: самый простой путь

Ollama (ollama.com):

Скачиваешь и ставишь как обычную программу
Открываешь терминал
Пишешь одну команду:

ollama run qwen2.5:7b

Модель скачается (несколько гигабайт) и запустится. Можно общаться.

Какие модели брать

Qwen 2.5 - хорошо знает русский, есть разные размеры. Хороший выбор по умолчанию.

Llama 3.2 - от Meta, универсальная.

Mistral - компактная и быстрая.

DeepSeek Coder - если нужен код.

Gemma - от Google, есть совсем лёгкие версии.

Смотри на суффикс: 7b означает 7 миллиардов параметров. Чем больше, тем умнее и тем больше памяти нужно.

Нормальный интерфейс вместо терминала

Open WebUI - выглядит как знакомый чат, работает в браузере.

Если стоит Docker, ставится одной командой:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

Дальше открываешь localhost:3000.

Альтернатива без Docker: LM Studio - обычная программа с окном, ставится в два клика, сама скачивает модели.

Что реально получится

Работает хорошо: тексты, переписка, разбор документов, перевод, объяснения, простой код.

Работает средне: сложный код, длинные документы, математика.

Не работает: свежие новости и события, поиск в интернете (без отдельной настройки), задачи, где нужны знания уровня топовых облачных моделей.

Честно: локальная модель на 7 миллиардов заметно слабее ChatGPT или Claude. Но для 70 процентов бытовых задач разницы не почувствуешь.

Загрузить свои документы

В Open WebUI и LM Studio можно подключить свои файлы, чтобы модель отвечала по ним. Заливаешь прайс, инструкции, переписку - получаешь помощника, который знает твоё дело и при этом никуда данные не отправляет.

Сколько это стоит

Ноль рублей после установки. Если покупать железо специально - видеокарта с 12-16 ГБ памяти окупается за год против подписок, если пользуешься активно.

Свой ИИ есть, а деньги где?

В четвёртом бесплатном уроке собираем помощника, который знает твоё дело. Таких продают за 30-50К. Показываю кому.

Забрать 4 урока бесплатно →