0 added
0 removed
Original
2026-01-01
Modified
2026-02-21
1
<p><a>#статьи</a></p>
1
<p><a>#статьи</a></p>
2
<ul><li>11 дек 2025</li>
2
<ul><li>11 дек 2025</li>
3
<li>0</li>
3
<li>0</li>
4
</ul><p>От установки до создания собственного локального ChatGPT.</p>
4
</ul><p>От установки до создания собственного локального ChatGPT.</p>
5
<p>Иллюстрация: Оля Ежак для Skillbox Media</p>
5
<p>Иллюстрация: Оля Ежак для Skillbox Media</p>
6
<p>Считает игры произведениями искусства и старается донести эту идею до широких масс. В свободное время стримит, рисует и часами зависает в фоторежимах.</p>
6
<p>Считает игры произведениями искусства и старается донести эту идею до широких масс. В свободное время стримит, рисует и часами зависает в фоторежимах.</p>
7
<p>Ollama - это фреймворк для запуска больших языковых моделей на вашем компьютере или сервере. С его помощью можно работать с LLama, Gemma, DeepSeek и другими нейросетями. Главное отличие от платных ИИ-сервисов - данные хранятся локально, поэтому никто не узнает о ваших запросах.</p>
7
<p>Ollama - это фреймворк для запуска больших языковых моделей на вашем компьютере или сервере. С его помощью можно работать с LLama, Gemma, DeepSeek и другими нейросетями. Главное отличие от платных ИИ-сервисов - данные хранятся локально, поэтому никто не узнает о ваших запросах.</p>
8
<p>В этой статье вы узнаете, как установить Ollama на компьютер и где найти подходящие языковые модели. Также мы настроим удобный веб-интерфейс Open WebUI, который будет доступен через браузер с любого устройства.</p>
8
<p>В этой статье вы узнаете, как установить Ollama на компьютер и где найти подходящие языковые модели. Также мы настроим удобный веб-интерфейс Open WebUI, который будет доступен через браузер с любого устройства.</p>
9
<p><strong>Содержание</strong></p>
9
<p><strong>Содержание</strong></p>
10
<ul><li><a>Преимущества и ограничения локальных моделей</a></li>
10
<ul><li><a>Преимущества и ограничения локальных моделей</a></li>
11
<li><a>Как установить и настроить Ollama</a></li>
11
<li><a>Как установить и настроить Ollama</a></li>
12
<li><a>Как выбрать модель для работы</a></li>
12
<li><a>Как выбрать модель для работы</a></li>
13
<li><a>Как загрузить модели в Ollama</a></li>
13
<li><a>Как загрузить модели в Ollama</a></li>
14
<li><a>Как использовать API Ollama</a></li>
14
<li><a>Как использовать API Ollama</a></li>
15
<li><a>Как создать локальный аналог ChatGPT с Ollama и Open WebUI</a></li>
15
<li><a>Как создать локальный аналог ChatGPT с Ollama и Open WebUI</a></li>
16
</ul><p>На первый взгляд может показаться странным разворачивать локальный сервис, когда есть готовые решения: ChatGPT, Grok и другие. Однако у такого подхода есть свои плюсы:</p>
16
</ul><p>На первый взгляд может показаться странным разворачивать локальный сервис, когда есть готовые решения: ChatGPT, Grok и другие. Однако у такого подхода есть свои плюсы:</p>
17
<ul><li><strong>Все данные хранятся и обрабатываются локально.</strong>Разработчик, который работает над конфиденциальным кодом в компании, или учёный, анализирующий чувствительные результаты исследования, с Ollama могут не беспокоиться, что информация попадёт к третьим лицам или будет использована для обучения коммерческих моделей. Данные всегда остаются на устройстве и не передаются через интернет.</li>
17
<ul><li><strong>Все данные хранятся и обрабатываются локально.</strong>Разработчик, который работает над конфиденциальным кодом в компании, или учёный, анализирующий чувствительные результаты исследования, с Ollama могут не беспокоиться, что информация попадёт к третьим лицам или будет использована для обучения коммерческих моделей. Данные всегда остаются на устройстве и не передаются через интернет.</li>
18
<li><strong>Модели можно кастомизировать - менять их характеристики и обучать.</strong>Например, можно настроить температуру ответов, то есть степень разнообразия генерируемого текста, и контекстное окно - объём данных, которые модель "запоминает". Кроме того, вы можете загружать собственные документы через<a>RAG</a> - модель будет использовать их как дополнительный контекст для ответов.</li>
18
<li><strong>Модели можно кастомизировать - менять их характеристики и обучать.</strong>Например, можно настроить температуру ответов, то есть степень разнообразия генерируемого текста, и контекстное окно - объём данных, которые модель "запоминает". Кроме того, вы можете загружать собственные документы через<a>RAG</a> - модель будет использовать их как дополнительный контекст для ответов.</li>
19
<li><strong>Не нужно покупать подписки на сервисы.</strong>Ollama использует бесплатные модели с открытым исходным кодом без ограничений на количество запросов. Поэтому вам не придётся платить за токены, ежемесячную подписку или другие услуги - всё полностью бесплатно.</li>
19
<li><strong>Не нужно покупать подписки на сервисы.</strong>Ollama использует бесплатные модели с открытым исходным кодом без ограничений на количество запросов. Поэтому вам не придётся платить за токены, ежемесячную подписку или другие услуги - всё полностью бесплатно.</li>
20
</ul><p>Кроме того, у Ollama есть большое и активное<a>сообщество на Reddit</a>. Пользователи обсуждают фреймворк, модели нейросетей и интеграцию с различным софтом, а также делятся опытом. Здесь можно задать вопрос и получить ответ или найти решение в уже существующих обсуждениях.</p>
20
</ul><p>Кроме того, у Ollama есть большое и активное<a>сообщество на Reddit</a>. Пользователи обсуждают фреймворк, модели нейросетей и интеграцию с различным софтом, а также делятся опытом. Здесь можно задать вопрос и получить ответ или найти решение в уже существующих обсуждениях.</p>
21
<p>Конечно, у Ollama есть и ограничения. Скорость работы зависит от мощности компьютера: для комфортной работы с моделями среднего размера нужно минимум 16 ГБ оперативной памяти и видеокарта с 8 ГБ VRAM. Крупные модели требуют ещё больше ресурсов - иначе генерация будет заметно тормозить. Например, для<a>популярной модели llama2:70b</a>с 70 миллиардами параметров рекомендуется компьютер с 64 ГБ оперативной памяти.</p>
21
<p>Конечно, у Ollama есть и ограничения. Скорость работы зависит от мощности компьютера: для комфортной работы с моделями среднего размера нужно минимум 16 ГБ оперативной памяти и видеокарта с 8 ГБ VRAM. Крупные модели требуют ещё больше ресурсов - иначе генерация будет заметно тормозить. Например, для<a>популярной модели llama2:70b</a>с 70 миллиардами параметров рекомендуется компьютер с 64 ГБ оперативной памяти.</p>
22
<p>Помимо Ollama существуют и другие приложения с похожими возможностями:<a>LM Studio</a>,<a>GPT4All</a>и <a>Jan</a>. У каждого из них есть свои особенности установки, настройки и поддерживаемые модели - их мы разберём в следующих статьях.</p>
22
<p>Помимо Ollama существуют и другие приложения с похожими возможностями:<a>LM Studio</a>,<a>GPT4All</a>и <a>Jan</a>. У каждого из них есть свои особенности установки, настройки и поддерживаемые модели - их мы разберём в следующих статьях.</p>
23
<p>Ollama поддерживает Windows, macOS и Linux. Системные требования зависят исключительно от языковых моделей, которые вы планируете использовать. Подробнее о требованиях сервиса к вычислительной мощности и поддерживаемых видеокартах можно<a>узнать на официальном сайте</a>.</p>
23
<p>Ollama поддерживает Windows, macOS и Linux. Системные требования зависят исключительно от языковых моделей, которые вы планируете использовать. Подробнее о требованиях сервиса к вычислительной мощности и поддерживаемых видеокартах можно<a>узнать на официальном сайте</a>.</p>
24
<p>На сайте Ollama можно<a>зарегистрироваться</a>, если вы планируете публиковать модели в публичную библиотеку или использовать веб-интерфейс для управления ими. Для локальной работы регистрацию можно пропустить.</p>
24
<p>На сайте Ollama можно<a>зарегистрироваться</a>, если вы планируете публиковать модели в публичную библиотеку или использовать веб-интерфейс для управления ими. Для локальной работы регистрацию можно пропустить.</p>
25
<p>Фреймворк поддерживает Windows 10 и новее. Для установки<a>скачайте установочный клиент с сайта</a>(1,16 ГБ). Только обратите внимание, что по умолчанию установка проходит на системный диск. Чтобы задать другой путь, откройте окно Выполнить (<strong>Win + R</strong>) и введите команду в таком формате:</p>
25
<p>Фреймворк поддерживает Windows 10 и новее. Для установки<a>скачайте установочный клиент с сайта</a>(1,16 ГБ). Только обратите внимание, что по умолчанию установка проходит на системный диск. Чтобы задать другой путь, откройте окно Выполнить (<strong>Win + R</strong>) и введите команду в таком формате:</p>
26
(путь установочного клиента)\OllamaSetup.exe /DIR=(название жёсткого диска):\путь установки<p>Модели по умолчанию также загружаются на системный диск. Папку для их загрузки вы можете настроить в пункте Model Location во вкладке Settings в клиенте - она открывается при нажатии на значок в верхнем левом углу.</p>
26
(путь установочного клиента)\OllamaSetup.exe /DIR=(название жёсткого диска):\путь установки<p>Модели по умолчанию также загружаются на системный диск. Папку для их загрузки вы можете настроить в пункте Model Location во вкладке Settings в клиенте - она открывается при нажатии на значок в верхнем левом углу.</p>
27
Меню настроек Ollama. Красным выделен пункт для выбора места установки моделей<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Клиент поддерживает macOS 14 Sonoma и новее. Для установки<a>скачайте файл образа</a>в формате DMG. Откройте его в проводнике и перетащите приложение в папку Applications. После Ollama можно запустить через Spotlight.</p>
27
Меню настроек Ollama. Красным выделен пункт для выбора места установки моделей<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Клиент поддерживает macOS 14 Sonoma и новее. Для установки<a>скачайте файл образа</a>в формате DMG. Откройте его в проводнике и перетащите приложение в папку Applications. После Ollama можно запустить через Spotlight.</p>
28
<p>При первом запуске<a>приложение проверит</a>, что в переменной PATH есть ссылка на интерфейс командной строки (CLI), и если нет - запросит разрешение на её создание. После этого команды, связанные с фреймворком, можно будет выполнять из терминала. Это пригодится, если вы разработчик или планируете загружать дополнительные модели, о чём мы подробно расскажем дальше.</p>
28
<p>При первом запуске<a>приложение проверит</a>, что в переменной PATH есть ссылка на интерфейс командной строки (CLI), и если нет - запросит разрешение на её создание. После этого команды, связанные с фреймворком, можно будет выполнять из терминала. Это пригодится, если вы разработчик или планируете загружать дополнительные модели, о чём мы подробно расскажем дальше.</p>
29
<p>Чтобы запустить установку, скопируйте команду и введите в терминале:</p>
29
<p>Чтобы запустить установку, скопируйте команду и введите в терминале:</p>
30
curl -fsSL https://ollama.com/install.sh | sh<p>Дальнейшее взаимодействие с фреймворком происходит через командную строку. Например, для запуска используется простая команда:</p>
30
curl -fsSL https://ollama.com/install.sh | sh<p>Дальнейшее взаимодействие с фреймворком происходит через командную строку. Например, для запуска используется простая команда:</p>
31
ollama serve<p>Есть и другой вариант запуска, при котором можно проверить, что фреймворк работает. Потребуется две последовательных команды:</p>
31
ollama serve<p>Есть и другой вариант запуска, при котором можно проверить, что фреймворк работает. Потребуется две последовательных команды:</p>
32
sudo systemctl start ollama sudo systemctl status ollama<p>После терминал выведет информацию о статусе. Если фреймворк запустился, появится статус Enabled. А также информация о дате и времени запуска.</p>
32
sudo systemctl start ollama sudo systemctl status ollama<p>После терминал выведет информацию о статусе. Если фреймворк запустился, появится статус Enabled. А также информация о дате и времени запуска.</p>
33
Запускаем Ollama в Linux и проверяем работу фреймворка<em>Скриншот: Bash / Skillbox Media</em><p>Выбор в пользу той или иной модели во многом зависит от ваших задач и конфигурации компьютера. У каждой LLM есть своя специфика: одни отлично работают с текстом, другие пишут код, а третьи и вовсе способны распознавать текст из отсканированных документов. Поэтому универсальной рекомендации нет. Все доступные модели<a>указаны в каталоге</a>и разбиты на пять категорий:</p>
33
Запускаем Ollama в Linux и проверяем работу фреймворка<em>Скриншот: Bash / Skillbox Media</em><p>Выбор в пользу той или иной модели во многом зависит от ваших задач и конфигурации компьютера. У каждой LLM есть своя специфика: одни отлично работают с текстом, другие пишут код, а третьи и вовсе способны распознавать текст из отсканированных документов. Поэтому универсальной рекомендации нет. Все доступные модели<a>указаны в каталоге</a>и разбиты на пять категорий:</p>
34
<ul><li><strong>Cloud</strong> - для облачного развёртывания на серверах.</li>
34
<ul><li><strong>Cloud</strong> - для облачного развёртывания на серверах.</li>
35
<li><strong>Embedding</strong> - для генерации эмбеддингов. Эти модели преобразуют текст или данные в числовые векторы, которые можно использовать для поиска, сравнения и кластеризации информации.</li>
35
<li><strong>Embedding</strong> - для генерации эмбеддингов. Эти модели преобразуют текст или данные в числовые векторы, которые можно использовать для поиска, сравнения и кластеризации информации.</li>
36
<li><strong>Vision</strong> - для распознавания и описания изображений.</li>
36
<li><strong>Vision</strong> - для распознавания и описания изображений.</li>
37
<li><strong>Tools</strong> - для выполнения различных задач: написания кода, AI-ассистирования, настройки API-интеграций с другими сервисами.</li>
37
<li><strong>Tools</strong> - для выполнения различных задач: написания кода, AI-ассистирования, настройки API-интеграций с другими сервисами.</li>
38
<li><strong>Thinking</strong> - для логических ответов с рассуждениями и аргументацией.</li>
38
<li><strong>Thinking</strong> - для логических ответов с рассуждениями и аргументацией.</li>
39
</ul><p>В каталоге для каждой модели указаны её название, краткое описание, количество параметров, число скачиваний и дата последнего обновления.</p>
39
</ul><p>В каталоге для каждой модели указаны её название, краткое описание, количество параметров, число скачиваний и дата последнего обновления.</p>
40
<p>Ключевой параметр - количество параметров. Оно обозначается как 3b, 7b, 30b и так далее, где b - это миллиард. Чем оно больше - тем модель "умнее" и точнее, но при этом требует и больше ресурсов для работы. К примеру, модель 7b (7 миллиардов параметров) требует 8-12 ГБ оперативной памяти, тогда как 70b - 48-64 ГБ видеопамяти. Поэтому при выборе моделей учитывайте возможности своего железа, иначе решение задачи может занять много часов.</p>
40
<p>Ключевой параметр - количество параметров. Оно обозначается как 3b, 7b, 30b и так далее, где b - это миллиард. Чем оно больше - тем модель "умнее" и точнее, но при этом требует и больше ресурсов для работы. К примеру, модель 7b (7 миллиардов параметров) требует 8-12 ГБ оперативной памяти, тогда как 70b - 48-64 ГБ видеопамяти. Поэтому при выборе моделей учитывайте возможности своего железа, иначе решение задачи может занять много часов.</p>
41
Для каждой модели указаны краткое описание и набор тегов для удобного выбора<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Ollama поддерживает десятки моделей, включая<a>Llama</a>,<a>DeepSeek</a>,<a>Qwen</a>,<a>Gemma</a>,<a>Phi</a>и другие.<a>Полный список</a>доступен на сайте фреймворка. Для загрузки моделей есть три способа: через графический интерфейс, через командную строку или с помощью Hugging Face. Разберём каждый подробнее.</p>
41
Для каждой модели указаны краткое описание и набор тегов для удобного выбора<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Ollama поддерживает десятки моделей, включая<a>Llama</a>,<a>DeepSeek</a>,<a>Qwen</a>,<a>Gemma</a>,<a>Phi</a>и другие.<a>Полный список</a>доступен на сайте фреймворка. Для загрузки моделей есть три способа: через графический интерфейс, через командную строку или с помощью Hugging Face. Разберём каждый подробнее.</p>
42
<p>Чтобы установить базовую модель напрямую из Ollama, выберите подходящую во вкладке в правом верхнем углу окна чата и отправьте любое сообщение - загрузка начнётся автоматически. Вам будут доступны несколько моделей семейств Gemma, DeepSeek, Qwen, GPT, Minimax и GLM. Облачные версии, требующие доступа к интернету для работы, отмечены тегом cloud.</p>
42
<p>Чтобы установить базовую модель напрямую из Ollama, выберите подходящую во вкладке в правом верхнем углу окна чата и отправьте любое сообщение - загрузка начнётся автоматически. Вам будут доступны несколько моделей семейств Gemma, DeepSeek, Qwen, GPT, Minimax и GLM. Облачные версии, требующие доступа к интернету для работы, отмечены тегом cloud.</p>
43
Загрузка выбранной модели через графический интерфейс<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Графический интерфейс содержит не все поддерживаемые модели. Остальные нужно загружать через CLI - это также основной способ работы в Linux.</p>
43
Загрузка выбранной модели через графический интерфейс<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Графический интерфейс содержит не все поддерживаемые модели. Остальные нужно загружать через CLI - это также основной способ работы в Linux.</p>
44
<p>Прежде чем загрузить модель, её надо выбрать<a>в каталоге Ollama</a>. Для ускорения поиска можно воспользоваться сортировкой по пяти категориям, о которых мы говорили выше: Cloud, Embedding, Vision, Tools и Thinking. Обратите внимание, что одна модель может сочетать в себе несколько категорий.</p>
44
<p>Прежде чем загрузить модель, её надо выбрать<a>в каталоге Ollama</a>. Для ускорения поиска можно воспользоваться сортировкой по пяти категориям, о которых мы говорили выше: Cloud, Embedding, Vision, Tools и Thinking. Обратите внимание, что одна модель может сочетать в себе несколько категорий.</p>
45
<p>После выбора модели вы увидите страницу с её описанием, доступными версиями и системными требованиями. Обязательно учитывайте количество параметров модели и объём оперативной памяти или видеопамяти на компьютере.</p>
45
<p>После выбора модели вы увидите страницу с её описанием, доступными версиями и системными требованиями. Обязательно учитывайте количество параметров модели и объём оперативной памяти или видеопамяти на компьютере.</p>
46
<p>Скопируйте команду из раздела CLI и вставьте её в терминал - например, в Windows PowerShell или Terminal (в macOS) - и нажмите<strong>Enter</strong>. После этого загрузка модели начнётся автоматически, а вам нужно немного подождать.</p>
46
<p>Скопируйте команду из раздела CLI и вставьте её в терминал - например, в Windows PowerShell или Terminal (в macOS) - и нажмите<strong>Enter</strong>. После этого загрузка модели начнётся автоматически, а вам нужно немного подождать.</p>
47
Установка модели через командную строку в PowerShell<em>Скриншот: Windows PowerShell / Skillbox Media</em><p>После установки модель появится в графическом интерфейсе в списке доступных нейросетей, и её можно будет использовать для работы.</p>
47
Установка модели через командную строку в PowerShell<em>Скриншот: Windows PowerShell / Skillbox Media</em><p>После установки модель появится в графическом интерфейсе в списке доступных нейросетей, и её можно будет использовать для работы.</p>
48
Мы установили через PowerShell модель llama2-uncensored, и теперь она доступна для выбора<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Для установки в Linux используйте команду pull, например:</p>
48
Мы установили через PowerShell модель llama2-uncensored, и теперь она доступна для выбора<em>Скриншот:<a>Ollama</a>/ Skillbox Media</em><p>Для установки в Linux используйте команду pull, например:</p>
49
ollama pull codellama:7b<p>После этого начнётся установка модели. Если всё прошло успешно, то вы сможете запустить загруженную модель командой:</p>
49
ollama pull codellama:7b<p>После этого начнётся установка модели. Если всё прошло успешно, то вы сможете запустить загруженную модель командой:</p>
50
ollama run codellama:7b<p>После запуска следующая строка начнётся с символов >>> - это приглашение для ввода команд. В это поле можно вводить промпты для работы с моделью.</p>
50
ollama run codellama:7b<p>После запуска следующая строка начнётся с символов >>> - это приглашение для ввода команд. В это поле можно вводить промпты для работы с моделью.</p>
51
<p>У нас небольшая модель, которая была обучена на английском языке. Поэтому напишем запрос на нём же, чтобы быстрее получить ответ.</p>
51
<p>У нас небольшая модель, которая была обучена на английском языке. Поэтому напишем запрос на нём же, чтобы быстрее получить ответ.</p>
52
Красным выделена команда запуска модели и промпт. Мы попросили написать скрипт на Python для Blender - он создаст в сцене десять трёхмерных кубов с разными характеристиками<em>Скриншот: Bash / Skillbox Media</em><p>Для начала зайдите на <a>Hugging Face</a>под своей учётной записью. Hugging Face - это библиотека с тысячами языковых моделей с открытым кодом. Для каждой из них есть описание, инструкция по запуску и настройке и так далее.</p>
52
Красным выделена команда запуска модели и промпт. Мы попросили написать скрипт на Python для Blender - он создаст в сцене десять трёхмерных кубов с разными характеристиками<em>Скриншот: Bash / Skillbox Media</em><p>Для начала зайдите на <a>Hugging Face</a>под своей учётной записью. Hugging Face - это библиотека с тысячами языковых моделей с открытым кодом. Для каждой из них есть описание, инструкция по запуску и настройке и так далее.</p>
53
<p>Чтобы использовать модели с Hugging Face, вам нужно зайти в настройки<a>Local Apps and Hardware</a>и добавить Ollama в раздел Local Apps. После этого перейдите на страницу нужной модели - она должна быть в формате GGUF. Далее нажмите на вкладку Use this Model и выберите Ollama в списке.</p>
53
<p>Чтобы использовать модели с Hugging Face, вам нужно зайти в настройки<a>Local Apps and Hardware</a>и добавить Ollama в раздел Local Apps. После этого перейдите на страницу нужной модели - она должна быть в формате GGUF. Далее нажмите на вкладку Use this Model и выберите Ollama в списке.</p>
54
<em>Скриншот:<a>Hugging Face</a>/ Skillbox Media</em><p>В открывшемся окне скопируйте ссылку и вставьте её в терминал - модель начнёт загружаться автоматически. После завершения загрузки выберите её из списка в графическом интерфейсе Ollama или запустите через командную строку, как мы писали выше. Способ работает во всех операционных системах.</p>
54
<em>Скриншот:<a>Hugging Face</a>/ Skillbox Media</em><p>В открывшемся окне скопируйте ссылку и вставьте её в терминал - модель начнёт загружаться автоматически. После завершения загрузки выберите её из списка в графическом интерфейсе Ollama или запустите через командную строку, как мы писали выше. Способ работает во всех операционных системах.</p>
55
<p>Ollama - это полноценный локальный сервер, который работает через<a>HTTP-протокол</a>по адресу<a>http://localhost:11434</a>. Когда фреймворк запущен, при переходе на этот адрес в браузере появится надпись "Ollama is running". Зная синтаксис терминала, вы можете проверить интеграцию API на практике.</p>
55
<p>Ollama - это полноценный локальный сервер, который работает через<a>HTTP-протокол</a>по адресу<a>http://localhost:11434</a>. Когда фреймворк запущен, при переходе на этот адрес в браузере появится надпись "Ollama is running". Зная синтаксис терминала, вы можете проверить интеграцию API на практике.</p>
56
<p>Например, напишем запрос с промптом для написания шутки в PowerShell:</p>
56
<p>Например, напишем запрос с промптом для написания шутки в PowerShell:</p>
57
Invoke-RestMethod -Uri http://localhost:11434/api/generate -Method Post -Body '{ "model": "qwen3-vl:4b", "prompt": "Tell me a joke", "stream": false }' -ContentType "application/json"<p>Разберём его по пунктам:</p>
57
Invoke-RestMethod -Uri http://localhost:11434/api/generate -Method Post -Body '{ "model": "qwen3-vl:4b", "prompt": "Tell me a joke", "stream": false }' -ContentType "application/json"<p>Разберём его по пунктам:</p>
58
<ul><li>Invoke-RestMethod - команда PowerShell, которая отправляет<a>REST-запрос</a>.</li>
58
<ul><li>Invoke-RestMethod - команда PowerShell, которая отправляет<a>REST-запрос</a>.</li>
59
<li>-Uri - указывает на локальный хост Ollama на стандартном порте 11434.</li>
59
<li>-Uri - указывает на локальный хост Ollama на стандартном порте 11434.</li>
60
<li>-Method Post - указывает, что данные отправляются на сервер методом<a>POST</a>.</li>
60
<li>-Method Post - указывает, что данные отправляются на сервер методом<a>POST</a>.</li>
61
<li>-Body - блок данных, передаваемых в запросе. Включает тип модели ("qwen3-vl: 4b"), сам промпт ("Tell me a joke") и дополнительный параметр "stream": false. Без этого параметра нейросеть будет генерировать потоковый ответ пословно в режиме реального времени.</li>
61
<li>-Body - блок данных, передаваемых в запросе. Включает тип модели ("qwen3-vl: 4b"), сам промпт ("Tell me a joke") и дополнительный параметр "stream": false. Без этого параметра нейросеть будет генерировать потоковый ответ пословно в режиме реального времени.</li>
62
<li>}' -ContentType "application/json" - закрывает запрос и указывает PowerShell, в каком текстовом формате поступают данные от нейросети. В нашем случае -<a>JSON</a>.</li>
62
<li>}' -ContentType "application/json" - закрывает запрос и указывает PowerShell, в каком текстовом формате поступают данные от нейросети. В нашем случае -<a>JSON</a>.</li>
63
</ul><p>Посмотрим на результат.</p>
63
</ul><p>Посмотрим на результат.</p>
64
Нейросеть выдала каламбур на основе игры слов. Фраза "break the ice" (растопить лёд, наладить общение) превратилась в "break the egg" (разбить яйцо). Шутка в том, что яйца не могут рассказывать анекдоты - они просто разобьются в прямом и переносном смысле. Интересно, что в JSON-ответе есть поле thinking, где наша модель буквально "размышляет вслух" - старается выбрать подходящий тон и дать ответ без чёрного юмора<em>Скриншот: Windows PowerShell / Skillbox Media</em><p>Можно пойти дальше и интегрировать API Ollama в своё собственное приложение или создать пользовательские скрипты для программ. Важно, что при выборе модели стоит выбирать подходящую: например, для генерации кода - Codellama или аналогичную.</p>
64
Нейросеть выдала каламбур на основе игры слов. Фраза "break the ice" (растопить лёд, наладить общение) превратилась в "break the egg" (разбить яйцо). Шутка в том, что яйца не могут рассказывать анекдоты - они просто разобьются в прямом и переносном смысле. Интересно, что в JSON-ответе есть поле thinking, где наша модель буквально "размышляет вслух" - старается выбрать подходящий тон и дать ответ без чёрного юмора<em>Скриншот: Windows PowerShell / Skillbox Media</em><p>Можно пойти дальше и интегрировать API Ollama в своё собственное приложение или создать пользовательские скрипты для программ. Важно, что при выборе модели стоит выбирать подходящую: например, для генерации кода - Codellama или аналогичную.</p>
65
<p>Чтобы нейросеть не добавляла лишнего в генерируемый код, можно подстраховаться и явно прописать в промпт дополнительные условия, например "без пояснений, только рабочий код".</p>
65
<p>Чтобы нейросеть не добавляла лишнего в генерируемый код, можно подстраховаться и явно прописать в промпт дополнительные условия, например "без пояснений, только рабочий код".</p>
66
<p>Попробуем интегрировать Ollama API в программу для 3D-моделирования Blender. С помощью модели gemma3:4b напишем скрипт на Python, который обращается к API и генерирует команду для создания пяти кубов в текущей сцене. Запустим и посмотрим на результат.</p>
66
<p>Попробуем интегрировать Ollama API в программу для 3D-моделирования Blender. С помощью модели gemma3:4b напишем скрипт на Python, который обращается к API и генерирует команду для создания пяти кубов в текущей сцене. Запустим и посмотрим на результат.</p>
67
Всё сработало - мы получили пять кубов в рабочей области, а Blender не выдал ошибок<em>Скриншот: Blender / Skillbox Media</em><p><a>В тематических ветках</a>по программированию на Reddit и других сообществах для разработчиков нередко встречаются упоминания об использовании Ollama в сочетании c Open WebUI.</p>
67
Всё сработало - мы получили пять кубов в рабочей области, а Blender не выдал ошибок<em>Скриншот: Blender / Skillbox Media</em><p><a>В тематических ветках</a>по программированию на Reddit и других сообществах для разработчиков нередко встречаются упоминания об использовании Ollama в сочетании c Open WebUI.</p>
68
<p><a>Open WebUI</a> - это локальная ИИ-платформа в формате веб-интерфейса с открытым исходным кодом, которая может работать в связке со многими фреймворками для запуска языковых моделей, в том числе и с Ollama. Такой подход имеет<a>преимущества</a>: работать можно через браузер на любом гаджете, даже на смартфоне, а в истории диалогов становится доступна фильтрация и поиск ответов. Всё как в привычных чат-ботах.</p>
68
<p><a>Open WebUI</a> - это локальная ИИ-платформа в формате веб-интерфейса с открытым исходным кодом, которая может работать в связке со многими фреймворками для запуска языковых моделей, в том числе и с Ollama. Такой подход имеет<a>преимущества</a>: работать можно через браузер на любом гаджете, даже на смартфоне, а в истории диалогов становится доступна фильтрация и поиск ответов. Всё как в привычных чат-ботах.</p>
69
<p>Например, вот что пишет пользователь Porespellar про Open WebUI в сабе<a>LocalLLaMA</a>:</p>
69
<p>Например, вот что пишет пользователь Porespellar про Open WebUI в сабе<a>LocalLLaMA</a>:</p>
70
<p>"Прежде всего, спасибо создателям Open WebUI. Это потрясающий и надёжный клиент. Самый профессиональный чат-клиент с открытым исходным кодом + RAG, который я когда-либо использовал. Мне очень нравится реализация Docker, нравятся автоматические обновления Watchtower. Весь процесс развёртывания просто великолепен!"</p>
70
<p>"Прежде всего, спасибо создателям Open WebUI. Это потрясающий и надёжный клиент. Самый профессиональный чат-клиент с открытым исходным кодом + RAG, который я когда-либо использовал. Мне очень нравится реализация Docker, нравятся автоматические обновления Watchtower. Весь процесс развёртывания просто великолепен!"</p>
71
<p>Но, пожалуй, одна из самых полезных функций -<a>поддержка RAG</a>(Retrieval-Augmented Generation), генерации ответа, с учётом информации из внешних источников. Иными словами, если Ollama просто генерирует ответы, исходя из контекста диалога, в связке с Open WebUI можно подгружать собственные документы - система индексирует их и добавляет их содержимое в контекст моделей.</p>
71
<p>Но, пожалуй, одна из самых полезных функций -<a>поддержка RAG</a>(Retrieval-Augmented Generation), генерации ответа, с учётом информации из внешних источников. Иными словами, если Ollama просто генерирует ответы, исходя из контекста диалога, в связке с Open WebUI можно подгружать собственные документы - система индексирует их и добавляет их содержимое в контекст моделей.</p>
72
<p>В результате при ответах ИИ подбирает релевантные фрагменты из загруженных файлов пользователя и формирует ответ, опираясь на эти данные. Такой подход удобно использовать для формирования отчётов, поиска конкретной информации в большом количестве текста, работы с репозиториями и так далее.</p>
72
<p>В результате при ответах ИИ подбирает релевантные фрагменты из загруженных файлов пользователя и формирует ответ, опираясь на эти данные. Такой подход удобно использовать для формирования отчётов, поиска конкретной информации в большом количестве текста, работы с репозиториями и так далее.</p>
73
<p>Также в Open WebUI существует поддержка многопользовательского режима в рамках локальной сети. Он доступен после регистрации, которую клиент предложит по умолчанию при первом запуске. При этом интернет-соединение не требуется: все данные остаются на компьютере или сервере. Такой подход позволяет контролировать настройки доступа среди участников проекта.</p>
73
<p>Также в Open WebUI существует поддержка многопользовательского режима в рамках локальной сети. Он доступен после регистрации, которую клиент предложит по умолчанию при первом запуске. При этом интернет-соединение не требуется: все данные остаются на компьютере или сервере. Такой подход позволяет контролировать настройки доступа среди участников проекта.</p>
74
<p>Первый зарегистрированный пользователь<a>получает права администратора</a>и может дать доступ другим участникам локальной сети, которые зарегистрируются позже. Если работа над корпоративными проектами не входит в ваши планы - создавать учётную запись в Open WebUI необязательно и этот шаг можно пропустить.</p>
74
<p>Первый зарегистрированный пользователь<a>получает права администратора</a>и может дать доступ другим участникам локальной сети, которые зарегистрируются позже. Если работа над корпоративными проектами не входит в ваши планы - создавать учётную запись в Open WebUI необязательно и этот шаг можно пропустить.</p>
75
<p>Существует несколько способов установки Open WebUI - через Python, Docker или Kubernetes. Рассмотрим вариант загрузки через Docker.</p>
75
<p>Существует несколько способов установки Open WebUI - через Python, Docker или Kubernetes. Рассмотрим вариант загрузки через Docker.</p>
76
<p>Скачайте<a>установочный клиент Docker Desktop</a>с сайта и запустите установку. После её завершения потребуется перезагрузка компьютера.</p>
76
<p>Скачайте<a>установочный клиент Docker Desktop</a>с сайта и запустите установку. После её завершения потребуется перезагрузка компьютера.</p>
77
<p>Для работы Docker Desktop на Windows требуется подсистема для Linux WSL2. Если она не установлена, введите в PowerShell команду:</p>
77
<p>Для работы Docker Desktop на Windows требуется подсистема для Linux WSL2. Если она не установлена, введите в PowerShell команду:</p>
78
wsl --install<p>После перезагрузки запустите Docker, откройте терминал в нижнем правом углу и скачайте образ Open WebUI:</p>
78
wsl --install<p>После перезагрузки запустите Docker, откройте терминал в нижнем правом углу и скачайте образ Open WebUI:</p>
79
docker pull ghcr.io/open-webui/open-webui:main<p>После этого запустите Open WebUI:</p>
79
docker pull ghcr.io/open-webui/open-webui:main<p>После этого запустите Open WebUI:</p>
80
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main<p>Если хотите, чтобы сервис запускался без регистрации, потребуется другая команда:</p>
80
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main<p>Если хотите, чтобы сервис запускался без регистрации, потребуется другая команда:</p>
81
docker run -d -p 3000:8080 -e WEBUI_AUTH=False -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main<p>Подробнее обо всех нюансах установки и дополнительных командах можно узнать<a>в официальной документации</a>.</p>
81
docker run -d -p 3000:8080 -e WEBUI_AUTH=False -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main<p>Подробнее обо всех нюансах установки и дополнительных командах можно узнать<a>в официальной документации</a>.</p>
82
Статус в виде зелёного круга в Containers показывает, что Open WebUI запущен<em>Скриншот: Docker / Skillbox Media</em><p>Теперь Open WebUI можно открыть в браузере по адресу<a>http://localhost:3000</a>. В более ранних версиях требовалось подключать вручную Ollama, но в актуальной сборке сервис автоматически распознаёт наличие фреймворка на компьютере и сразу начинает работать в связке. В результате все модели, установленные в Ollama доступны и в Open WebUI.</p>
82
Статус в виде зелёного круга в Containers показывает, что Open WebUI запущен<em>Скриншот: Docker / Skillbox Media</em><p>Теперь Open WebUI можно открыть в браузере по адресу<a>http://localhost:3000</a>. В более ранних версиях требовалось подключать вручную Ollama, но в актуальной сборке сервис автоматически распознаёт наличие фреймворка на компьютере и сразу начинает работать в связке. В результате все модели, установленные в Ollama доступны и в Open WebUI.</p>
83
На скриншоте видно, что Open Web UI "подхватил" все модели, которые мы до этого устанавливали в Ollama<em>Скриншот:<a>Open WebUI</a>/ Skillbox Media</em><p>Таким образом, настроив Ollama и Open WebUI, вы получите мощный ИИ-инструмент, который работает локально на компьютере прямо из браузера, как любой популярный чат-бот, например ChatGPT. Дальше можно экспериментировать с разными моделями, загружать документы, настраивать параметры генерации и постепенно кастомизировать систему под собственные задачи. Здесь фантазия не ограничена.</p>
83
На скриншоте видно, что Open Web UI "подхватил" все модели, которые мы до этого устанавливали в Ollama<em>Скриншот:<a>Open WebUI</a>/ Skillbox Media</em><p>Таким образом, настроив Ollama и Open WebUI, вы получите мощный ИИ-инструмент, который работает локально на компьютере прямо из браузера, как любой популярный чат-бот, например ChatGPT. Дальше можно экспериментировать с разными моделями, загружать документы, настраивать параметры генерации и постепенно кастомизировать систему под собственные задачи. Здесь фантазия не ограничена.</p>
84
<a><p>Нейросети</p>
84
<a><p>Нейросети</p>
85
<ul><li>38+ топ-нейросетей в одном курсе: ChatGPT, Midjourney, StableDiffusion, DALL-E 3, Gen-3, Kling, Luma, Suno и другие</li>
85
<ul><li>38+ топ-нейросетей в одном курсе: ChatGPT, Midjourney, StableDiffusion, DALL-E 3, Gen-3, Kling, Luma, Suno и другие</li>
86
<li>190+ готовых промптов, чтобы быстрее решать задачи</li>
86
<li>190+ готовых промптов, чтобы быстрее решать задачи</li>
87
<li>Практика на реальных кейсах и 10 проектов в портфолио</li>
87
<li>Практика на реальных кейсах и 10 проектов в портфолио</li>
88
<li>Бессрочный доступ с ежемесячными обновлениями</li>
88
<li>Бессрочный доступ с ежемесячными обновлениями</li>
89
</ul><p>Узнать о курсе</p>
89
</ul><p>Узнать о курсе</p>
90
</a><a>Практический курс: "Нейросети" Узнать о курсе</a>
90
</a><a>Практический курс: "Нейросети" Узнать о курсе</a>