В этой статье мы будем делать - установим локальный сервер по работе с языковыми моделями совместимый с Open AI, на базе llama.cpp. Подключим ряд, открытых моделей LLM. Развернем Open WebUI. Настроим RAG, WEB-поиск. Настроим работу с локальной MediaWiki. Создадим базу знаний на основе своих документов. Сделаем чат-бота поддержки. Установим AI-агента Goose. Все это будет работать на Windows на CPU. Большая часть будет упакована в Docker.