vLLM и Ollama — тексты не покидают периметр

Зачем это нужно

Описание дефекта на клиентском портале — это чужие данные: имена, номера договоров, суммы, иногда переписка. Во многих компаниях отправлять такие тексты во внешний облачный сервис нельзя, и на этом разговор об ИИ-функциях обычно заканчивается.

В QA Деск он на этом не заканчивается, потому что провайдер модели — ваш выбор. Поставьте модель в своём контуре, и ИИ-помощник будет работать, не выпуская текст наружу.

Что подходит

Любой сервер с OpenAI-совместимым /chat/completions:

• vLLM — python -m vllm.entrypoints.openai.api_server --model <модель>, обычно порт 8000;
• Ollama — совместимый эндпоинт на http://localhost:11434/v1;
• LM Studio — локальный сервер с тем же форматом.

Пресет «Свой» подставляет http://localhost:11434/v1 и модель qwen2.5:7b — это отправная точка, а не требование.

Подключение

Настройки → ИИ-помощник → провайдер «Свой»:

При сохранении выполняется живой запрос — подключение не сохранится, пока сервер не ответил в нужном формате. Типичные отказы разобраны отдельно: сервер недоступен, нет такой модели, ответ не в формате.

Важно про адрес. localhost в поле адреса означает машину, на которой работает сервер QA Деск, а не ваш ноутбук. Для облачного пространства локальная модель на рабочей машине недоступна по определению: этот сценарий имеет смысл в Коробке — когда деск и модель стоят в одном контуре — либо когда модель опубликована во внутренней сети по адресу, до которого сервис дотягивается.

Что это даёт

• варианты названия дефекта по описанию и черновик тест-кейса из требования — те же функции, что на облачной модели;
• текст не покидает периметр: запрос уходит на ваш сервер;
• нет счёта за токены — только ваше железо.

Ожидания стоит держать трезвыми: модель на 7B справляется с формулировкой названия дефекта заметно лучше, чем с разбором длинного требования. Проверьте на своих текстах до того, как обещать функцию команде.

Приватность целиком

Помощник по умолчанию выключен. Пока провайдер не подключён, ни одна строка описания или требования никуда не уходит — ни к нам, ни к кому-либо ещё. С локальной моделью в контуре остаётся и то, что вы отправили в функцию.

Отдельно: MCP-доступ для ИИ-агентов устроен наоборот — входящим. Агент приходит к серверу по персональному токену и в правах своего владельца; сам сервис никуда данные не отправляет.

Проверка перед тем, как обещать команде

Возьмите двадцать реальных описаний дефектов из своего проекта и прогоните обе функции. Смотрите не на «складность» ответа, а на то, стали бы вы сохранять предложенный текст без правок. Если да хотя бы в половине случаев — функция окупается; если нет — вопрос к размеру модели, а не к продукту.

Чего в продукте нет

• нет поставки модели и весов вместе с продуктом: сервер поднимаете вы;
• нет очереди и фонового выполнения — функции синхронные, медленная модель означает медленный ответ в форме;
• нет дообучения на ваших данных.

С чего начать

1. Поднимите vLLM или Ollama на адресе, доступном серверу QA Деск.
2. Подключите провайдера «Свой» и дождитесь зелёной живой проверки.
3. Прогоните десяток настоящих описаний дефектов и сравните с тем, что даёт облачный провайдер, — выбор станет очевидным без споров.

Рядом по теме

Платформы

1С:Предприятие

Конфигурации 1С живут в том же реестре, что и остальной портфель: релиз платформы и конфигурации — поля дефекта, чек-листы регресса берутся готовыми, сценарии Vanessa Automation приезжают отчётом из вашего CI.

1С:Предприятие — регресс обновлений без таблиц в почте ИИ и LLM

DeepSeek

DeepSeek — пресет по умолчанию: адрес и модель подставляются, ключ проверяется живым запросом при сохранении, платите вы напрямую провайдеру, без «коинов» и наценки сверху.

DeepSeek — свой ключ, свои расчёты с провайдером ИИ и LLM

OpenAI-совместимый LLM

Требование к провайдеру ровно одно — ручка /chat/completions в формате OpenAI. Дальше это ваш выбор и ваш договор: адрес, модель и ключ задаются на пространство, счёт идёт мимо нас.

OpenAI-совместимый API — провайдера выбираете вы