Настройки генерации ответов

Чтобы перейти к параметрам генерации ответов на запросы пользователей, выберите в меню Настройки → Генерация.

Системный промт

Если требуется, вы можете отредактировать системный промт, который LLM будет использовать при генерации ответа на запрос пользователя.

Настройки LLM будут применяться:

для генерации ответа на запрос пользователя;
для поиска чанков, если выбран поиск с помощью LLM;
для перефразирования запроса и учета истории, если выбран поиск по сходству эмбеддингов.

Основные настройки:

Модель — выберите одну из доступных языковых моделей. При поиске чанков с помощью LLM доступны только модели, которые поддерживают function calling — он позволяет модели запрашивать чанки.
Максимальное количество токенов в запросе — ограничивает количество токенов, которое может быть отправлено в LLM.
Максимальное количество токенов в ответе — ограничивает количество токенов, которое может быть сгенерировано LLM за одну итерацию.
Температура — регулирует креативность ответов. При более высоких значениях результаты будут более творческими и менее предсказуемыми. Рекомендуем менять или температуру, или Top P, но не оба параметра одновременно.

Расширенные настройки:

Top P — регулирует разнообразность ответов. При низких значениях нейросеть выбирает из меньшего количества вероятных слов, но при высоких — ответ может получиться разнообразнее. Рекомендуем менять или Top P, или температуру, но не оба параметра одновременно.
Presence penalty — штраф за повторное появление токенов. Чем выше значение, тем меньше вероятность повторения слов или фраз в ответе.

Все повторы штрафуются одинаково, независимо от частоты. Например, появление токена во второй раз будет оштрафовано так же, как в 10-й.
Frequency penalty — штраф за частоту появления токенов. Чем выше значение, тем меньше вероятность появления слов или фраз, которые уже встречались в ответе несколько раз.

Влияние Frequency penalty возрастает в зависимости от того, сколько раз токен уже появился в тексте.