Eng 繁中 日本語 한국어 简中

AI 強化語音聊天

關鍵功能

  • 選擇使用 OpenAI、本地或遠端文字生成 WebUI 作為 AI 服務
  • 內建 TTS 引擎，將 AI 生成的訊息轉換為語音
  • 內建的口型同步功能，自動為角色說話時動畫化其面部表情
  • 內建語音辨識，將您的語音轉換為文字並發送至 AI
  • 包含超過 900 種英文聲音可供選擇，每個角色都可以擁有自己獨特的聲音

限制

  • 語音引擎僅支援 Windows。在其他平台上，您仍然可以使用語音辨識進行交流，但回應將僅為文字。

    ## AI 服務

    有各種選擇可用作 AI 服務，以賦予您的角色智能。我們將在下面討論每個選項的優缺點。

OpenAI（ChatGPT）

這是目前最智能的選擇。

優點：

  • 聰明
  • 快速
  • 成本效益（與其他遠程選項相比）

缺點：

  • 審查

設置： 要使用 OpenAI 服務與 DanceXR，您需要一個 OpenAI API 金鑰。

  • 註冊並登錄您的 OpenAI 帳戶。
  • 點擊頁面右上角的個人資料圖標。
  • 選擇“查看 API 金鑰”以打開 API 頁面。
  • 點擊“創建新的秘密金鑰”，並在出現時複製金鑰。請記住，該金鑰只會在此顯示一次，您無法稍後檢索完整金鑰，因此不要遺失。
  • 打開 DanceXR，並從聊天菜單中點擊配置圖標。
  • 轉到 AI 服務，並在“OpenAI API 金鑰”框中粘貼您的金鑰。
  • 然後在“AI 服務”下拉菜單中選擇“OpenAI（ChatGPT）”，然後您應該可以開始使用了。
  • 在聊天設置中，您可以選擇要使用的模型。

OobaBooga 文本生成 WebUI

如果您的電腦性能足夠強大，此選項允許您在本地運行大型語言模型（LLM）。7b 或 13b 模型應該足夠用於聊天。

優點：

  • 隱私，不會發送任何內容，一切都在本地進行。
  • 您可以使用不經審查的模型進行不適於未成年人的內容。
  • 免費

缺點：

  • 不像 OpenAI 模型那樣聰明
  • 需要一些設置
  • 如果 VRAM 不足，可能會變得非常緩慢。特別是當您同時運行 DanceXR 時，系統可能會將 LLM 推送到虛擬 VRAM 中，這將破壞其性能。

設置：

  • 按照這裡的說明下載並安裝 https://github.com/oobabooga/text-generation-webui
  • 要使 WebUI 與 DanceXR 配合工作，您需要打開 API。要做到這一點，打開 CMD_FLAGS.txt 文件，並在其中添加“–listen –api”，然後重新啟動它。
  • 一旦運行，轉到模型選項卡，如果您還沒有模型，請下載一個模型。
  • 我們建議使用以下兩個模型之一：https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GPTQ（7b，更容易運行）https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GPTQ（13b，更聰明）
  • 刷新模型列表並加載它。
  • 在 DanceXR 中，從 AI 服務 -> 選擇服務 中選擇“本地 WebUI”。
  • 默認 URL（http://127.0.0.1:5000）應該有效，除非您的設置需要不同的端口或 URL。

使用 Runpod 等遠程服務運行 WebUI

有一些服務允許您租用 GPU 並運行 AI 模型。 Runpod 就是其中之一。他們有一個 WebUI 的模板，比在本地運行更容易設置。

優點：

  • 快速且簡單
  • 自由選擇要運行的任何模型。甚至可以選擇在本地 GPU 上無法運行的模型。

缺點：

  • 比 OpenAI 貴一些
  • 每次運行模型都需要下載。但這應該只需要幾分鐘。

設置：

  • 從“社區雲”中選擇一個 GPU，然後點擊“部署”。3080ti 應該足夠運行 13b 模型。每小時需要 26 美分。
  • 從模板下拉菜單中選擇“RunPod TheBloke LLMs”。
  • 運行後，點擊連接，它將為您提供 WebUI 和 API 的鏈接，將 API 的 URL 複製並粘貼到 DanceXR 的“遠程 WebUI URL”框中。
  • 點擊 WebUI 鏈接，然後轉到模型選項卡下載一個模型。
  • 我們建議使用以下兩個模型之一：https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GPTQ（7b，更容易運行）https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GPTQ（13b，更聰明）
  • 刷新模型列表並加載它。

    ## 聊天控制

模板

模板是驅動 AI 模型為每個角色生成聊天消息的基礎。你可能會認為它很複雜，但實際上它非常簡單。您可以打開 chat/templates 文件夾，打開默認模板，看看它是如何工作的。

基本上就像是用純文本告訴某人為您做某些事情。您可以修改默認模板，另存為不同的名稱，看看它如何影響聊天內容。例如，您可以在其中添加環境的描述，為聊天設定情景。

在 DanceXR 中，轉到聊天設置 -> 模板，選擇您創建的模板。

角色

角色是從演員模型的名稱派生的。例如，“小春花束卡特莉亞髮B側馬尾”，“小春”將被解釋為角色名稱，“花束卡特莉亞髮B側馬尾”將被用作她服裝的描述。

如果角色是眾所周知的，語言模型可能對角色有一些了解，因此有時候知道他們是誰以及他們的行為方式，尤其是當您使用 OpenAI 時。

在角色設置中，您可以輸入角色的描述和個性，這將大大影響他們在聊天中的行為。例如，您可以通過描述他們為“服從且渴望取悅”來將一個驕傲和傲慢的角色改變為服從。

“玩家”在技術上也是一個角色，您可以為自己更改名稱、描述和個性，成為您喜歡的任何人。

人物

角色設置還有一個 Persona 下拉菜單。這允許您使用從像 TavernAI 這樣的 AI 角色扮演程序中下載的角色。這些通常以 PNG 格式提供。png 圖像的元數據包含角色的描述。

使用此在線角色編輯器將 png 角色轉換為 json 格式 https://zoltanai.github.io/character-editor/

然後將 json 放入“chat/personas”文件夾中，它們將出現在角色設置中的 Persona 下拉菜單中。完成後，Persona 的描述將覆蓋角色描述。

聊天歷史

每次生成新內容時，聊天歷史都會發送給 AI，以保持上下文。如果您想切換到不同的情景或話題，請先清除歷史，以便 AI 不受先前的聊天上下文影響。您還可以使用此功能來操縱環境並推動聊天。例如，如果您在消息中描述了某件事情發生，AI 將繼續在該上下文中進行。

請注意，一旦達到提示限制，最舊的消息將被忽略並不包含在上下文中。因此，AI 可能會忘記過於遙遠的歷史。

在聊天界面中，您可以點擊聊天消息旁邊的圖標來操縱聊天歷史。選項包括：

  • 重新生成：刪除下面的所有消息，讓 AI 重新生成此消息
  • 重寫：接管消息並自行重寫。當您這樣做時，您需要保持消息前面的名稱和冒號不變，否則系統將不知道這條消息來自誰。
  • 重播：從此消息重播聊天歷史
  • 刪除條目：刪除此消息
  • 刪除上面：刪除此消息上面的所有消息
  • 刪除下面：刪除此消息下面的所有消息

溫度

這些值控制 AI 模型在生成聊天消息時的自由度。就像圖像生成一樣，使用相同的輸入，每次生成可能略有不同，而溫度控制了它可以變化的程度。

存在懲罰和頻率懲罰

增加這些值以減少 AI 生成重複內容的機會。

最大生成標記和最大提示長度

LLM 有標記限制，超出此限制的內容將無法正確生成。

自動生成和為玩家生成

打開“自動生成下一條”以允許 AI 在計時器到期時自動生成下一條消息。

打開“為玩家生成”以允許 AI 為玩家生成消息。

## 文字轉語音

額外語音

DanceXR 使用一個名為 Piper 的 TTS 引擎。在這裡，您可以聆聽並下載額外的語音模型，以在 DanceXR 中使用。

https://rhasspy.github.io/piper-samples/

下載後，將它們放入 chat\voices\piper 資料夾中。請記住，必須同時存在 onnx 和 onnx.json 檔案。

語音管理器

內建的語音模型包含超過 900 種不同的語音。默認情況下，我們只啟用前 20 種。因為 900 種對用戶來說太多了。要啟用其他語音，請前往聊天設置中的「語音」->「語音管理器」，從列表中選擇一種語音，聆聽並勾選「選擇」以將其添加到語音列表中。

您可以為系統、播放器和每個角色選擇不同的語音。

語言匹配和回退

AI 模型可以生成不同語言的消息。但語音模型不能。DanceXR 將嘗試確定消息的語言，如果它與所選語音的語言不匹配，則在語音設置中啟用「回退」將允許它選擇與語音列表中匹配的不同語音。

在 1.5.1 更新中引入的新設置允許選擇聊天語言，除了默認的「自動」模式。自動模式將與以前完全相同，它會嘗試從文本內容本身確定語言。但如果您在聊天語言設置中選擇其中一種語言，它將用於聊天消息和語音。

請記住，提示消息對於 GPT 模型在生成回應時決定使用的語言具有更高的影響力。如果您選擇的語言不是英語，最好也將提示模板更新為所選語言的本地文本。

語音轉文字

內建的 Whisper 模型可以將您的語音轉換為文字，然後發送到 AI。有 2 種模式，手動和自動。

手動模式

手動模式意味著您點擊麥克風按鈕，它開始錄製，一旦完成，再次點擊它，音頻將被處理，結果將被發送到 AI。

自動模式

自動模式意味著當聊天處於閒置狀態時（角色不說話），它將自動開始錄製，即時處理音頻，然後在您講話結束時發送它。但有時它並不是非常智能。

對於低端設備，處理音頻到文字可能需要一些時間。因此，不建議在 Android、Quest 和 Pico 上使用自動模式。

鍵綁定

在輸入設置中，您可以分配一個按鈕來切換麥克風狀態，這樣您就可以在不進入 UI 的情況下控制錄製。默認情況下，它分配給右手控制器的菜單按鈕。

重置配置和角色設置

一切都保存在您的內容庫的 chat 資料夾中。隨時刪除 chat 資料夾以將一切重置為默認值。