Eng 繁中 日本語 한국어 简中

AI 驱动的语音聊天

DanceXR 现在通过 2026.5 版本引入的专用本地 AI 后端 DanceXR Operator，支持更完整的本地 AI 聊天工作流。Operator 会作为本地服务器与游戏一起运行，在不依赖任何外部在线服务的情况下，为 AI 对话、角色扮演和角色语音功能提供基础。

如果您想获得 DanceXR 中最新的 AI 聊天体验，当前推荐的配置就是 Operator。

主要特性

  • 推荐使用 DanceXR Operator 作为专用本地 AI 后端
  • AI 聊天可结合场景上下文、记忆和多轮历史，支持更长的角色扮演会话
  • 提供 TTS 支持，将 AI 生成的消息转换为语音
  • 内置口型同步，在角色说话时自动驱动面部动画
  • 内置语音识别，可将您的语音转换为文本并发送给 AI
  • 支持多种语音和语言，让每个角色都能有不同的说话风格

限制

  • 部分语音功能仍然取决于平台和后端配置。在无法使用语音输出的平台上，AI 回应仍然可以以文本形式显示。

AI 服务

DanceXR 现在专注于本地 AI 聊天后端。推荐选项是 DanceXR Operator，但如果您更喜欢手动配置，也仍然可以使用其他本地后端。

DanceXR Operator

DanceXR Operator 是 DanceXR 的专用本地 AI 后端。它会作为本地服务器与游戏一起运行，把语音合成和大语言模型聊天整合在统一 API 背后，让 DanceXR 能通过一个本地服务提供 AI 对话、角色扮演和角色语音功能。

Operator 是 2026.5 版本中新 AI 聊天栈的核心。它被设计为直接在您自己的游戏 PC 上管理模型和语音流程，为更长时间、更贴合场景的角色互动提供更可靠的基础。

优点：

  • 专为 DanceXR 设计
  • 完全运行在您自己的硬件上
  • 通过一个后端同时支持 AI 聊天、角色扮演和角色语音
  • 更适合需要场景感知和持续上下文的多轮互动

缺点：

  • 需要安装在 DanceXR 文件夹旁边
  • 性能仍取决于您的硬件和所选模型

设置：

  • 将 Operator 安装到您的 DanceXR 文件夹旁边。安装细节请参阅 DanceXR Operator 功能页。
  • 在 DanceXR 中启用 AI Chat，并在可用时选择 Operator 作为后端。
  • 按推荐目录结构安装后，Operator 可以随 DanceXR 自动启动，并提供本地 Web 界面用于模型和 TTS 管理。

2026.5 中的 AI 聊天改进

最新的 AI 聊天栈带来了一些在使用 Operator 时最明显的改进：

  • 环境感知：角色可以更稳定地利用时间、灯光和舞台状态等场景信息。
  • 记忆与持续性：多轮历史、意图追踪、会话持久化和记忆压缩让对话更自然地延续下去。
  • 更好的交互流程：提示处理、说话轮次、启动行为和状态反馈都针对长时间会话进行了优化。
  • 改进的 TTS 行为：语音质量、语言支持和回退行为都得到了提升。

本地运行 LLM（LM Studio, OobaBooga, Ollama）

如果您的计算机足够强大，也可以在本地运行 LLM。例如，最新的 Llama3 8b 对于角色扮演来说应该足够。我们测试了 OobaBooga、LM Studio 和 Ollama，它们与 DanceXR 配合良好。

如果您想要自定义的手动配置，这些方式仍然很有用，但现在它们被视为 Operator 的替代路径，而不是主要推荐路径。

请记住，AI 领域发展迅速，新工具和模型不断推出。此处的推荐基于我们在撰写时的知识，在您阅读时可能会过时。欢迎您探索自己的选择。DanceXR 应该可以与提供兼容聊天 API 的本地 LLM 工具一起使用。

优点：

  • 隐私，所有操作都在本地进行，没有数据被发送出去。
  • 您可以选择任何模型进行运行，包括未审查的模型。
  • 免费

缺点：

  • 不如在线模型智能
  • 需要一些设置
  • 在本地运行 LLM 可能非常耗资源，特别是如果您计划在同一台机器上运行 DanceXR 和 LLM。

设置： 目前，如果您不想使用命令行工具，LM Studio 是更好的选择。 对于 LM Studio，您可以按照以下说明进行操作：

  • 从其网站下载并安装 LM Studio https://lmstudio.ai/
  • 在 LM Studio 中选择并下载一个 LLM 模型。目前我们推荐使用 Llama3 8b。
  • 切换到聊天选项卡并加载您下载的模型。
  • 转到“本地服务器”选项卡并点击“启动服务器”。注意端口号（默认为 1234）。

对于 OobaBooga，您可以按照以下说明进行操作：

  • 按此处的说明下载并安装 https://github.com/oobabooga/text-generation-webui
  • 为了使 WebUI 能与 DanceXR 一起工作，您需要启用 API。为此，请打开 CMD_FLAGS.txt 文件并在其中添加“–listen –api”，然后重新启动。
  • 一旦它正在运行，转到模型选项卡，如果您尚未拥有模型，请下载一个模型。
  • 我们推荐使用以下 2 个模型中的一个：https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GPTQ (7b，更容易运行) 或 https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GPTQ (13b，更智能)
  • 刷新模型列表并加载它。默认端口号是 5000。

Ollama 的设置： Ollama 提供了一种轻松在本地运行 AI 模型的方法，设置非常简单。

  • 从他们的网站下载并安装 Ollama：https://ollama.ai/
  • 打开 Ollama 应用程序并下载您选择的模型。
  • 在 DanceXR 中，从 AI 服务选择“Ollama” -> 选择服务。
  • 在“模型名称”框中输入模型名称。例如，输入“llama2-7b-chat”。
  • 现在您应该能够将 Ollama 作为您的 AI 后端使用。

DanceXR 中的配置：

  • 在 DanceXR 中，从 AI 服务选择“本地 WebUI” -> 选择服务
  • 输入服务器 URL 和端口号。例如“http://127.0.0.1:1234”（LM Studio）或“http://127.0.0.1:5000”（OobaBooga）。

改进本地模型的提示

DanceXR 现在包含改进的提示技术，以增强对话质量，尤其是在使用较小的本地模型时。这确保了更好的回应和更有趣的互动。

聊天控制

模板

模板驱动 AI 模型为每个角色生成聊天消息。您可能认为这很复杂，但其实很简单。您可以打开聊天/模板文件夹，查看默认模板以了解它是如何工作的。

基本上，这就像用普通文本告诉某人为您做某些事情一样。您可以修改默认模板并另存为不同的名称，以查看它对聊天内容的影响。例如，您可以在其中添加环境描述，以设置聊天的场景。

在 DanceXR 中，转到聊天设置 -> 模板，以选择您创建的模板。

角色

角色是由演员模型的名称派生而来的。例如，“Koharu Bouquet Cattleya Hair B Side Ponytail”，其中“Koharu”将被解释为角色名称，剩下的“Bouquet Cattleya Hair B Side Ponytail”将作为她的服装描述。

如果角色本身较为知名，语言模型可能具备一些相关知识，因此根据您使用的模型不同，它有时会知道他们是谁以及他们通常会如何表现。

在角色设置中，您可以输入角色的描述和个性，这将极大地影响他们在聊天中的行为。例如，您可以将一个骄傲和傲慢的角色通过将其描述为“顺从和渴望取悦”而改造成顺从的角色。

“玩家”实际上也是一个角色，您可以更改自己的名称、描述和个性，成为您想要的任何人。

人物

角色设置还有一个“人物”下拉菜单。这允许您使用从 AI 角色扮演程序（如 TavernAI）下载的角色。这些通常以 PNG 格式提供。PNG 图像的元数据包含角色的描述。

使用此在线角色编辑器将 PNG 角色转换为 JSON 格式 https://zoltanai.github.io/character-editor/

然后将 JSON 文件放入“chat/personas”文件夹中，它们将出现在角色设置的人物下拉菜单中。一旦完成，人物的描述将覆盖角色的描述。

聊天历史

聊天历史每次生成新内容时都会发送给 AI，以保持上下文。如果您想切换到不同的场景或主题，请先清除历史记录，以便 AI 不会受到先前聊天上下文的影响。您还可以使用此功能来操控环境并推动聊天进程。如果您在消息中描述某件事情，AI 将会继续该上下文。

请注意，一旦达到提示限制，最旧的消息将被忽略，不会包括在上下文中。因此，AI 可能会忘记历史中太久远的内容。

在较新的 Operator 工作流中，DanceXR 还可以更好地利用多轮历史、会话持久化和记忆压缩，因此即使对话变长，角色扮演也更容易保持连贯。

在聊天界面中，您可以点击聊天消息旁边的图标来操控聊天历史。选项包括：

  • 重新生成：删除下面的所有消息，让 AI 重新生成此消息
  • 重写：接管该消息并自行重写。当您这样做时，必须保持消息前面的名称和冒号不变，否则系统将不知道此消息来自谁。
  • 重播：从此消息重新播放聊天历史
  • 删除条目：删除此消息
  • 移除上方：删除此消息上方的所有消息
  • 移除下方：删除此消息下方的所有消息

温度

该数值控制 AI 模型在生成聊天消息时的自由度。就像图像生成一样，相同的输入每次生成可能会略有不同，而温度控制它的变化程度。

存在惩罚和频率惩罚

增加这些值以减少 AI 生成重复内容的可能性。

最大生成令牌和最大提示长度

LLM 有令牌限制，超过此限制的内容将无法正确生成。

自动生成和为玩家生成

开启“自动生成下一个”以允许 AI 在计时器到期时自动生成下一个消息。

开启“为玩家生成”以允许 AI 为玩家生成消息。

语音合成

附加语音

DanceXR 使用名为 Piper 的 TTS 引擎。在这里，您可以收听并下载额外的语音模型以在 DanceXR 中使用。

https://rhasspy.github.io/piper-samples/

下载后，将它们放入 chat\voices\piper 文件夹。请记住，onnx 和 onnx.json 文件都是必需的。

语音管理器

内置的语音模型包含超过 900 种不同的声音。默认情况下，我们只启用前 20 种。因为 900 种选择对于用户来说太多了。要启用其他声音，请从聊天设置转到语音 -> 语音管理器，从列表中选择一种声音，收听并勾选“已选择”，以允许它添加到语音列表中。

您可以为系统、玩家和每个角色选择不同的声音。

语言匹配与回退

AI 模型可以生成不同语言的消息。但语音模型不能。DanceXR 将尝试判断消息的语言，如果它与所选语音语言不匹配，则启用语音设置中的“回退”将允许其在语音列表中选择匹配语言的不同声音。

在 1.5.1 更新中引入的新设置允许选择聊天语言，除了默认的“自动”模式。自动模式的行为与之前完全相同，尝试根据文本内容判断语言。但是，如果您在聊天语言设置中选择了一种语言，则将用于聊天消息和语音。

请记住，提示消息对语言模型决定使用哪种语言生成回应有很强的影响。如果您选择的语言不是英语，最好也用所选语言的本地文本来更新提示模板。

语音转文本

内置的 Whisper 模型可以将您的语音转换为文本，然后发送给 AI。有两种模式，手动和自动。

手动模式

手动模式意味着您点击麦克风按钮，它开始录音，完成后再次点击，音频将被处理，结果将发送给 AI。

自动模式

自动模式意味着在聊天空闲时（角色未说话）会自动开始录音，实时处理音频，完成后将其发送。但是有时它不是很聪明。

对于低端设备，处理音频转文本可能需要一些时间。因此，不建议在 Android 和 Quest 上使用自动模式。

关键绑定

在输入设置中，您可以为切换麦克风状态分配一个按钮，这样您就可以在不进入 UI 的情况下控制录音。默认情况下，它被分配给右手控制器的菜单按钮。

重置配置和角色设置

所有内容都保存在您的内容库的聊天文件夹中。随时可以删除聊天文件夹以将所有内容重置为默认设置。