어떤 캐릭터와도 AI 기반 음성 대화

개요

이제 당신은 좋아하는 캐릭터와 대면으로 대화할 수 있습니다!

ChatGPT 또는 OobaBooga WebUI에서 실행할 수 있는 LLM 중 원하는 것을 선택할 수 있습니다.
완전한 로컬 옵션도 가능합니다. 완전히 무료이면서 개인 정보 보호를 원한다면, 자체 LLM을 실행하고 대화에 사용할 수 있습니다.
내장된 다국어 음성 인식 기능.
내장된 다국어 TTS 엔진. 900개 이상의 다른 음성을 갖춘 영어 모델이 포함되어 있습니다. 다른 언어 음성은 다운로드할 수 있습니다.
내장된 네이티브 립싱크.
공간 오디오로, 스피커가 어디에 있는지 심지어 보지 않아도 알 수 있습니다.
캐릭터 개성과 설명을 쉽게 사용자 정의할 수 있습니다.
대화 메시지를 저장하고 재생할 수 있습니다.
TavernAI와 같은 인기있는 AI 역할극 프로그램에서 캐릭터(JSON 형식)를 사용할 수도 있습니다.

현재 제한 사항

음성 엔진은 현재 Windows 전용입니다. Mac, Android, Quest에서는 음성 옵션이 제공되지 않습니다.
DanceXR과 함께 LLM을 실행하려면 강력한 GPU와 큰 VARM이 필요합니다. 원격 설정을 사용하는 것이 좋습니다.

문서

전체 문서

유용한 링크

OpenAI https://platform.openai.com/

유명한 ChatGPT입니다. AI 대화를 위해 이들의 모델을 사용하려면 등록하고 API 키를 받아야 합니다. 그런 다음 DanceXR의 Chat Config에 해당 키를 입력하면 됩니다. 이 서비스는 무료가 아니지만 저렴합니다. ChatGPT Plus와 혼동하지 마세요. 이들은 다른 서비스입니다. ChatGPT Plus 구독을 하더라도 사용량에 따라 여전히 요금이 부과됩니다.

OobaBooga WebUI: https://github.com/oobabooga/text-generation-webui

이 프로그램은 로컬에서 LLM(Large Language Model)을 실행할 수 있게 해줍니다.

WebUI를 설치한 후 실행할 모델을 다운로드해야 합니다. 다음은 추천하는 두 개의 검열되지 않은 모델입니다.

https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GPTQ (7b, 실행이 쉬움) https://huggingface.co/TheBloke/Nous-Hermes-Llama2-GPTQ (13b, 더 똑똑함)

Runpod: https://www.runpod.io/

이 서비스는 GPU를 대여하여 AI 모델을 실행할 수 있게 해줍니다. 자체 WebUI를 설치하는 번거로움이나 강력한 하드웨어가 없어도 LLM을 실행할 수 없는 경우 선택할 수 있는 서비스 중 하나입니다.

음성 다운로드 https://rhasspy.github.io/piper-samples/

사용 중인 TTS 엔진은 Piper라고 합니다. 위의 링크에는 현재 사용 가능한 모든 음성이 있습니다. 관심이 있다면 직접 음성 모델을 훈련시킬 수도 있습니다.

모델 개선 사항

스커트와 헤어 물리학에 대한 물리 효과를 더 세밀하게 조정할 수 있는 옵션이 추가되었습니다.
가슴과 소프트바디 물리학에 대한 충돌 제어가 개선되었습니다.
Dressing System의 전환 효과를 자동 업데이트로 애니메이션화할 수 있습니다.

Pico 지원 개선

컬러 패스스루 기능이 추가되었습니다.
버그 수정

기타 수정 및 개선 사항

장면에 많은 배우가 있는 경우 FPS가 향상되었습니다.