🌐 开源意义: DreamTalk的开源将为语音合成技术的发展提供新的动力，吸引更多开发者和研究人员参与，拓展项目功能和改进技术。
为了实现逼真的呈现，该方法将场景参数化为三个部分:遮挡物 → 人 → 背景，并通过新颖的优化目标将这些渲染解耦。为了处理在真实世界场景中可能出现的遮挡情况，该方法引入了感知遮挡的场景参数化，将场景解耦为遮挡、人和背景三个部分。此外，该方法设计了广泛的客观函数，以帮助强化将人从遮挡和背景中解耦，并确保人体模型的完整性。
为了解决幻觉问题，研究人员采用了检索增强生成（RAG）的方法，并添加了几个重要步骤来进一步减轻幻觉，并改进对话性指标。通过这些优化，WikiChat在事实准确性方面比微调后的SOTA RAG模型Atlas高出8.5%。此外，研究人员还将基于GPT-4的WikiChat提炼成7B参数的LLaMA模型，这个模型在事实准确性方面能达到91.1%的高分，并且运行速度提高了6.5倍，能效更好，可以本地部署。
项目地址:https://top.aibase.com/tool/vcoder
展望未来，贾跃亭表示，2024年FF将继续笃定前行，全力加速推进中美双主场，中东第三极的全新篇章。这一表态表明，FF将继续在全球范围内拓展业务，并致力于在中东市场取得更大的突破。