复旦大学与百度携手推出全新ai模型——hallo2，该模型已正式在github开源。hallo2能够生成长达数小时、分辨率为4k的人物动画，相较于前代模型，实现了显著提升。
hallo2模型基于latent diffusion models构建，引入了数据增强方法，如patch-drop和高斯噪声，有效提升了长时间视频的视觉一致性和时间连贯性。同时，该模型还结合了向量量化生成对抗网络和时间对齐技术，确保了高分辨率视频的质量和流畅性。
hallo2还创新性地将可调整的语义文本标签的肖像表情作为条件输入，提高了生成内容的可控性和多样性。据项目页面介绍，hallo2是首个实现4k分辨率并生成长达1小时音频驱动人像图像动画的方法，且可通过文本提示进行增强。
附hallo2项目地址。
