字节跳动 AI 助手豆包被曝开启视频生成内测
GoodNav 11月7日消息,继快手、商汤和Minimax等公司之后,字节跳动正式进军AI视频生成领域。
《科创板日报》报道,字节跳动旗下的大模型AI助手豆包已正式推出视频生成的内测功能,支持将图片和文字一键转化为视频,并具备动态运镜和多镜头的一致性,同时用户可以自由选择风格比例。
根据火山引擎总裁谭待的介绍,豆包视频生成的模型支持多种风格和比例的一致性多镜头生成,可广泛应用于电商营销、动画教育、城市文旅以及微剧本等领域。他表示,无论是在语义理解能力、复杂的多主体运动交互画面,还是多镜头切换时的内容一致性方面,豆包视频生成的模型均已达到行业的领先水平。
过去的视频生成模型大多只能应对简单指令,而豆包视频生成模型能够实现自然流畅的多拍动作以及多主体的复杂交互。有创作者在体验豆包视频生成模型时发现,其生成的视频可以遵循复杂指令,让不同角色完成多个动作的互动,且角色的外观、服装细节甚至头饰在不同镜头下也保持一致,接近真实拍摄效果。
火山引擎介绍称,豆包视频生成模型基于DiT架构,通过高效的DiT融合计算单元,使视频在大动态与运镜中能够自由切换,具备变焦、环绕、平摇、缩放和目标跟随等多镜头语言能力。此外,豆包视频生成模型的专业光影布局和色彩调和,使得画面的视觉效果极具美感和真实感。
经过深度优化的Transformer结构,大幅提升了豆包视频生成的泛化能力,支持3D动画、2D动画、国画、黑白画和厚涂等多种风格,适配影视、电视、电脑和手机等多种设备比例,既可以满足电商营销、动画教育、城市文旅和微剧本等企业场景,也能为专业创作者和艺术家提供创作支持。
目前,豆包视频生成模型的Pixeldance和Seaweed已在火山引擎开启邀测,企业可以通过火山引擎官网的邀测报名入口提交测试申请。值得注意的是,即梦AI已接入豆包视频生成模型,正在进行小范围内测。
相关阅读: