清华创业团队又搞事情了,新出国产Sora产品
一只产品汪啊
2024-07-13 00:54:50
👍👍中国首个Sora级模型 Vidu 发布:高一致性、高动态性视频大模型,生成最长16秒、最高 1080P 视频,画面效果对标OpenAI
✅Vidu 模型融合 Diffusion 与 Transformer,开创性创建了 U-ViT,支持一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。
[一R]理解中国元素
从「Vidu」放出的短片中还看到了一些不一样的惊喜,「Vidu」能够生成特有中国元素的画面,比如熊猫、龙、宫殿场景等。
[二R]丰富的香想象力
可以看看效果“画室中的一艘船驶向镜头”、其海浪、船的效果非常逼真。
[三R]模拟真实物理世界
Vidu 不仅能够模拟真实物理世界,还拥有丰富想象力,具备多镜头生成、时空一致性高等特点。
Vidu 是自 Sora 发布之后,全球率先取得重大突破的视频大模型,性能全面对标国际顶尖水平,并在加速迭代提升中。
[四R]其核心技术 U-ViT 架构由团队于 2022 年 9 月提出,早于 Sora 采用的 DiT 架构,是全球首个 Diffusion 与 Transformer 融合的架构。
✅具体来说的几个亮点
[一R] 模拟真实物理世界:能够生成细节复杂的场景,且符合真实的物理规律,例如合理的光影效果、细腻的人物表情等;
[二R]具有丰富想象力:能够生成真实世界不存在的虚构画面,创造出具有深度和复杂性的超现实主义内容。
[三R]多镜头语言:能够生成复杂的动态镜头,不再局限于简单的推、拉、移等固定镜头,而是能够围绕统一主体在一段画面里就实现远景、近景、中景、特写等不同镜头的切换,包括能直接生成长镜头、追焦、转场等效果,给视频注入镜头语言;
[四R]时空一致性高:在16秒的时长上保持连贯流畅,随着镜头的移动,人物和场景在时间、空间中能够保持一致;
[五R]理解中国元素:能够生成特有的中国元素,例如熊猫、龙等;
[种草R][拔草R][点赞R]目前试用暂未开放,敬请期待清华团队带来的惊喜
0
阅读:0