视频无缝生成声音来了,Pika 模型可以根据视频内容生成相配的声音了。如果你有自己的想法,那么你可以给出提示,描述你想要的声音类型;或者直接让Pika根据视频内容自动生成。就是它可以根据你的画面自己生成声音,比如根据树林,生成鸟鸣,比如看到汽车,发出汽车嗡嗡的声音,比如看到烟花,会配上烟花爆竹的声音。
根据宣传来看,其声音效果高度与视频画面匹配。
“有意见”留言板
@辣腿堡不加酱:用户只需一个 prompt 或 简单的描述 就能用Sound Effects生成音效,这的确降低了视频产出的技术门槛,让更多的人能够不受技术束缚,展现自己的创意。至于对影视行业是否会造成冲击,也许会有,但对于高内涵的作品可能影响不大。正如机器翻译暂且达不到人工译者的“信”、“达”、“雅”一样,影视作品所想表现出的反讽或引发人们深思的内容,演员情绪细节的流露,都不是仅仅靠视频和音效生成软件加持就能冲击或超越的。
@媒体搬运工:生成式AI的大门打开之后就关不上了,从文字到音视频,当这些内容充斥互联网的时候,究竟是好事还是坏事呢?
好文章,需要你的鼓励
在信息爆炸的时代,AI实验室的研究员们常常需要面对海量的论文、专利文件、论坛发言等各种渠道的信息。传统的查找方式不仅费时费力,还容易遗漏关键内容。那么,有没有一种方式能让AI真正代替人工,完成从找资料到写出稿的全流程工作?
这项由蚂蚁集团、香港科技大学等机构研究者完成的工作提出了Ditto框架,通过创新的数据生成管道解决了视频编辑领域的数据稀缺问题。研究团队生成了包含一百万个高质量视频编辑样本的Ditto-1M数据集,并基于此训练了Editto模型。该模型在多项评估中显著超越现有方法,实现了更精准的指令遵循和更好的时间一致性,为指令驱动的视频编辑树立了新的技术标杆。
这项由阿里巴巴和中科院联合完成的研究提出了ImagerySearch,一种创新的视频生成方法,能够帮助AI生成更好的创意和想象力十足的视频。研究团队还创建了LDT-Bench,首个专门评估AI在处理奇异场景能力的基准。实验表明,ImagerySearch在处理创意场景时相比现有方法有显著提升,为AI创意内容生成开辟了新的方向。