有意见 | 读完文字，读视频，MiniGPT4-Video可以帮你写读后感了！ 原创

最近，来自KAUST和哈佛大学的研究人员提出了MiniGPT4-Video——专为视频理解而设计的多模态大模型。背后技术是通过将视觉特征转化为LLM空间，从而实现了对单幅图像的理解，然后使模型通过输入多帧训练来理解视频。

MiniGPT4-Video能够同时处理时态视觉数据和文本数据，因此善于理解视频的复杂性。比如上传一个某个品牌的宣传视频，MiniGPT4-Video能够为其配出标题以及宣传语；看过一簇簇花盛开的视频，MiniGPT4-video还可以即兴作出抒情诗。

“有意见”留言板

@剪辑尸：演示效果很棒，实际体验翻车的产品太多了，尤其是直接生成视频的方式，目前还是挺容易失败的，MiniGPT4-Video看起来实用性一般，但是AI终于能看懂视频的做法了，也许以后能有助于提高视频生成的成功率吧。 

@PD：这种模型的能力在于它不仅可以识别视频中的视觉元素，还能理解视频中的语境和情感，这对于自动内容生成、视频摘要、广告创意和许多其他应用来说是非常有价值的。