新浪新闻

a16z 给这个华人视频 AI 投了 1900 万美金,因 Meme 走红刚进入 Top 100 榜单

新浪AI

关注

在 a16z 刚发布的消费 AI Top 100 榜单里,最大的一个趋势就是创意类 AI 工具继续占据主导地位,而视频和音乐类 AI 在快速崛起,3 个新进入榜单的视频 AI 产品分别是 Luma AI、Viggle 和 Vidnoz。

a16z 对 C 端 AI 产品一直在下各种赌注,认为这个领域有机会出现超级 App。因此即使是在这 3 个产品中,a16z 就已经投了 2 个。

今年 1 月份已经领投了 Luma AI 的 4300 万美金 B 轮融资,Luma AI 做的事情是利用 AI 从简单的输入如文本和图像中创建高质量的 3D 内容和视频,从而使用户能够使用普通的智能手机摄像头轻松创建逼真的 3D 模型。

其技术被广泛应用于游戏开发、电子商务、建筑设计等领域,为这些行业提供了一种新的视觉解决方案。仅在上线的第 1 天,就吸引了数万名用户。

今天,a16z 又领投了 Viggle 的 1900 万美金(2600 万加元) A 轮融资。Viggle AI 可以说是目前非常热门的一款 AI 创意产品,它专注于角色动画和视频创作,你可以通过其 AI 来生成各种动作舞蹈的动漫视频,也可以直接上传一张图并选择某个动作模板来生成各种跳舞类视频,从而实现类似让图片跳舞的效果。

比方说你选择了一个舞蹈的视频模版,再上传一张你自己的照片,很快它就能生成一个是你在跳舞的视频,通过其各种模版,你可以实现各种非常有趣的视频效果。

目前 Viggle 的 Discord 社区的用户已经超过了 430 万,3 月份上线了独立的 App 产品,我自己简单体验了一下,整个操作非常简单。

这种根据文本提示或通过将图像与现有视频剪辑无缝融合来创建视频的方式,不仅使动画制作平民化,让没有专业技术知识的用户也能毫不费力地制作出动感十足、引人入胜的内容,同时这种灵活性满足了从专业项目到个人娱乐的各种创意需求。

其最大的特点是能够生成非常逼真的角色动作,可以让其成为电影制作人、动画师和游戏设计师的强大工具。使专业人员能够高效地对创意进行可视化和原型设计。

其背后采用了团队自己开发的 JST-1 模型,Viggle 称这是第一个具有实际物理理解能力的 3D 视频基础模型,它结合了物理知识,支持创建更逼真的人物动作和表情。

Viggle CEO Hang Chu 说,Viggle 与其他人工智能视频模型的主要区别在于,Viggle 允许用户指定他们希望角色做出的动作,而其他人工智能视频模型通常会创造出不符合物理定律的不切实际的人物动作:

Viggle 本质上是在构建一种全新类型的图形引擎,但完全基于神经网络,这个模型本身与现有的视频生成器非常不同,后者主要基于像素,并不真正理解物理结构和属性。而 Viggle 的模型旨在具有这样的理解,这就是为什么在生成的可控性和效率方面显著更好。

目前 Viggle 的用户主要包括两种类型,一种是将其用作制作表情包的新工具的人,另一种是专业人士,包括创作者和电影游戏工作室的工作人员,他们将其作为内容制作和可视化工具。

Viggle 的创始人兼 CEO Hang Chu 是一位华人,其本科就读于上海交通大学,之后去康奈尔和多伦多大学读了硕士和博士,之后在 Google、英伟达、Facebook 和 Autodesk 工作过。

根据最近他与 a16z 的一个对话视频,他说他们一开始做这个产品的核心一点就是要确保产品简单易用,因此就设计了只需要两个提示即可完成整个操作,一个是图像提示即角色,另一个是通过文本或视频的动作提示。

一开始他们主要考虑的用户是电影制作者和游戏制作者,他们使用这个工具进行快速动画预可视化,但完全没有想到这个产品会因为制作 Meme 而走红,其中有一个模板是小丑(Joker)走上舞台,然后视频中的角色被替换成小丑角色,他说他们看到数以百万计的不同角色都在重混这个相同的时刻。

你只需要上传一张图片,然后在几秒钟内你就可以把自己放在那个时刻,而后创作者社区给其贡献了大量的模版创意。

Hang Chu 提到有两条通向建模现实世界的主要路径:一种是像素级的方法,Transformer 模型在这方面非常出色,但它有一个缺点,就是很难操作像素,而现实世界本质上是 3D 的,是物理的,所以像素并不是一种高效的表示方式。但它的优势在于你可以用任何视频进行训练,并生成任何东西。希望通过大规模扩展,控制能力会逐渐显现。

而 Viggle 正在采取另一种不同的路径,他们希望首先确保控制能力的精确性,就像图形引擎一样精确可控,然后再从那里进行扩展。

Hang Chu 认为,Viggle 是一种全新的内容消费方式。在 AI 之前,如果我喜欢某个时刻,我会分享它。现在,你可以对那个时刻有更深的参与度:

我可以非常喜欢某个时刻,以至于我想把自己的头像放进去。这几乎像是在一个平行宇宙中,我想看看自己在那个时刻的样子,亲自重温那个时刻。这是一种新的内容消费方式,将会带来更多的娱乐性和更多的控制,更个性化和定制化的体验。

我觉得这已经有点抖音/TikTok 的感觉了,就是通过大量模版让用户创作出类似的视频进而实现更大的传播,而搞笑类舞蹈视频是人们最容易玩的一种形态。Hang Chu 说他们在搞笑方面是非常认真的,而这需要相当严格的研究来实现。

Viggle 通过 AI 与视频结合来做创意,而 AI 与漫画结合也是一个不错的方式,最近一个 AI 漫画平台增长非常快,过去一年其用户增长了 10 倍刚拿了 1000 万美金的融资,相比于 AI 视频,漫画在剧情和故事情节方面可能具有更多……

加载中...