各种数据模态的AIGC（人工智能内容生成）方法总结

23年8月新加坡技术和设计大学发表的综述，“AIGC for Various Data Modalities: A Survey“，讨论多种模态的AIGC技术调研。

AI 生成内容 （AIGC） 方法旨在使用 AI 算法生成文本、图像、视频、3D 资产和其他媒体。由于其广泛的应用和最近工作的潜力，AIGC的发展最近引起了很多关注，并且已经为各种数据模态开发了AIGC方法，例如图像，视频，文本，3D形状（如体素、点云、网格和神经隐式场）、3D场景，3D人类化身（包括身体和头部的avatar）， 3D 运动和音频 – 每种运动都有不同的特征和挑战。此外，跨模态AIGC方法也有许多重大发展，其中生成方法可以在一种模态中接收条件输入，并在另一种模态中产生输出。示例包括从各种模态到图像、视频、3D 形状、3D 场景、3D 化身（身体和头部）、3D 运动（骨架和化身）和音频等模态。

本文全面回顾不同数据模态（包括单模态和交叉模态方法）的AIGC方法，重点介绍每种环境中的各种挑战，代表性工作和最近的技术方向。还以各种方式展示几个基准数据集的比较结果。此外，还讨论了挑战和潜在的未来研究方向。

以下内容强调一下3D内容生成。

3D形状模态

神经隐式场

神经隐式场（或神经场）是对 3D 形状的隐式再现，其中神经网络“表征”3D 形状。为了观察3D形状，3D点坐标作为输入馈到神经网络中，并且可以预测与每个点相关的属性。神经场预测的属性往往是占用值 [27]、[312] 或符号距离值 [28]，可以从中推断出 3D 形状。例如，通过查询 3D 空间的占用值，可以推断 3D 形状占用了 3D 空间的哪些区域。神经场具有作为连续表示的优势，以高分辨率和高内存效率对 3D 形状进行编码。还可以灵活地编码各种拓扑。然而，从神经场中提取 3D 表面通常很慢，因为需要用神经网络（通常是 MLP）对 3D

文章来源于互联网:各种数据模态的AIGC（人工智能内容生成）方法总结

相关推荐: AI绘画升温、AI写作降温，AIGC玩“变脸”

前言 AI作为先进科技技术的代表领域之一，一直都颇受人们的关注。经过这些年的发展，AI越来越聪明，甚至在某些领域已经能达成甚至超越人类的能力水平。本文作者围绕AI进行了分析，希望对你有帮助。 自柯洁在“围棋人机大战”中惜败AlphaGo后，AI再次上演打败艺术…