《泰坦尼克号》漫画版？中国高校学者开发全自动漫画生成系统

学术头条

· 6小时前

微信扫码

18.9k

8

1

来自大连理工大学和香港城市大学的研究人员在自动创作领域又做出了新成果，该团队联合创建出了一个可以自动生成漫画书的新型系统，该系统通过从电视剧、电影、动画或其他视频中提取数据，从而创作漫画书。

《泰坦尼克号》漫画版？中国高校学者开发全自动漫画生成系统

00:00 08:16

图片来源@视觉中国

文 | 学术头条

近年来，随着计算机科学得到飞速发展，科学家们不断取得新的技术突破，尤其是随着机器学习的迅猛发展，各种各样的计算模型被创造出来，比如可以自动生成文本、图像和其他类型数据的计算模型。这些模型相较于传统计算模型，在创建对人类手工制作要求高、耗时长的数据或创意作品时，表现出了很大的优势。

例如，在人工智能领域不断涌现出一批具有超凡本领的创作机器人，有自动创作水墨画的 “艺术家”，自动写作诗歌的 “文学作家”，自动生成高考作文的 “高考小能手”，经过大量的经验训练，这些计算模型甚至拥有了过人的创作力。

而今，来自大连理工大学和香港城市大学的研究人员在自动创作领域又做出了新成果，该团队联合创建出了一个可以自动生成漫画书的新型系统，该系统通过从电视剧、电影、动画或其他视频中提取数据，从而创作漫画书。

来源：arXiv

相关研究以 “Automatic Comic Generation with Stylistic Multi-page Layouts and Emotion-driven Text Balloon Generation” 为题，发表在 arXiv 预印本平台上。

研究人员在论文中写道：“我们提出一个全自动系统，从任意类型的视频（电视连续剧、电影、卡通剧）生成漫画书。我们的系统不需要用户的任何手动输入，可以生成高质量的漫画页面，具有丰富的视觉效果和富有表现力的故事。”

漫画是一种艺术形式，一种用简单而夸张的手法来描绘生活或时事的图画。漫画的创作过程往往需要经历选题、搜集素材、绘制分镜草稿和编辑调整沟通等一系列过程，漫画书的创作不仅需要精湛的专业技术，更需要丰富的内容素材和大量的创作精力，通常非专业人士很难制作出自己的漫画书。

在互联网如此发展迅速的当今，网上每天有成千上万的短视频发布出来，结合漫画便捷的阅读形式和出色的故事描述技术，人们不禁会想象是否可以将这些视频自动转换为具有丰富的视觉效果和出色的叙事能力的高质量漫画书？

近年来，由视频生成漫画的相关技术取得了一定的进展，但所创建的模型大多不是全自动的，生成的漫画作品要么需要额外的用户输入，要么使用简化的表示形式或方法进行漫画页布局，从而导致整个漫画效果缺乏视觉多样性和表现力。

该最新研究解决了通过算法在页面之间分配所选关键帧，然后在每个页面漫画风格的布局上组织关键帧的问题。研究人员采用一种数据驱动的布局方法，从漫画数据中学习布局样式，通过自动从关键帧中提取系统的输入来扩展他们的方法，因此无需任何形式的用户输入，即可实现布局框架的完全自动化。