python代码画图,用c画简笔画

　　微信官方账号关注“GitHubDaily”

　　把它设为“星星”，每天带你逛GitHub！

　　由大数据文摘制作

　　作者：hxdhj

　　让蒙娜丽莎笑对人工智能来说并不新鲜。

　　试想一下，如果在画纸上创作的图像可以实时动画化，那优雅的美可能会被吓死。

　　没错，今天我要给大家介绍的就是捷克理工大学和Snap研究小组共同研发的一种全新的风格转换技术。在“使用基于几个补丁的训练进行交互式视频造型”一文中，他们提出这种技术对于将某种绘画风格的静态图像实时格转换为动态动画将是足够的。

　　嗯，效果你自己才知道：

　　据了解，研究小组在将手写风格转换为图像或视频的过程中使用了深度学习、仅仅对样式进行转换，内容原型的创作风格丝毫不会受到影响。

　　同时，与之前的转换方式相比，本技术无需借助庞大的数据集，甚至无需进行预训练，关键帧的样式设置，是训练网络的唯一数据源。

　　20万参数设置，每秒17帧进行风格转换。在整个实验中，研究人员主要使用的编程语言是C++ 和 Python。

　　对于评估序列中选定的帧，研究人员计算了它们的风格化，这是在使用48个Nvidia Tesla V100 GPU的环境中模拟3天后完成的。

　　整个实验共抽查了大约 200,000 个不同设置的超参数(超参数)，对比实验在以下区间进行：WP (12，188)，Nb (5，1000)，NR (1，40)，(0.0002，)

　　下图比较了不同超参数设置的视觉质量。超参数优化的一个有趣结果是，在左图中，一批面片Nb=40相对较少，这与所选的基于面片的训练方案相互作用。虽然常见的策略是尽可能地扩展Nb以利用GPU能力，但在某些情况下，增加Nb实际上只会适得其反，因为它将训练方案变成了全帧方案，这往往会使网络在关键帧上过度拟合。

　　中间的图像是最佳的面片大小Wp=36，较小的面片可能无法提供足够的上下文，较大的面片可能会扭曲目标对象，从而使网络对目标对象扭曲导致的外观变化的抵抗力下降。

　　但在右图中，令人惊讶的是，尽管有一个微妙的鞍点，但ResNet块的数量Nr对质量没有明显的影响。通过对学习速率参数进行实验，可以发现类似的效果。

　　在优化了所有的超参数后，研究人员发现，对于一个有效像素为10%，分辨率为640640的视频序列，可以是最佳的补丁大小（optimal patch size）为 Wp=36。

　　研究人员使用一组分辨率从350350到960540的视频序列来评估该系统。这些视频包含不同的视觉内容，如人脸和人体，以及不同的艺术风格，如油画和粉笔画。

　　对于一个相对简单的序列，只有一个关键帧可以用于样式转换，而对于一个更复杂的序列，需要多个关键帧。在训练之前，研究人员用双边时间过滤器对目标序列进行了预过滤。当序列包含不明确的内容时，使用随机着色的dpdjm混合物来计算辅助输入层，以跟踪目标序列中的运动。

　　在训练阶段，研究人员从所有关键帧K中随机选取mask Mk中的面片，分批反馈给网络，计算损失和反向传播误差。然后，他们在英伟达RTX 2080 GPU上进行训练和推理。训练时间与输入面片的数量成正比。例如，对于包含遮罩中所有像素的512512关键帧，训练时间为5分钟。训练结束后，整个序列可以以每秒17帧左右的速度进行风格转换。

　　如何进行实时风格转换？相关的风格转换技术早在2016年就想到了。当时在一篇名为《利用卷积神经网络进行图像风格转换》的论文中，研究人员提出了一种以每秒 17 帧的速度进行风格转换，可以有效区分内容和风格，同时保留内容转换风格。

　　之后还有一些将这种技术扩展到电影或视频领域的应用，其中结合了 VGG 与 CNN 的转换技术是关键。

　　2019年，一些研究人员提出了一种机制，可以改变视频的一个关键帧，并将其传输到另一个序列(整个视频)。这种基于补丁的输出可以得到高质量的结果输出。

　　但这些转换技术只能对连续视频进行风格转换，即不支持找到分离图像内容和样式的损失函数，而这些才是可以实时转换图像的核心技术。

　　为了实现实时的风格转换，研究人员在设计系统时参考了前人的一些研究。比如在设计滤镜的时候，他们采用了基于U-net的图像到图像的转换框架。这种定制的网络架构可以保留原始样式范例的重要高频细节。

　　然而，在训练过程中，他们发现系统产生的结果质量无法达标，因为原始网络是基于FaceStyle算法产生的大量风格样本数据集进行训练的，这使得这种方法在很多场景下无法使用。同时，原方法没有考虑时间的连续性，生成的序列也含有明显的时间闪烁。

　　为此，研究人员改变了网络的训练方法，提出了一个优化问题，允许对网络结构和超参数进行微调，从而获得可与目前最先进的风格化质量相媲美的风格化质量。这样即使少量的训练样本也能达到目的，训练时间短。

　　当然，除了滤镜设计，研究团队还做了很多创新，实现了实时的风格转换，这里我就不太戏剧化了。想了解更多详情的朋友可以去原文挖宝~

　　纸质链接：

　　https://ondrejtextler . github . io/RES/tex ler 20-SIG _ patch-based _ training _ main . pdf

　　-微信官方账号：GitCube，由GitHubDaily原班人马打造，已正式上线！接下来，我们会在微信官方账号上为大家分享优质的计算机学习资源和开发者工具，坚持每天输出一篇原创文章。感兴趣的朋友可以关注一下！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。