导航
English GitHub
E-mail geosoftpku@tom.com
E-mail geosoftpku@tom.com
时空大数据与社会感知研究组
成果速递
当前位置: 中文主页 >> 科研成果 >> 成果速递

基于生成对抗网络的地图样式风格迁移

发布时间:2019-10-24 点击次数:

作者介绍

康雨豪,美国威斯康星大学麦迪逊分校地理系硕博连读研究生,空间数据科学实验室(GeoDS@UW)成员。 2018年取得武汉大学理学学士学位。2019年夏在麻省理工学院MIT Senseable City Lab访问; 2018年夏在摩拜单车算法组实习; 2017年夏在北京大学遥感所刘瑜教授课题组访问。主要研究方向为基于场所的空间研究,地图学,地理时空智能知识挖掘与分析。

 

内容导读

请看下图,你能立刻分辨出哪一张图是真实的地图,哪一张是计算机伪造的地图吗?

1

本文基于人工智能提出了一种可以迁移多尺度地图风格的框架。特别地,我们识别了目标地图,包括Google地图,OpenStreetMap地图和艺术画作中的设计元素,并通过两种生成对抗网络模型(GAN)将其迁移到了没有样式的原始矢量地图数据中。之后,我们基于深度卷积神经网络训练了一个二元分类器,来判断迁移风格后的地图是否保存原有地图要素。本研究的结果表明,生成对抗网络在多尺度地图样式的迁移中有巨大潜力,但仍存在一些挑战需要在之后的工作中解决。

 论文于2019年5月发表于国际制图协会(ICA)的旗舰期刊:International Journal of Cartography,并将参加2019年7月在日本东京举行的第29届国际制图学大会(ICC2019)。

 

研究背景

地图样式是地图设计中的重要部分。不同的地图样式和风格会给人带来不同的视觉感受(图2)。随着互联网的不断发展,制图学家需要定义一系列样式以满足不同尺度下地图风格设计的需求,一系列电子地图服务和技术为此提供了支持,包括CartoCSS, Mapbox Studio, TillMill, TileCache等。这些基于规则的服务为电子地图样式,风格,色彩的设计提供了基础。

本文探究了人工智能(AI)在地图制图中的应用,以了解AI人工智能是否能迁移地图风格,提高地图表达,并帮助地图学家自动化制图中的步骤。

2

本文的研究问题如下:(1)哪种类型的地图要素能被迁移到其他地图上?(2)哪种AI算法能够进行地图风格迁移?(3)迁移后的结果地图是否仍然能被称之为地图?

研究方法

研究流程如图3。

首先,获取了OpenStreetMap的原始矢量地理数据并发布为切片地图,该数据即为“原始风格地图”。同时下载了Google地图切片,作为“目标风格地图”,另外还收集了莫奈画作。

为了完成地图风格的迁移,本研究训练了两种生成对抗网络模型(GAN),分别是Pix2Pix和CycleGAN. 前者针对的是成对(paired)数据,即输入的原始风格地图和目标风格地图显示的地理范围应相同;后者则针对不成对(unpaired)数据。风格迁移后计算机输出的地图称之为“迁移风格地图”。

之后,为了确保生成的迁移风格地图仍然保留了地图的要素,本文基于深度卷积神经网络GoogLeNet训练了一个二元分类器。该分类器可以判断产出的迁移风格地图是否是地图。

3 工作流程

 

实验结果

本研究分别探究了Pix2Pix和CycleGAN在不同尺度下(切片地图15层级和18层级)地图风格迁移的结果。具体如下(图4,图5):

4 Pix2Pix的结果,左图为15层级,右图为18层级,中间一列为训练后生成的地图

5 CycleGAN的结果,左图为15层级,右图为18层级,中间一列为训练后生成的地图

 

可以看出,生成对抗模型在地图风格迁移方面具有极大潜力。生成的“迁移风格地图”中,道路、建筑等地理要素的形状、邻接关系等均能较好的保留,风格、色彩等地图设计式样均与谷歌地图类似。二元分类器的结果显示,相比于Pix2Pix, CycleGAN生成的“迁移风格地图”风格地图能保留更多的地图要素。

讨论

本研究最初的想法和动力来源于手绘地图。是否能让机器识别出手绘地图中的地理要素?是否能用机器自动生成带有艺术画作风格的地图?因此,本研究不仅探究了将谷歌地图风格迁移到“原始风格地图”的结果,还尝试了将艺术风格作品(具体而言,莫奈画作)迁移到“原始风格地图”。结果如下,可以看出,效果并不理想,生成的“迁移风格地图”虽具有一定的艺术风格,但地图要素被遗漏。未来仍需在本方向进行更深入的探索。

6 生成的具有艺术风格的地图

本研究对于地图综合领域具有借鉴作用,从图7中可以看出,在生成“迁移风格地图”的过程中,模型学习到了部分地图综合的规则,建筑物等在15层级的地图中消失,为地图综合提供了新的思路。

7 地图综合现象

然而,本研究仍存在一些不足和挑战,例如,地图的标注和标记是地图的重要组成要素,但本模型无法生成具有真实意义的标注和标记(均为乱码)。此外,由于本模型基于栅格切片地图,而传统的样式定义则基于矢量地图,地理要素的拓扑关系在本研究中可能被破坏,这需要在未来的研究中尽量避免。

 

总结

本研究利用生成对抗网络实现了地图风格的迁移。利用Pix2Pix和CycleGAN两种模型,将无样式的“原始风格地图”和其他地图样式的“目标风格地图”相结合,生成了“迁移风格地图”。本研究探索了人工智能在制图学中的应用,可以为制图爱好者简化制图过程。未来的研究方向包括任意风格地图的迁移、地图综合等。

 

参考文献

 

Yuhao Kang, Song Gao & Robert E. Roth (2019) Transferring multiscale map styles using generative adversarial networks, International Journal of Cartography, DOI: 10.1080/23729333.2019.1615729