作者介绍

张帆，北京大学遥感与地理信息系统研究所助理研究员。2017年在香港中文大学获得博士学位；2015-2017年在麻省理工学院Senseable City Lab访问；2013年在联合国亚太经社委员会实习。

 

内容导读

城市视觉环境反映了城市风貌、功能和格局，并影响和塑造了人们在城市中的情感、活动和出行。本研究利用街景自然影像来刻画城市视觉环境，借助深度学习模型挖掘街景内容，并提出了场景表达向量（street visual descriptor）和场景语义树（street scene ontology），来更好得辅助城市视觉环境的定量分析和定性理解。

 

方法与框架

场景表达向量

  场景表达向量是由视觉要素组成的，可以用来量化得表达特定的城市场景。我们将获得这个场景表达向量的过程分为三个步骤：

      

  首先，我们采用基于深度学习的场景语义分割方法，计算出图片中每一个像素点所属的语义类别，获取场景中的视觉要素（例如建筑物、车辆、天空等）。具体来说，即利用PSPNet模型，以较高得准确度得到64种常见物体中每一类物体在图片中的占比    

图 1. 基于深度学习的场景语义分割方法

  之后，将64类物体在图片中的占比组合起来，形成一个64维向量：

   

  其中，向量中的每个维度代表一个特定类别的物体（例如建筑物）在图片中占比。

   

图2. 不同类型道路的街景和其对应的场景要素占比分布

  图2显示了不同类型的道路中主要物体的占比情况，可以看到他们的64维向量有较显著的差异。相对的，通过一张街景图片的64维向量，也可以推测其场景类型或道路类型。

  最后，将整条街道中所有街景的物体占比聚合起来，获得街道的场景表达向量：

   

  通过这样的场景表达向量，我们可以观测和量化一整条街道的视觉要素。例如，图3展示了北京地区各条街道上人行道的占比情况。

   

图3. 北京地区五环内街道中人行道在可视域中的占比分布

场景语义树

  事实上，在城市研究中，我们往往因关注问题类型的不同而关心不同层级的要素，例如通过观测城市区域中动态要素和静态要素的分布情况来理解人地关系，通过观测自然景观和人造地物要素的分布来讨论人居环境和可持续发展的设计等。

  基于这样的思路，我们梳理了64类物体的所属类别、层级和关系，提出了场景语义树，如图4所示，白色节点为64类物体，橙色和蓝色节点为抽象得层级和类别。

   

图4. 场景语义树。梳理了城市空间中常见的64类物体的所属类别、层级和关系

  场景语义树的建立，进一步方便我们定性得理解场景类型、街道类型，城市区域类型，同时定量得分析场景的内容和类别。例如某区域植被的观测过程中，结合场景语义树，我们既可以关心某一类植被（树木、花、草地等）的具体分布，也可以将与植被相关的6类物体聚合起来，观测植被的整体覆盖情况。

 

实验与应用

区域和数据

  以香港油尖旺地区为研究区域，以5米为间隔，沿路网采集了来自于谷歌街景的41,838 张街景图片。

   

图5. 研究区域：香港油尖旺地区

观测植被和建筑物分布

  如图6所示，通过聚合场景语义树中“Natural”类别和“Building”类别下的所有视觉要素（加和求平均），我们能够观测其在油尖旺地区的空间分布。可以发现在该地区，路网密度较高的地方自然要素分布较少，而建筑物密度较高。

图 6. 香港油尖旺地区“Natural”类别和“Building”类别的分布。右图展示了“Natural” 类别和“Building” 类别在场景语义树中包含的子类别和视觉要素

 

  类似地，我们可以利用场景表达向量和场景语义树来观测区域的天空开放度、绿视率、街道步行适宜度、街道活力等指标，为城市设计和城市规划提供参考。

 

理解城市空间结构

  场景表达向量和场景语义树提供了一个对城市空间进行定量和定性研究的工具。图7展示了直接利用街道的64维场景表达向量进行街道聚类的结果。利用k-means工具进行聚类，类别参数分别为2,4,7，从结果中可以观测到显著的空间模式。

   

图7. 油尖旺地区街道聚类结果

 

  表1展示了油尖旺地区场景要素的比例和路网空间句法指数的相关关系。例如，我们发现 “Connectivity”较高的地区建筑物(Building)、人造地物(Construction，Man-made)、动态要素(Dynamic)的占比较高，而自然要素(Natural)，天空开放度(Sky)，植被(Vegetation)占比较少。结论揭示了城市风貌与城市路网拓扑结构间显著的相关关系。

   

表1. 油尖旺地区街道场景要素的比例和路网空间句法指数的相关关系

 

理解居民城市感知

  城市视觉环境中的哪些视觉要素，会潜在地影响居民对所处环境的情感感知？我们利用一组有居民打分标注的街景数据，结合场景表达向量进行了回归分析。具体地，将街景图片的压抑感评分作为因变量，将场景表达向量的64维视觉要素占比值作为自变量。分析结果如图8所示，树木，草地，小径等视觉要素与压抑感评分呈负相关；而天空，建筑，围墙等要素与压抑感呈显著正相关。

   

图8. 场景视觉要素比例与个体压抑感评分的相关关系

结论

  本研究利用街景自然影像来刻画城市视觉环境，借助深度学习模型挖掘街景内容，并提出了场景表达向量（street visual descriptor）和场景语义树（street scene ontology），旨在辅助城市风貌研究的定量分析和定性理解。

  城市风貌同样可以潜在地反映社会经济状况。在未来的研究中，利用场景表达向量和场景语义树我们会进一步研究城市风貌与社会经济指标、居民出行活动等间的联系，帮助我们更好得理解城市环境和自然环境。

  研究成果发表在Computers, Environment and Urban Systems中。

参考文献

Zhang, F., Zhang, D., Liu, Y., & Lin, H. (2018). Representing place locales using scene elements. Computers, Environment and Urban Systems. 

https://doi.org/10.1016/j.compenvurbsys.2018.05.005

 

素材来源：S³-Lab

  材料整理：张  帆  

内容排版：鲍  毅