在当前人类纪世代, 全球气候与土地利用方式正经历剧烈的变化, 由此导致的物种分布和数量也都在快速地改变。人类赖以生存的生态系统有60%正处于退化或者不可持续利用状态(
同样, 因为缺乏详细且及时更新的物种分布信息, 生物多样性研究领域的许多重要生态学理论问题也都悬而未决。例如, 受经典野外样方调查面积的限制, 植物群落生态学研究的样方尺度很少突破25 ha (Anderson-Teixeira et al, 2015), 因此很难实现区域范围(特别是在人迹罕至的边远地区)的物种多样性监测, 这就限制了生态学家对于种子扩散等具有较大空间尺度的生态过程的详细研究与理解(Wang & Smith, 2002)。此外, 受野外人工调查的限制, 生态学家较难开展时间和空间上较为密集的多样性调查, 也很难获得区域范围的植物群落功能性状等的空间格局特征(张志明等, 2017), 这在很大程度上妨碍了研究者们对生境破碎化如何影响群落动态和生物多样性的理解。在有限的人力与物力条件下, 许多物种多样性调查样方仅覆盖了研究区域面积的1%以下; 而且由于许多调查数据更新周期长, 难以真实反映当今剧烈环境变化下物种多样性的现状。为克服这些难题, 已有一大批理论生态学家致力于探索不同时空尺度下生物多样性格局的尺度推绎(scaling)规律(Chesson et al, 2005)。然而由于在不同时空尺度上占主导地位的格局和过程不同、空间异质性因尺度而异等原因, 影响物种分布的因素纷繁复杂, 尺度推绎理论进展缓慢; 并且精确检验这些理论依然需要较大尺度的生物多样性调查数据作为依据(邬建国, 2007)。
在此背景下, 发展一种自动高效的多样性调查方法对于生物多样性研究与保护具有重要理论与实践意义。本研究聚焦于利用森林冠层影像开展林冠层植物多样性监测的最新发展趋势。森林林冠层植物不仅在地球生态系统的碳氮养分循环中扮演着极其重要的角色, 而且是人类社会许多生产资料(如木材)的提供者以及区域生态安全的重要屏障(宋永昌, 2001)。研究与监测森林林冠层植物多样性对了解整个森林生物多样性具有重要的意义。
但通过冠层影像开展冠层物种多样性监测并非易事。第一, 绝大部分树种的林冠都呈现相似的绿色(图1A), 使得基于普通RGB影像的物种识别极其困难(谭炳香等, 2008)。这种限制在物种多样性较高的群落中尤为突出。第二, 虽然不同物种的林冠在不同物候期可能会呈现不同的色彩, 但受限于作为冠层影像来源的卫星访问周期, 要获得丰富、连续的不同物候期冠层影像数据成本较高, 而且这些影像分辨率往往在米级别或以上(郭庆华等, 2016), 这使得基于冠层影像的物种识别更加困难。第三, 即使获取了高时空精度的冠层影像, 如何从中准确提取植物物种和个体信息又是一道难题。
图1
图1
浙江天童亚热带常绿阔叶林典型森林冠层RGB影像与高光谱影像示意图。(A)普通RGB影像, 仅包含红(620-760 nm)、绿(500-560 nm)、蓝(430-470 nm) 3层信息, 因此在RGB影像中多数常绿树种的冠层呈现近乎相同的绿色, 给冠层树种的识别造成了极大的困难; (B)冠层高光谱影像的三维立体展示, x轴为扫描长度, y轴为扫描宽度, z轴为光谱轴; (C)选定像素的光谱反射曲线, 横坐标代表波长, 纵坐标代表波段反射率值, 该像素在不同的波段下表现出不同的反射率值, 组成了一条近乎连续的光谱曲线。
Fig. 1
RGB image and hyperspectral image of typical forest canopy of the subtropical evergreen broad-leaved forest in Tiantong, Zhejiang Province. (A) Ordinary RGB images only contain three layers of information: red (620-760 nm), green (500-560 nm) and blue (430-470 nm). Therefore, the canopy of most evergreen tree species is almost the same green in RGB images, which makes it very difficult to identify the canopy species; (B) Three dimensional display of canopy hyperspectral image, x-axis is the scanning length, y-axis is the scanning width, z-axis is the spectral axis; (C) The spectral reflection curve of selected pixel, abscissa represents the wavelength, ordinate represents the band reflectance value, the pixel shows different reflectance values in different bands, forming a nearly continuous spectral curve.
近些年各种技术的飞速发展使得解决上述三个难点成为可能, 为基于冠层影像的植物多样性监测提供了新方法。首先, 高光谱相机成本降低, 这使得收集冠层高光谱影像不再是极其昂贵的步骤, 大量高光谱冠层影像为物种识别和个体定位提供了原始数据; 其次, 无人机和空间定位技术的发展使得生态学家也能轻松操控无人机进行冠层影像拍摄, 这为大面积、高频率的冠层多样性监测提供了数据收集的技术方案; 最后, 更强大的计算机硬件和便于掌握的深度学习应用算法框架, 为图像分析带来了革命性的改变, 使得从冠层影像中提取个体及物种信息成为可能(Wäldchen & Mäder, 2018)。
本文将从森林冠层高光谱影像出发, 介绍与多样性监测相关的无人机航拍和基于深度学习的图像处理技术; 并结合已有文献, 探讨应用无人机高光谱摄影对森林冠层树种多样性监测的研究现状、可行性、优势等; 最后基于现有研究的难点和缺陷, 探讨该领域今后发展的重要研究方向。
1 森林冠层高光谱影像
图2
图2
冠层RGB影像与主成分分析(PCA)处理后的冠层高光谱影像对比图。(A)冠层RGB影像, 各树种冠层呈现相近的绿色; (B)通过PCA处理后的前三轴的冠层高光谱影像, 不同树种的林冠呈现不一样的颜色, 这意味着高光谱影像具备充分的潜力, 能够反映出不同树种之间的细微差异。
Fig. 2
Comparison of canopy RGB image and canopy hyperspectral image processed by principal component analysis (PCA). (A) The canopy RGB image shows that the canopy of each tree species is similar in green; (B) Through PCA processing of the first three axes of the canopy hyperspectral image, the canopy hyperspectral image of different tree species shows different colors, which means that the hyperspectral images have full potential to reflect the subtle differences between different tree species.
不同物种和不同树木个体间存在可测量的光谱差异, 是基于冠层高光谱影像的物种多样性监测的基础。具体而言, 当太阳辐射到达植物时, 可能被反射、吸收或转化。所有植物都含有能形成反射光谱的基本成分, 包括叶片色素、水分、蛋白质、淀粉、蜡和其他结构分子, 如木质素和纤维素。常用于物种分类的高光谱波段范围为400-2,500 nm, 其中包括可见光部分(VIS, 400-700 nm)、近红外部分(NIR, 700-1,000 nm)和短波红外部分(SWIR, 1,000-2,500 nm) (Adam et al, 2010)。在绿叶中, 光合色素(叶绿素a和叶绿素b)和辅助色素在可见光波段范围内表现出较高的吸收率; 水分则在近红外较窄波段表现出吸收特征(Rivard et al, 2008); 在短红外波段内, 具有高信噪比的高光谱传感器可以探测到木质素、纤维素、蛋白质等吸收特征信息(Clark & Roberts, 2012)。除化学组成外, 影响光谱的因素还包括植物组织内部和表面的结构, 这些会影响光子的散射和传输。植物的独特生化和结构特性可以转化为物种水平的光谱特性, 而高光谱传感器可以探测到这些光谱特异性(Adam et al, 2010)。目前已有越来越多的证据表明, 不同植物物种所具有的独特光谱特征能被高光谱传感器所探测(Asner et al, 2009)。图3展示了4个不同物种(包含5个不同个体) 的光谱特征曲线, 从中可以清晰地看到, 这些物种的光谱具有明显差异, 同一物种不同个体间也存在光谱差异, 这虽然向基于高光谱的物种分类提出了挑战, 但也为种间与种内的物种多样性监测提供了丰富的数据基础。
图3
图3
个体的林冠层光谱特征曲线。(A)主成分分析(PCA)处理后的冠层高光谱影像, 其中数字①-⑤分别代表不同的个体。(B) 5个林冠个体的光谱反射曲线。不同的植物因其化学性质和结构的不同, 表现出不同的光谱反射曲线, 这是基于光谱物种分类的基础。
Fig. 3
Individual canopy spectral characteristic curve. (A) In the hyperspectral images of forest canopy processed by principal component analysis (PCA), the numbers ①-⑤ represent different individuals; (B) Spectral reflectance curves of five canopy individuals. Different plants show different spectral reflectance curves because of their different chemical properties and structures, which is the basis of spectral species classification.
2 无人机航拍与空间定位
生物多样性监测不仅需要收集物种的光谱信息, 还需要知道具体有哪些物种, 并了解这些物种的时空分布。这些时空信息需要自动高效的数据收集手段作为支撑。近些年来, 无人机近地面遥感技术不断发展完善(无人机近地面遥感系统工作示意图见附录1), 具有系统性、即时性、非破坏性的遥感技术可实现长期标准化地重复对地观测, 为多样性监测提供了及时并且相对准确的信息(Adam et al, 2010; 唐志尧等, 2018)。相较于传统的实地样方调查, 利用无人机成像平台进行冠层植物多样性监测可以节省大量的人力物力; 与传统卫星与有人机遥感手段相比, 无人机近地面遥感平台具有高时效/高机动性、高时空分辨率和低费用等优势(胡健波和张健, 2018), 能够获得更高质量的野外观测数据。因此, 无人机遥感是一种高性价比的工具, 使得生态学研究者能够以鸟瞰的视角获取森林冠层的数据。
随着我国北斗导航网络的建成和千寻位置服务的普及, 无人机的空间定位能力有了极大的提升。在手机移动网络信号较好的区域, 无人机可以实现厘米级的实时空间定位。我们不仅可以使用无人机定期拍摄冠层影像, 而且可以拍摄同一位置同一角度的不同时期影像, 从而大大简化了后期冠层多样性监测影像的比较分析流程。在无手机信号的偏远山区, 同样可以通过后差分技术获得厘米级的空间位置信息。此外, 目前无人机飞控系统已经能够实现全程自主飞行(兼容手动飞行)、多元化空间数据获取、精准地形变高飞行等功能。国内无人机技术已处于世界顶尖行列, 已有平台开发出多种机型的无人机, 能搭载如激光雷达、一般可见光、多光谱、高光谱在内的多款相机, 以及最近开发的无人机自动起降平台, 能满足生态学家对于研究区域多源、多时相的监测需求(
然而, 利用无人机收集高光谱数据需要考虑光照、风速等天气因素; 在实际飞行过程中, 为了覆盖大片区域, 一般需要设定多条飞行路线, 这些路线会受到采集时间、太阳角度、天气条件和潜在的不同植物物候状态的影响(Fricker et al, 2019), 所以在飞行之前需要进行一定量的前期准备工作, 如无人机飞行航线预设、反射率设置, 飞行安全保障等, 以保证高光谱影像的质量。相对于RGB影像, 高光谱影像具有丰富的光谱信息, 对太阳高度角等外界环境因素很敏感, 所以在飞行过程中也需要不断采集白帧与暗背景以便于后续校准。对于不同类型的高光谱相机收集到的数据, 处理方法有所不同。对于内置推扫式高光谱相机, 图像拍摄结束后, 相片需要依次进行镜头校正、反射率校正、大气校正等。镜头校正主要用以纠正高光谱镜头成像的畸变; 反射率校正用来校正在当前光照条件下物体的真实反射率; 大气校正用于消除水汽等大气因素对于物体反射的影响①(① 陆嘉辉 (2020) 基于林冠高光谱影像的树种分类研究. 硕士学位论文, 华东师范大学, 上海.)。相片校正结束后, 需要将数据文件集导入专业的拼接软件进行图像拼接。一般的拼接软件利用经纬度信息及重投影(reprojection)算法细化高光谱相机参数, 从而实现影像拼接(黄宇等, 2019)。但这种处理方式忽略了高光谱内丰富的光谱信息。如果定位不够精准, 就会产生偏差; 当然也存在一些商用软件可以利用高光谱的光谱特性辅助拼接, 但目前仍处于不断发展过程中, 软件的功能与稳定性逐步提升。对于画幅式高光谱相机, 所得的高光谱影像不需要经过镜头校正, 一般会在采集高光谱影像的同时采集分辨率更高的灰度图像, 先将两者融合, 再与校正后的灰度图像进行影像配准, 得到校正融合影像, 通过影像镶嵌、拼接、感兴趣区域提取、平滑等步骤得到最终影像(秦占飞等, 2016)。而对于随飞行外置推扫式高光谱相机而言, 除了之前的镜头校正、反射率校正和大气校正外, 还需要利用二项反射分布函数(bidirectional reflection distribution function, BRDF)进行正射归一化校正, 采集的图像并不需要拼接, 而是直接利用航带进行分析(荚文等, 2017)。当前无人机图像以及多源数据处理技术日益强大, 一站式行业软件(常用的一站式行业航测图像分析软件见附录2)的进步, 使得后期图像拼接、数据处理有了基本保障, 从而使生态学家们能将更多精力投入到数据分析层面。
高光谱影像因无人机的优势在时间和空间分辨率上得到了很大的提升; 高精度定位技术的发展使得高光谱影像精度有了很大改善。无人机航拍与空间定位技术的快速发展, 使高光谱相机有了更广大的应用平台。在完成初始航线规划和首次监测后, 后期的定期定点冠层多样性监测仅需要将搭载高光谱相机的无人机放在室外, 其他过程都可以通过一站式软件自动化完成。因此, 高光谱相机与无人机的结合, 使森林冠层多样性监测的时空尺度进入一个全新的阶段①(① 涂晔昕 (2017) 基于近地高光谱遥感数据的茶树分类和生化参数反演. 硕士学位论文, 武汉大学, 武汉.)。
3 基于冠层影像的多样性信息提取
高光谱影像在具有丰富光谱信息与空间信息的同时, 也面临着数据量大、数据维度高与数据结构非线性的挑战。高光谱影像的每个像素都包含了数以百计的连续窄带光谱信息, 相邻波段的光谱高度相关, 因而收集到的高光谱往往包含大量冗余信息, 这极大地增加了数据处理的复杂性。不仅如此, 高光谱影像的大量波段数目会大幅度增加高光谱数据的维度, 导致用于参数训练所需的样本数也急剧增加。而在实际数据收集过程中, 样本量往往无法满足需求, 过少的样本量无法保证参数的精度, 使得分类结果不理想。在成像过程中, 太阳发出的电磁波经过折射、散射、吸收等作用后, 部分到达目标区域并和周围地物进行交互作用, 被反射后的部分电磁波再次经过大气到达传感器, 这些复杂的成像过程也导致了高光谱数据的复杂性②(② 林洲汉 (2014) 基于自动编码机的高光谱图像特征提取及分类方法研究. 硕士学位论文, 哈尔滨工业大学, 哈尔滨.)。这意味着高光谱影像面临着数据量急剧增加、计算量增大、信息冗余和非线性程度高等挑战, 这就对数据处理方法提出了更高的要求。
近年来我们共同目睹了深度学习给植物分类带来的巨大进步与便利。人们可以通过手机app (如花伴侣、形色等)拍照识别身边的花草植物。这些app的后台都有强大的深度学习模型作为支撑。冠层物种多样性监测也可以采用深度学习模型从冠层高光谱影像中提取物种信息。深度学习模型类似于我们熟悉的简单线性回归模型。这两类模型都需要给定初始的模型结构, 其中包含待求解的未知参数; 这些未知参数需要通过自变量和因变量相关的观测数据来估计; 参数估计方法也都是基于目标函数的梯度下降法。但它们存在几点重要的区别: 第一, 线性回归模型结构简单, 参数少(≤ 30个), 仅能建立自变量和因变量间的线性关系(Crawley, 2012); 第二, 深度学习模型结构复杂, 往往包含多个隐藏层和上千万个参数; 第三, 模型中包含许多非线性单元, 能建立变量间复杂的非线性关系(Ghamisi et al, 2018)。复杂的结构、海量的参数和非线性单元的联合赋予深度学习模型极强的表达力, 因此它特别适合描述人类感觉上简单但又无法通过线性函数关系描述的变量联系。例如, 植物物种间存在许多差异, 这些差异可以通过人眼和深度学习模型辨认, 但它们很难通过人工定义的函数来表示。
深度学习模型中还有专门模拟生物处理图像信息的网络结构, 例如卷积神经网络模型(convolutional neural network, CNN), 它非常适合从影像中提取重要的特征信息, 相关实例可见下文5.2节。卷积神经网络通过多层网络架构提取特征, 旨在模拟从视网膜到大脑皮层的传导过程, 这些深层结构在图像分类和目标检测方面有巨大潜力(Chen et al, 2016)。如图4所示, 一个完整的卷积神经网络主要包括输入层、隐藏层和输出层。其中输入层一般用于接收固定大小的影像; 输出层一般是分类目标的概率输出; 中间的隐藏层包含卷积层、池化层和全连接层。其中卷积层主要用于表示图像中各种复杂的特征; 池化层一般紧随卷积层, 主要用于从各种复杂特征中提取主要特征; 全连接层则当作分类器, 将传递到网络后端的重要特征与分类目标紧密联系起来。具体的有关深度学习模型及在生态学中的应用的相关介绍可参考Wäldchen和Mäder (2018)、Christin等(2019, 2021)等。
图4
图4
基于深度学习网络的分类模型。模型中包括输入层、隐藏层和输出层, 隐藏层用于提取图像特征, 层数越高, 隐藏层提取的特征越高级。
Fig. 4
Classification model based on deep learning network. The model includes input layer, hidden layer and output layer. Hidden layer is used to extract image features. The higher the number of layers is, the higher the features can be extracted by hidden layer.
4 研究现状
我们在Web of Science中分别输入“hyper- spect*” “deep learning” “UAV”或 “unmanned aerial vehicle”, 并限定搜索类别为“ecology”, 分别对2000年以来生态学研究领域使用高光谱、深度学习以及无人机的文献进行检索, 得到的结果如图5所示。从图中我们可以看出, 近些年来该领域的文献数量整体呈上升趋势, 特别是2015年及以后发表的文献数量大幅增加, 说明高光谱、无人机以及深度学习的研究越来越受到生态学家的重视。下面我们将从不同研究尺度分别对高光谱、无人机以及深度学习应用于生物多样性的研究现状展开介绍。
图5
图5
2000-2019年间生态学领域中分别使用无人机(UAV)、深度学习、高光谱进行研究的文章统计结果
Fig. 5
From 2000 to 2019, the statistical results of articles in the field of ecology using unmanned aerial vehicle (UAV), deep learning and hyperspectral, respectively
4.1 基于冠层光谱多样性的物种多样性调查
由于生化特性与结构不同, 林冠层不同物种间存在可测量的光谱差异, 所以光谱的多样性在某种程度上可以直接反映物种多样性。有研究证明, 利用高光谱特定波段计算出的植被指数与植物多样性之间存在显著相关性(Fairbanks & McGwire, 2004; Cayuela et al, 2006), 如归一化植被指数(normalized difference vegetation index, NDVI)、增强植被指数(enhanced vegetation index, EVI)等, 可以解释区域内物种丰富度或多样性的变化。高光谱以上百个连续且细分的光谱波段对目标区域同时成像, 光谱分辨率非常高(Nagendra, 2001), 这就为大尺度生物多样性监测提供了更为直接、简便的方式(Oindo & Skidmore, 2002; Turner et al, 2003)。
无人机和卫星是目前大面积高光谱数据采集最主要的两个平台。近年来, 有许多研究应用星载或机载高光谱进行区域尺度的物种多样性的研究, 并已取得重要进展。Kalacska等(2007)根据不同植物叶片的光谱特征不同, 并结合物候变化, 利用高光谱卫星图像研究了热带森林的结构与植物区系多样性; 根据不同树种的光谱异质性, Kayet等(2020)利用星载高光谱遥感对Sarandë地区的矿区森林进行了基于Shannon多样性指数的多样性评估, 实现了对矿区森林的有效监测与管理。与卫星遥感相比, 无人机作为近地面遥感平台, 具有小型化、数据收集周期短以及空间分辨率高等优势, 能获得更高质量的高光谱影像。随着无人机机载技术的不断发展, 越来越多的生态学家更倾向于利用无人机来进行生物多样性研究。例如在生物多样性监测和物种分类领域, Vaglio Laurin等(2013)利用不同植物间的光谱异质性, 通过机载高光谱测绘了塞拉利昂国家公园内林区冠层树种的α多样性; 董文雪①(① 董文雪 (2018) 基于机载激光雷达及高光谱数据的亚热带森林乔木物种多样性遥感监测研究. 硕士学位论文, 中国科学院遥感与数字地球研究所, 北京.)基于不同植物间的结构与光谱特征的差异, 利用高光谱数据提取筛选植被指数, 在神农架国家级自然保护区开展了亚热带森林乔木物种多样性监测, 实现了森林乔木物种多样性的区域成图。一些学者还通过无人机高光谱遥感进行了多样性格局及其驱动力的研究, 如Bongalov等(2019)在马来西亚热带雨林中利用机载高光谱数据成功估算了该区域的β多样性指数, 证明了高光谱遥感可用于β多样性测算。在群落构建理论的研究中, 无人机高光谱遥感还能从多样性的各个维度(如功能、谱系等)助力群落构建过程的理解, 如Asner等(2015)结合机载高光谱和激光雷达技术, 评估了安第斯山79个样地的冠层叶片的生化特征, 并将研究扩展到整个秘鲁的热带雨林中, 测量了不同冠层树种的叶片氮、磷含量等7个功能属性, 获得了该区域的功能多样性指数, 并绘制了大区域尺度的森林冠层功能特征图(Asner et al, 2016, 2017)。此外, 在生物多样性保护领域, 由于外来物种的光谱曲线一般与本地物种有所差别, 高光谱遥感可以准确地探测到外来入侵种, 并预测其分布区以及对当地物种多样性的影响(Underwood et al, 2003)。Asner和Vitousek (2005)根据固氮植物叶片氮含量较高这一特征, 利用机载可见/红外高光谱成像仪AVIRIS监测了夏威夷火山国家公园中入侵种火杨梅(Myrica faya)的入侵现状。以上案例表明, 光谱多样性是衡量植物生物多样性的一个新兴维度, 它整合了物种内部和物种之间的性状变异, 即使在缺乏分类、功能、系统发育或丰度信息的条件下, 也可开展高时空分辨率的调查与监测。
4.2 基于物种自动识别的物种多样性调查
除了直接使用光谱多样性反映物种多样性, 也有一部分生态学家尝试使用机器学习算法处理高光谱数据, 得到更精准的物种分类信息, 以进一步开展物种多样性定量化研究。与区域尺度的光谱多样性研究相比, 鉴别出区域内每个物种的空间分布信息对生态学研究的意义更大, 但这也对研究技术提出了更高的要求。首先要解决的问题是如何获得物种的类别信息。在过去的10年中, 各种机器学习算法在树种分类的应用上取得了显著进展(Fricker et al, 2019), 常见的分类算法如支持向量机(support vector machine, SVM)、随机森林(random forest, RF)等, 已应用于(亚)热带干湿森林(Shen & Cao, 2017), 温带、寒带森林(Dalponte et al, 2014, 2019; Ballanti et al, 2016), 人工种植林、农业林(Ghosh et al, 2014; Dalponte et al, 2015; Graves et al, 2016)和城市森林(Pu, 2009; Zhang & Qiu, 2012)等生态系统中。在处理高光谱数据时, 上述这些传统的分类算法尽管取得了一定的成果, 但由于仅提取低级特征并且过分依赖人工选取的特征等原因, 分类精度还有待提高(奚雪峰和周国栋, 2016)。
近年来, 随着计算机技术的不断成熟及机器学习领域的不断发展, 深度学习可以有效弥补传统分类算法的不足, 在高光谱影像处理领域中表现出色。研究发现, 利用深度学习网络提取的判别特征可以明显提高对高光谱影像的物种分类性能(Signoroni et al, 2019)。Hu等(2015)提出了基于光谱数据的深度学习模型, 将其应用于3个公开的数据集上, 分类表现均优于传统的方法, 最终分类准确率超过了90%; Xi等(2019)在中国长白山对7个树种进行了基于高光谱影像的物种分类, 结果表明利用卷积神经网络搭建的分类模型精度(85.04%)要显著大于利用随机森林搭建的树种分类模型(80.16%)。以上案例说明深度学习是进行高光谱树种分类的有效方法。为了更直观地展示深度学习在物种分类领域的优势, 我们收集了近15年来利用高光谱遥感对植物进行物种识别的66个案例。使用Wilcoxon符号秩检验对图6所示4组数据进行统计检验, 得到P = 0.01429。结果显示, 在不同的待分类物种数量下, 深度学习的分类精度均显著高于非深度学习(图6)。
图6
图6
深度学习与非深度学习算法在高光谱树种分类中的表现。通过统计检验结果可看出, 深度学习算法在物种分类中有明显优势。
Fig. 6
The performance of deep learning and non deep learning algorithms in hyperspectral tree species classification. The statistical test results show that the deep learning algorithm has obvious advantages in species classification.
越来越多的研究表明, 随着深度学习技术的不断完善与成熟, 基于深度学习的分类模型在不同森林类型的树种分类任务中都有着良好的表现。在挪威的亚寒带针叶林中, Trier等(2018)利用卷积神经网络对云杉(Spruce)、松树(Pinus)、桦树(Birch) 3个树种进行了基于高光谱像素的分类, 准确度达到87%; 在北美西部的温带混合针叶林中, Fricker等(2019)使用卷积神经网络和机载高光谱,对白冷杉(Abies concolor)、北美翠柏(Calocedrus decurrens)、美国黑松(Pinus contorta)在内的7个物种进行了识别, 准确率达到87%; 在波兰东南部的温带阔叶林中, Raczko和Zagajewski (2018)在国家公园内对桤木(Alnus cremastogyne)、落叶松(Larix gmelinii)等6种温带阔叶林树种进行了基于高光谱和深度学习的树种分类, 分类精度达到87%; 在亚热带地区, 陆嘉辉①(① 陆嘉辉 (2020) 基于林冠高光谱影像的树种分类研究. 硕士学位论文, 华东师范大学, 上海.)研究发现, 利用光谱和纹理信息的树种分类模型精度优于仅用单一信息的模型, 并且将高光谱应用于162个上海亚热带树种分类任务时, 深度学习模型总体分类精度超过80%。这些案例说明, 通过高光谱遥感和深度学习这两种新兴技术的结合, 冠层树种的分类调查有望变得更加简便、高效, 这将极大地拓展生物多样性调查的广度与深度。
5 发展方向
高光谱影像具有丰富的光谱信息与空间信息, 使植物物种识别精度从原始数据上得到了很大程度的提升; 无人机与高光谱相机结合大大降低了数据获取的难度与成本; 将深度学习方法应用于高光谱影像处理, 能够有效提取高光谱影像中包含的物种多样性信息, 加速森林冠层多样性监测研究向自动化、大范围的全新阶段迈进。但由于物种高光谱数据样本量不足、常见的深度学习模型未针对高光谱影像进行充分优化等问题, 该领域的发展受到了限制。在之后的研究中, 如何构建高光谱物种数据库, 如何结合高光谱数据的特征优化物种自动识别算法, 是无人机高光谱冠层多样性监测所面临的主要挑战。
5.1 构建高光谱物种数据库
深度学习为冠层植物分类提供了一套强大而客观的工具, 具有巨大的潜力。但是深度学习模型需要大量的训练数据, 因此建立冠层物种光谱特征库是当前基于冠层高光谱影像进行物种多样性监测的迫切需求, 直接影响到无人机高光谱遥感在群落及生态系统尺度中的应用。
然而, 目前公开的高光谱数据库较少, 且仅包含少量的物种数, 这极大限制了深度学习在高光谱影像上的应用。在研究中应用较多的是由机载可见/红外成像光谱仪(AVIRIS)传感器在一片印第安农业松林试验场收集得到的数据集Indian Pines, 它含有695个训练集样本(像素)与9,671个测试集样本(像素), 仅包含各类农作物与不同类型的耕地信息。另一个常用的数据集是位于意大利的帕维亚城的Pavia Centre and University, 该数据集通过反射光学光谱成像系统机载仪器捕获, 由不同的类别组成, 包括树木、沥青、砾石、金属片、砖块、草地和土壤。这个数据集包括3,921个训练集样本(像素)与40,002个测试集样本(像素)。第三个应用较多的数据集为grss_dfc_2013, 于2012年6月由小型航空光谱成像仪(compact airborne spectrographic imager, CASI)在美国德克萨斯州休斯顿大学校园及其邻近城市地区捕获, 包括2,832个训练集样本(像素)与12,197个测试集样本(像素), 空间分辨率为2.5 m。该数据集由0.38-1.05 nm范围的144个光谱波段组成, 包括草地、树木、土壤、水、住宅、商业地区、公路等15个类别(Ghamisi et al, 2018)。此外, 美国国家生态观测站网络(United States National Ecological Observatory Network, NEON)还从2013年开始记录光谱影像, 每年连续观测, 站点覆盖全美区域, 覆盖范围广、持续时间长, 其中的高光谱分辨率为1 m (
但是目前现有的高光谱数据集对森林冠层多样性研究的适用性低。例如Indian Pines可用于植物物种识别研究的样本量较少、空间分辨率较低且针对性不强。而且不同的物种分类研究结果也因使用不同高光谱数据等原因, 难以进行比较和归纳(Thenkabail et al, 2018)。此外, 植被的生长发育具有物候特性, 其光谱信息会随季节的变化而改变(杨超等, 2018)。因生长发育阶段、土壤、降水和地形等因素不同, 同一个物种在不同的时空尺度下其光谱也会发生变化。针对这个难题, 我们认为, 未来可以借助公众科学(citizen science)的方式让大量科学爱好者或志愿者共同参与物种信息标记, 随着信息时代的到来和互联网技术的不断发展, 公众科学在生态保护和监测等领域中的作用将越来越受到重视(张健等, 2013), 借助公众科学的力量, 可以构建大型公开且含有不同物候期植物物种的高光谱数据集, 这将能极大促进森林冠层多样性的监测与研究。
5.2 针对高光谱影像特征构建合理的深度学习模型
遥感技术在物种分类方面的快速发展得益于模式识别、机器学习等领域的进步, 但现阶段该领域仍处于快速发展阶段, 算法技术仍未成熟, 极大地限制了物种分类精度的提高(孔嘉鑫等, 2019)。例如, 如何充分挖掘高光谱遥感数据隐含的丰富信息, 是当前的一个技术难题(张扬建等, 2017); 如何设计一个合适的卷积神经网络模型, 是机器学习和遥感领域讨论的热门话题之一(Ghamisi et al, 2018)。现有的卷积神经网络模型大多是一维或二维, 仅能提取光谱特征或提取每个像素的局部空间特征, 导致物种分类结果不佳(Chen et al, 2016)。三维卷积神经网络可以利用空间光谱联合信息来处理高光谱影像, 在一定程度上可以削弱同物异谱或者同谱异物的影响, 并且引入了空间背景信息、纹理、对象、形状等特征和知识, 可以部分解决空间同质性与异质性的问题, 提高分类精度(杜培军等, 2016)。因此, 在此基础上进一步发展和完善三维卷积神经网络模型十分必要。目前比较简单、可以广泛应用的深度学习工具还比较少, 比如可视化的流程式深度学习工具。所以, 寻找适合冠层高光谱影像的深度学习网络结构是有待解决的主要问题之一。此外, 相比于高精度的高光谱影像, 冠层反射率(canopy reflectance, CR)数据较容易获得, 而许多冠层反射率模型可以很好地描述植被的关键生化参数(如叶面积指数、叶绿素含量、水分含量等)与冠层反射率之间的物理机制(全兴文, 2017), 未来设想可以将冠层反射率模型与深度学习相结合, 通过反射率模型得到冠层光谱信息和植被关键生化参数, 进而进行树种分类。
上述的模型只是对图像中的树种进行识别分类, 但在实际的生物多样性监测与保护中, 还需要对植物个体进行分割, 计算每个树种的个体数量。因此在基于高光谱影像的树种分类中, 个体分割也是十分重要的一个环节。为了使深度学习模型可以实现这个目标, 首先需要我们在标记时以个体为单位, 并一一标明物种名称; 其次需要通过学科交叉的方式来改进适合高分辨率高光谱影像的深度学习模型, 如生态学家贡献出高光谱数据库或者物种标记数据库, 以组织类似Kaggle竞赛的形式, 与专业研究深度学习模型的图像分析人士合作, 开发出更实用、更完善的物种分类模型。
5.3 多元数据融合
尽管高光谱数据有光谱分辨率高、能够识别森林物种细小的波谱差异等优势, 但相比于无人机普通RGB影像, 也存在着空间分辨率低、飞行条件要求高、采集效率低等劣势。近些年来, 随着物种分类识别研究的不断深入, 复杂物种信息的提取需要通过多元数据融合发挥出各类数据的优势。如融合RGB影像可以得到更高的空间分辨率, 更好地获取物种冠层的纹理信息; 激光点云可获得林冠内部的三维结构信息, 通过结合三维信息也可用于区分不同物种的林冠。例如, 基于传统光学数据, 光谱特征差异明显的森林类型——针叶林和阔叶林分类精度较高, 但是当森林物种类型较多时, 难以获得理想的分类结果。而在结构复杂的森林生态系统中, 激光雷达由于穿透性好, 可以深入到冠层内部获取数据, 提供森林冠层的三维结构信息。因此, 将高光谱与激光雷达技术结合, 可获得植物的光谱特征和结构特征, 实现高精度的植物分类。所以通过数据融合可以实现多源数据协同作业, 解决在复杂生境的结构参数提取、生物量估测以及植物物种识别等领域的难题。但是在多源数据融合过程中存在数据结构、精度等是否匹配的问题, 这些问题的解决既需要更好的数据融合算法, 也需要从源头着手, 不断升级无人机硬件设备, 使无人机得以搭载多种遥感仪器, 同时同地进行数据收集; 或进一步提升每一种数据的空间定位精度, 以方便不同数据的后续结合。
综上所述, 高光谱影像具有丰富的光谱信息与空间信息, 无人机航拍与空间定位技术的快速发展使高光谱遥感越来越广泛地应用于生态学研究中。将无人机高光谱遥感数据与能自动提取特征的卷积神经网络相结合, 在森林冠层多样性研究领域有着巨大的潜力。未来还需要在高光谱数据库、模型结构、数据融合等方面进行进一步的研究, 以实现大尺度、自动化、高精度的树种分类。这些技术在降低野外监测的人力和物力成本的同时, 可为复杂的尺度推绎和大尺度生物多样性的估算提供数据支持, 并为种群分布与动态监测、种间相互作用等方面的研究提供真实可靠的观测数据, 最终为生物多样性管理和保护等领域提供有力支撑。
附录 Supplementary Material
附录1 高光谱无人机近地面遥感系统
Appendix 1 Hyperspectral UAV near ground remote sensing system
附录2 常用的一站式行业航测图像分析软件
Appendix 2 Commonly used one-stop industry aerial survey image analysis software
致谢
在本次研究过程中, 特别感谢华东师范大学公共创新服务平台的仪器支持, 十分感谢对这篇文章提供宝贵意见的各位专家！
参考文献
Multispectral and hyperspectral remote sensing for identification and mapping of wetland vegetation: A review
DOI:10.1007/s11273-009-9169-z URL [本文引用: 3]
CTFS-ForestGEO: A worldwide network monitoring forests in an era of global change
DOI:10.1111/gcb.12712
PMID:25258024
[本文引用: 1]
Global change is impacting forests worldwide, threatening biodiversity and ecosystem services including climate regulation. Understanding how forests respond is critical to forest conservation and climate protection. This review describes an international network of 59 long-term forest dynamics research sites (CTFS-ForestGEO) useful for characterizing forest responses to global change. Within very large plots (median size 25 ha), all stems ≥ 1 cm diameter are identified to species, mapped, and regularly recensused according to standardized protocols. CTFS-ForestGEO spans 25 °S-61 °N latitude, is generally representative of the range of bioclimatic, edaphic, and topographic conditions experienced by forests worldwide, and is the only forest monitoring network that applies a standardized protocol to each of the world's major forest biomes. Supplementary standardized measurements at subsets of the sites provide additional information on plants, animals, and ecosystem and environmental variables. CTFS-ForestGEO sites are experiencing multifaceted anthropogenic global change pressures including warming (average 0.61 °C), changes in precipitation (up to ± 30% change), atmospheric deposition of nitrogen and sulfur compounds (up to 3.8 g N m(-2) yr(-1) and 3.1 g S m(-2) yr(-1)), and forest fragmentation in the surrounding landscape (up to 88% reduced tree cover within 5 km). The broad suite of measurements made at CTFS-ForestGEO sites makes it possible to investigate the complex ways in which global change is impacting forest dynamics. Ongoing research across the CTFS-ForestGEO network is yielding insights into how and why the forests are changing, and continued monitoring will provide vital contributions to understanding worldwide forest diversity and dynamics in an era of global change.© 2014 John Wiley & Sons Ltd.
Remote analysis of biological invasion and biogeochemical change
Leaf chemical and spectral diversity in Australian tropical forests
DOI:10.1890/08-0023.1 URL [本文引用: 1]
Quantifying forest canopy traits: Imaging spectroscopy versus field survey
DOI:10.1016/j.rse.2014.11.011 URL [本文引用: 1]
Large-scale climatic and geophysical controls on the leaf economics spectrum
Airborne laser-guided imaging spectroscopy to map forest trait diversity and guide conservation
DOI:10.1126/science.aaj1987 URL [本文引用: 1]
Tree species classification using hyperspectral imagery: A comparison of two classifiers
DOI:10.3390/rs8060445 URL [本文引用: 1]
Reconciling the contribution of environmental and stochastic structuring of tropical forest diversity through the lens of imaging spectroscopy
DOI:10.1111/ele.13357
PMID:31347263
[本文引用: 1]
Both niche and stochastic dispersal processes structure the extraordinary diversity of tropical plants, but determining their relative contributions has proven challenging. We address this question using airborne imaging spectroscopy to estimate canopy β-diversity for an extensive region of a Bornean rainforest and challenge these data with models incorporating niches and dispersal. We show that remotely sensed and field-derived estimates of pairwise dissimilarity in community composition are closely matched, proving the applicability of imaging spectroscopy to provide β-diversity data for entire landscapes of over 1000 ha containing contrasting forest types. Our model reproduces the empirical data well and shows that the ecological processes maintaining tropical forest diversity are scale dependent. Patterns of β-diversity are shaped by stochastic dispersal processes acting locally whilst environmental processes act over a wider range of scales.© 2019 The Authors. Ecology Letters published by CNRS and John Wiley & Sons Ltd.
Modelling tree diversity in a highly fragmented tropical montane landscape
DOI:10.1111/geb.2006.15.issue-6 URL [本文引用: 1]
Deep feature extraction and classification of hyperspectral images based on convolutional neural networks
DOI:10.1109/TGRS.2016.2584107 URL [本文引用: 2]
Applications for deep learning in ecology
DOI:10.1111/2041-210X.13256
[本文引用: 1]
A lot of hype has recently been generated around deep learning, a novel group of artificial intelligence approaches able to break accuracy records in pattern recognition. Over the course of just a few years, deep learning has revolutionized several research fields such as bioinformatics and medicine with its flexibility and ability to process large and complex datasets. As ecological datasets are becoming larger and more complex, we believe these methods can be useful to ecologists as well. In this paper, we review existing implementations and show that deep learning has been used successfully to identify species, classify animal behaviour and estimate biodiversity in large datasets like camera-trap images, audio recordings and videos. We demonstrate that deep learning can be beneficial to most ecological disciplines, including applied contexts, such as management and conservation. We also identify common questions about how and when to use deep learning, such as what are the steps required to create a deep learning network, which tools are available to help, and what are the requirements in terms of data and computer power. We provide guidelines, recommendations and useful resources, including a reference flowchart to help ecologists get started with deep learning. We argue that at a time when automatic monitoring of populations and ecosystems generates a vast amount of data that cannot be effectively processed by humans anymore, deep learning could become a powerful reference tool for ecologists.
Going further with model verification and deep learning
DOI:10.1111/mee3.v12.1 URL [本文引用: 1]
Species-level differences in hyperspectral metrics among tropical rainforest trees as determined by a tree-based classifier
DOI:10.3390/rs4061820 URL [本文引用: 1]
Tree crown delineation and tree species classification in boreal forests using hyperspectral and ALS data
DOI:10.1016/j.rse.2013.09.006 URL [本文引用: 1]
Semi-supervised SVM for individual tree crown species classification
DOI:10.1016/j.isprsjprs.2015.10.010 URL [本文引用: 1]
Individual tree crown delineation and tree species classification with hyperspectral and LiDAR data
DOI:10.7717/peerj.6227 URL [本文引用: 1]
Review of hyperspectral remote sensing image classification
高光谱遥感影像分类研究进展
Development of a large area biodiversity monitoring system driven by remote sensing
DOI:10.1177/0309133307079054 URL [本文引用: 1]
Patterns of floristic richness in vegetation communities of California: Regional scale analysis with multi-temporal NDVI
DOI:10.1111/geb.2004.13.issue-3 URL [本文引用: 1]
A convolutional neural network classifier identifies tree species in mixed-conifer forest from hyperspectral imagery
DOI:10.3390/rs11192326 URL [本文引用: 3]
New frontiers in spectral-spatial hyperspectral image classification: The latest advances based on mathematical morphology, Markov random fields, segmentation, sparse representation, and deep learning
A framework for mapping tree species combining hyperspectral and LiDAR data: Role of selected classifiers and sensor across three spatial scales
DOI:10.1016/j.jag.2013.05.017 URL [本文引用: 1]
Tree species abundance predictions in a tropical agricultural landscape with a supervised classification model and imbalanced data
DOI:10.3390/rs8020161 URL [本文引用: 1]
Perspectives and prospects of unmanned aerial vehicle in remote sensing monitoring of biodiversity
DOI:10.17520/biods.2016105 URL [本文引用: 1]
无人机在生物多样性遥感监测中的应用现状与展望
Unmanned aerial vehicle remote sensing in ecology: Advances and prospects
无人机遥感在生态学中的应用进展
Deep convolutional neural networks for hyperspectral image classification
UAV hyperspectral built-in push-scan image fast splicing method
基于无人机高光谱影像的引黄灌区水稻叶片全氮含量估测
A BRDF normalization correction method for airborne push broom hyperspectral images in forest areas
林区机载推扫式高光谱影像的BRDF归一化校正方法
Ecological fingerprinting of ecosystem succession: Estimating secondary tropical dry forest structure and diversity using imaging spectroscopy
DOI:10.1016/j.rse.2006.11.007 URL [本文引用: 1]
Assessment of mining activities on tree species and diversity in hilltop mining areas using Hyperion and Landsat data
DOI:10.1007/s11356-020-09795-w URL [本文引用: 1]
From space to species: Ecological applications for remote sensing
DOI:10.1016/S0169-5347(03)00071-5 URL [本文引用: 1]
Classification and identification of plant species based on multi-source remote sensing data: Research progress and prospect
DOI:10.17520/biods.2019197 URL [本文引用: 1]
基于多源遥感数据的植物物种分类与识别: 研究进展与展望
Predicting bird species richness using remote sensing in boreal agricultural-forest mosaics
DOI:10.1890/02-5176 URL [本文引用: 1]
Using remote sensing to assess biodiversity
DOI:10.1080/01431160117096 URL [本文引用: 1]
Interannual variability of NDVI and species richness in Kenya
DOI:10.1080/01431160010014819 URL [本文引用: 1]
Broadleaf species recognition with in situ hyperspectral data
DOI:10.1080/01431160802555820 URL [本文引用: 1]
Rice leaf nitrogen content estimation based on hysperspectral imagery of UAV in Yellow River diversion irrigation district
基于无人机高光谱影像的引黄灌区水稻叶片全氮含量估测
Tree species classification of the UNESCO Man and the Biosphere Karkonoski National Park (Poland) using artificial neural networks and APEX hyperspectral images
DOI:10.3390/rs10071111 URL [本文引用: 1]
Tree-species classification in subtropical forests using airborne hyperspectral and LiDAR data
DOI:10.3390/rs9111180 URL [本文引用: 1]
Deep learning meets hyperspectral image analysis: A multidisciplinary review
DOI:10.3390/jimaging5050052 URL [本文引用: 1]
Research advance in forest information extraction from hyperspectral remote sensing data
高光谱遥感森林信息提取研究进展
Applications of satellite and air-borne remote sensing in biodiversity research and conservation
DOI:10.17520/biods.2018079 URL [本文引用: 1]
航空航天遥感在物种多样性研究与保护中的应用
Tree species classification in Norway from airborne hyperspectral and airborne laser scanning data
DOI:10.1080/22797254.2018.1434424 URL [本文引用: 1]
Remote sensing for biodiversity science and conservation
DOI:10.1016/S0169-5347(03)00070-3 URL [本文引用: 1]
Mapping nonnative plants using hyperspectral imagery
DOI:10.1016/S0034-4257(03)00096-8 URL [本文引用: 1]
Optical and SAR sensor synergies for forest and land cover mapping in a tropical site in West Africa
DOI:10.1016/j.jag.2012.08.002 URL [本文引用: 1]
Machine learning for image based species identification
DOI:10.1111/mee3.2018.9.issue-11 URL [本文引用: 2]
Closing the seed dispersal loop
DOI:10.1016/S0169-5347(02)02541-7 URL [本文引用: 1]
A survey on deep learning for natural language processing
面向自然语言处理的深度学习研究
Mapping tree species composition using OHS-1 hyperspectral data and deep learning algorithms in Changbai Mountains, Northeast China
DOI:10.3390/f10090818 URL [本文引用: 1]
Research progress on remote sensing classification of vegetation
植被遥感分类方法研究进展
Mapping individual tree species in an urban forest using airborne lidar data and hyperspectral imagery
Citizen science: Integrating scientific research, ecological conservation and public participation
DOI:10.3724/SP.J.1003.2013.12113
[本文引用: 1]
Citizen science, also known as “public participation in scientific research”, is defined as scientific activities in which non-professional scientists participate as volunteers in data collection, analysis and dissemination within a scientific project. With the advent of the information age, citizen science projects, especially in ecological conservation and environmental monitoring, are rapidly expanding our knowledge of the world around us, and contributing to management and policy decisions. Citizen science projects can be classified into five types of models: contractual, contributory, collaborative, co-created and collegial projects. In China, public participation in science related activities has had a long history, but current contributions in citizen science are limited because of relatively low public participation, and the weaknesses in data quality control, data management and analysis. Recently, citizen science has been applied to bird watching and plant monitoring, with some positive and negative experiences. To better increase citizen science activities and enhance such contributions to academic research, improvements are urgently required in financial support, the development of project platforms, the application of new technology, and international collaboration. We believe that the enhancement of citizen science will greatly promote the development of ecological conservation, environmental monitoring and related research fields. To help with this we have established a platform for China citizen science projects (http://www.gongzhongkexue.org) to promote communication and cooperation among scientists, governments, other organizations and the public.
公众科学: 整合科学研究、生态保护和公众参与
Opportunities and challenges in remote sensing applications to ecosystem ecology
遥感在生态系统生态学上应用的机遇与挑战
Applications of unmanned aerial vehicles remote sensing technology in landscape ecology
无人机遥感技术在景观生态学中的应用
Ecosystems and human well-being: The achievements, contributions and prospects of the millennium ecosystem assessment
生态系统与人类福祉——千年生态系统评估的成就、贡献和展望
