... 基于本文提出的鸟声识别算法分类, 表1列出了具有代表性的鸟声识别方法的特点.从表1中可以看出, 尽管这些鸟声识别算法流程相对统一, 但它们各自针对的任务存在差异.为适应不同的识别任务, 研究者需要选择或设计具有任务适应性强的鸟声识别方法.例如, Lasseck (2019)在多标签训练中发现, 相较于Inception基础网络, ResNet在鸟声物种识别上展现出更出色的效果.Dai等(2021)针对Inception-V3、Xception、EfficientNet-B3这3种CNN架构的改进网络模型进行了鸟声识别效果的评估, 研究指出, 由于Xception结构解耦了跨通道相关性与空间相关性, 因此更适合应用于鲁棒度高的鸟声识别任务.在实际的实施过程中, 也需要考虑代码移植与结构设计的复杂性.例如, Xception结构是由深度可分离卷积层的线性堆栈与残差连接组成, 它能够进行简单的定义和设计修改, 并且存在多个开源实现版本. ...

... 在近几年的跨学科研究中, 机器学习技术与鸟声识别的结合引起了广泛的关注.为了深入探究这一主题, 本研究集中分析了自2017年起在多个国际期刊(如Journal of Avian Biology、Ecological Informatics、Applied Acoustics)和国内期刊(如《生物多样性》《声学学报》《应用声学》《机器智能研究(英文版)》等)及顶级学术会议(如International Conference on Acoustics, Speech and Signal Processing、International Speech Communication Association、International Conference on Neural Information Processing)上发表的相关文章, 这些文章涵盖了鸟类学、声学技术和人工智能等领域.通过文献检索, 我们发现深度学习已成为鸟声识别研究的主导方法.然而, 一些传统的机器学习方法仍然适用于某些特定场景的鸟声识别(Mehyadin et al, 2021; Xie et al, 2021; 李大鹏等, 2022), 因此在实际应用中需结合数据条件与任务需求决定是否采用深度学习方法(Ghani & Hallerberg, 2021).基于上述考虑, 本文对近年来基于机器学习, 重点是基于深度学习的鸟声识别方法进行了总结与分析, 比较了不同方法之间的性能优劣, 以期为未来的鸟类识别算法研究提供帮助.截至目前, 国内外已有研究学者对鸟声识别技术开展过类似的综述工作.在国内综述文献中, 乔玉等(2020)针对中文文献进行了综述, 重点放在传统机器学习方法上, 对深度学习方法在鸟声识别中的应用介绍得较少, 忽略了深度学习策略对提升鸟声识别精度的帮助; 在国外综述文献中, 学者Priyadarshani等(2018)、Das等(2020)和Xie等(2023)均从信号处理的观点出发对鸟声物种识别的机器学习模型进行过归纳, 但重点放在鸟声预处理、特征提取方法和识别方法的总结上, 缺少对模型架构与学习策略的系统分析.随着近年来深度学习技术在鸟声识别中的进一步应用, 本文拟进一步完善鸟声识别算法的文献综述.本文的工作主要体现在以下3个方面: ...

... 基于概率模型的识别法在鸟声识别中的效果很大程度上依赖于所提取的特征的质量.但同时, 一些传统的分类器, 例如SVM和随机森林(random forest), 在处理大规模数据集时效率较低, 训练时间过长, 且选择核函数和参数调优的过程较为复杂.此外, 手工特征在模型训练中可能导致过拟合现象(De Oliveira et al, 2020), 而某些分类器, 如KNN, 对特征的缩放和噪声敏感, 在克服噪声干扰和提升识别算法稳定性上存在一定的局限性.这些局限性限制了基于概率模型的识别法在鸟声识别领域的进一步发展. ...

... 迁移学习作为一种利用其他领域知识和经验的方法, 已被成功地应用于音频特征的提取中.此方法主要采用预先训练好的神经网络, 将源领域(source domain)的任务知识迁移到目标领域, 达到更好的分类效果, 如图5所示.迁移学习需要关注两个基本问题: (1)源领域任务的选择: 现有研究涉及到的任务包括鸟声识别(Zhang FY et al, 2021)、图像识别(Fritzler et al, 2017)和音乐识别(Ntalampiras, 2018)等.(2)领域模型的选择: 部分研究已选择了CNN、ResNet、Inception-V3等深层模型来解决鸟声识别的复杂场景. ...

... 在近几年的跨学科研究中, 机器学习技术与鸟声识别的结合引起了广泛的关注.为了深入探究这一主题, 本研究集中分析了自2017年起在多个国际期刊(如Journal of Avian Biology、Ecological Informatics、Applied Acoustics)和国内期刊(如《生物多样性》《声学学报》《应用声学》《机器智能研究(英文版)》等)及顶级学术会议(如International Conference on Acoustics, Speech and Signal Processing、International Speech Communication Association、International Conference on Neural Information Processing)上发表的相关文章, 这些文章涵盖了鸟类学、声学技术和人工智能等领域.通过文献检索, 我们发现深度学习已成为鸟声识别研究的主导方法.然而, 一些传统的机器学习方法仍然适用于某些特定场景的鸟声识别(Mehyadin et al, 2021; Xie et al, 2021; 李大鹏等, 2022), 因此在实际应用中需结合数据条件与任务需求决定是否采用深度学习方法(Ghani & Hallerberg, 2021).基于上述考虑, 本文对近年来基于机器学习, 重点是基于深度学习的鸟声识别方法进行了总结与分析, 比较了不同方法之间的性能优劣, 以期为未来的鸟类识别算法研究提供帮助.截至目前, 国内外已有研究学者对鸟声识别技术开展过类似的综述工作.在国内综述文献中, 乔玉等(2020)针对中文文献进行了综述, 重点放在传统机器学习方法上, 对深度学习方法在鸟声识别中的应用介绍得较少, 忽略了深度学习策略对提升鸟声识别精度的帮助; 在国外综述文献中, 学者Priyadarshani等(2018)、Das等(2020)和Xie等(2023)均从信号处理的观点出发对鸟声物种识别的机器学习模型进行过归纳, 但重点放在鸟声预处理、特征提取方法和识别方法的总结上, 缺少对模型架构与学习策略的系统分析.随着近年来深度学习技术在鸟声识别中的进一步应用, 本文拟进一步完善鸟声识别算法的文献综述.本文的工作主要体现在以下3个方面: ...

... 基于时间序列的识别法面临算法复杂度高的问题, 但新型时序模型, 如Gupta等(2021)引入的勒让德记忆单元(Legendre memory units, LMU) (Voelker et al, 2019), 为鸟声识别提供了新的思路.LMU的核心是Legendre多项式, 它是一组递归的正交多项式.相较于LSTM、GRU等传统时序模型, LMU的工作原理是将整个隐藏状态和输入(时序记忆)重复投影到多个Legendre多项式上.图4展示了经典时序模型的内部结构.可以看到, LSTM有3个门(遗忘门、输入门和输出门), 而GRU仅有两个门(更新门与重置门).GRU具有一个紧凑的门控机制可直接将隐藏状态h传给下一个单元, 而LSTM则用记忆单元把隐藏状态h包装起来, 其状态更新方程分别如式(1)、式(2)所示.LMU相当于没有门控机制的LSTM, 转而使用存储单元概念, 将一个n维状态向量(h)与一个d维内存向量(m)动态耦合, 投影更新方程如式(3)所示. ...

... 传统机器学习方法中采用的手工特征由于表征能力受限, 很难高效地应对复杂自然场景下的鸟声识别任务.近年来, 众多学者(Hong & Zabidi, 2021; 欧昀等, 2022; 邱志斌等, 2022)已逐渐尝试使用深度学习技术来增强鸟声的表征能力, 以提高其识别的鲁棒性.此外, 当面临如背景噪声干扰、多鸟同时鸣叫、样本长度多变、物种丰度过高等挑战时, 基于概率模型的传统方法的性能往往不佳.卷积神经网络是最早被引入鸟声识别的深度学习模型之一, 其在2016年的BirdCLEF中取得了优异的成绩(Sprengel et al, 2016).研究团队如Kahl等(2017)探索了多种CNN网络结构, 找到了最适合进行鸟声识别的卷积网络结构配置, 在2017年的BirdCLEF中取得了良好的名次.Pankajakshan等(2018)同样采用CNN卷积神经网络进行鸟声检测, 但与其他研究不同的是, 该方法利用学习池化(learned pooling)代替普通最大池化方法.这种学习池化的方法类似于3D-CNN, 由于考虑了最大池化所忽略的特征谱图间的相关性, 从而得到识别性能更佳的实验结果. ...

... 近年来, 为提高自然环境下鸟声识别算法的准确性和鲁棒性, 国内外研究者基于传统机器学习, 特别是深度学习框架, 进行了众多富有成效的探索(Incze et al, 2018).针对鸟声识别存在的诸多挑战, 基于深度学习框架的现有研究实施了不同的策略.例如: (1)为解决长时鸟声信息依赖的问题, 有学者基于时间序列开展研究工作; (2)为解决训练时间过长的问题, 很多研究中采用了迁移学习的识别方法; (3)为解决鸟声时频图信息不足的问题, 数据融合方法成为部分研究的解决方案; (4)为发掘不同模型的分类能力, 也有部分研究选择基于集成学习的策略; (5)为应对带标签样本不足的挑战, 部分研究人员在开放集条件下尝试半监督度量学习与无监督聚类学习.上述技术研究在应对特定问题时都获得了良好的成果.这些研究领域并非相互独立, 而是彼此之间有所交叉, 且不同的方法可结合起来使用以提高性能.例如, 迁移学习策略可以与集成学习或度量学习策略结合起来实施. ...

... 基于概率模型的识别法在传统的人声识别研究领域得到了广泛应用, 后来也被成功应用于鸟声识别(Jancovic & Kokuerl, 2011; 颜鑫和李应, 2013).其中, MFCC和LPCC这类声学特征, 因为与人耳听觉特性相契合, 并与频率具有非线性关系, 因而在多种声学特征描述中被采用.不少相关研究(王恩泽和何东健, 2014; Stastny et al, 2018)均使用这些基础特征, 并在其基础上进行进一步的特征设计与实验对比. ...

... 当然, 除了上述方法, 还有许多研究在提高分类器性能方面进行了尝试.例如, Joly等(2014)提出过一种基于实例的语义剪枝(semantic pruning)方法并应用于鸟类识别.具体方法包括使用高效的K最近邻(K-nearest neighbor, KNN)搜索方案在参考集中进行独立搜索, 接着使用滑动投票策略(sliding voting strategy)和最大池化(max-pooling)来确定每个检索到的记录的最佳匹配间隔, 并对它们进行排序, 最后通过一个简单的top-K分类器从检索记录的排序列表中导出一个强分类器.受细粒度(fine- grained)图像分类研究的启发, Joly等(2015)进一步提出共享最近邻匹配内核的鸟声识别方法, 其主要贡献是设计一种质量可控的高效近似最近邻搜索算法.此外, Mohanty等(2020)提出使用脉冲神经网络(spike neural network, SNN)进行特征分类, 与传统分类器相比, SNN具有更高的精度和更低的计算延迟. ...

... 多头注意力的优势在于: 一方面可以扩展模型获得关注长时鸟声时频图中不同位置的能力; 另一方面赋予注意力层多个表示子空间, 并将时频特征序列映射到不同的空间从而获得更强的长时依赖能力.近期, Transformer模型已被多项研究应用于鸟声检测分离(Zhang et al, 2022)、鸟声特征编码(Tang et al, 2023; 王基豪等, 2023)、端到端鸟声识别(Rauch et al, 2023), 但其在鸟声识别中的进一步优化设计仍是未来研究的焦点. ...

... 另一方面, 三元损失函数使用由锚定样本(anchor)、正样本和负样本构成的三元组, 目标是使锚定样本与正样本间的距离最小, 锚定样本与负样本间的距离最大.Thakur等(2019)提出了一个结合深度学习与传统度量学习的生物声学分类框架(deep metric learning, DML), 该框架利用了多尺度CNN框架和三元组损失函数, 在不同卷积核大小条件下提取特征, 并在线生成三元组, 实现在缺少带标签数据的情况下进行有效的深度度量学习.其采用的三元组损失函数如式(12)所示: ...

... 鸟声识别问题中存在两个典型任务: 鸟声事件检测与鸟类物种分类(Nugroho et al, 2019).鸟声识别问题既可以采取单阶段模式(Narasimhan et al, 2017), 也可以采取两阶段模式(Vida?a-Vila et al, 2020), 即先检出鸟声事件, 再进行分类.整个流程大致分为4个阶段(Jung et al, 2019): 样本采集、预处理、特征参数提取、参数优化分类(图2). ...

... 基于机器学习(machine learning)的鸟声识别技术在生态监测中至关重要, 其通过自动识别和分类鸟声, 能够高效地追踪生物多样性的现状与变化趋势, 从而显著减少了对人类专家的依赖, 提高了处理效率.此外, 机器学习方法还可解决诸多实际问题, 如噪声干扰、类别不平衡以及鸟类声音的多样性.国外基于机器学习的鸟声识别研究相对广泛且起步较早(Priyadarshani et al, 2018), 可以追溯到20世纪90年代(Anderson et al, 1996).21世纪以来, 国内外科研人员一直致力于改进基于机器学习的鸟声识别技术, 并使其得到广泛推广.该技术的发展可以划分为3个主要阶段, 即推广期、突破期和发展期(图1).在推广期, 研究者们围绕传统机器学习开展研究, 研究领域主要聚焦在如何设计有效的特征提取模型(Vilches et al, 2006; Briggs et al, 2009; Lakshminarayanan et al, 2010)与改进优化线性分类器(Acevedo et al, 2009), 如支持向量机(support vector machine, SVM)、决策树(decision tree, DT)、线性判别分析(linear discriminant analysis, LDA).在突破期, 随着深度学习(deep learning, DL)的兴起, 尤其是卷积神经网络(convolutional neural networks, CNN)的引入(Sprengel et al, 2016; Chandu et al, 2020), 研究者得以利用这些模型进行更为准确的鸟声识别.作为端到端的一种学习方式, 深度学习框架可以自动完成特征工程的工作, 开发者只需要关注参数优化即可得到效果较好的模型.此外, 可以满足少量带标签样本、无法明确鸟类物种的无监督聚类(unsupervised clustering)学习也在这个阶段得到广泛研究(Stowell & Plumbley, 2014).尽管如此, 技术发展仍然面临挑战.为满足复杂野外场景条件下的鸟类物种检测, 2021年起, 研究者们尝试将数据融合(data fusion)、集成学习(ensemble learning)等策略更好地引入到该领域(Conde et al, 2021), 期望在大规模物种识别上获得鲁棒性(robustness)更强的模型.为了追求更高的识别准确性, 研究者还设计出具有更多层的网络模型(Kahl et al, 2021), 这导致模型参数量显著增加, 但这些复杂的模型可能并不适用于资源受限的嵌入式设备.为应对这一问题, 研究者们开始采纳如参数量化(parameter quantification)和知识蒸馏(knowledge distillation)等网络压缩方法. ...

... 基于时间序列的识别法面临算法复杂度高的问题, 但新型时序模型, 如Gupta等(2021)引入的勒让德记忆单元(Legendre memory units, LMU) (Voelker et al, 2019), 为鸟声识别提供了新的思路.LMU的核心是Legendre多项式, 它是一组递归的正交多项式.相较于LSTM、GRU等传统时序模型, LMU的工作原理是将整个隐藏状态和输入(时序记忆)重复投影到多个Legendre多项式上.图4展示了经典时序模型的内部结构.可以看到, LSTM有3个门(遗忘门、输入门和输出门), 而GRU仅有两个门(更新门与重置门).GRU具有一个紧凑的门控机制可直接将隐藏状态h传给下一个单元, 而LSTM则用记忆单元把隐藏状态h包装起来, 其状态更新方程分别如式(1)、式(2)所示.LMU相当于没有门控机制的LSTM, 转而使用存储单元概念, 将一个n维状态向量(h)与一个d维内存向量(m)动态耦合, 投影更新方程如式(3)所示. ...

... 基于概率模型的识别法在传统的人声识别研究领域得到了广泛应用, 后来也被成功应用于鸟声识别(Jancovic & Kokuerl, 2011; 颜鑫和李应, 2013).其中, MFCC和LPCC这类声学特征, 因为与人耳听觉特性相契合, 并与频率具有非线性关系, 因而在多种声学特征描述中被采用.不少相关研究(王恩泽和何东健, 2014; Stastny et al, 2018)均使用这些基础特征, 并在其基础上进行进一步的特征设计与实验对比. ...

... 基于概率模型的识别法在传统的人声识别研究领域得到了广泛应用, 后来也被成功应用于鸟声识别(Jancovic & Kokuerl, 2011; 颜鑫和李应, 2013).其中, MFCC和LPCC这类声学特征, 因为与人耳听觉特性相契合, 并与频率具有非线性关系, 因而在多种声学特征描述中被采用.不少相关研究(王恩泽和何东健, 2014; Stastny et al, 2018)均使用这些基础特征, 并在其基础上进行进一步的特征设计与实验对比. ...

... 多头注意力的优势在于: 一方面可以扩展模型获得关注长时鸟声时频图中不同位置的能力; 另一方面赋予注意力层多个表示子空间, 并将时频特征序列映射到不同的空间从而获得更强的长时依赖能力.近期, Transformer模型已被多项研究应用于鸟声检测分离(Zhang et al, 2022)、鸟声特征编码(Tang et al, 2023; 王基豪等, 2023)、端到端鸟声识别(Rauch et al, 2023), 但其在鸟声识别中的进一步优化设计仍是未来研究的焦点. ...

... 多头注意力的优势在于: 一方面可以扩展模型获得关注长时鸟声时频图中不同位置的能力; 另一方面赋予注意力层多个表示子空间, 并将时频特征序列映射到不同的空间从而获得更强的长时依赖能力.近期, Transformer模型已被多项研究应用于鸟声检测分离(Zhang et al, 2022)、鸟声特征编码(Tang et al, 2023; 王基豪等, 2023)、端到端鸟声识别(Rauch et al, 2023), 但其在鸟声识别中的进一步优化设计仍是未来研究的焦点. ...

... 鸟声样本中每段的信息量并不相同, 因此, 选择合适的鸟声片段变得非常重要, 如图3所示.目前, 大量研究仍然采用手工方法进行音节分割(Chou & Ko, 2011), 这在基于机器学习的方法中是不实际的.于是, 有学者开始研究自动端点检测的方法.例如, 韩雪等(2023)采用双门限端点检测方法检测鸟声能量集中片段, 将鸟鸣信号中的短时能量(short-term energy)、短时平均幅度(short-term average amplitude)与时频图中的平均值(average value)、对比度(contrast)、熵(entropy)进行设计融合, 并采用协同粒子群参数优化算法后的SVM分类模型实现了鸟声分类.另外, 由于鸟鸣信号的非平稳性使其在时频图中具有丰富的物种信息特征, 因此, 也有研究尝试利用各种图像特征描述算子进行鸟声识别, 如灰度共生矩阵提取纹理特征(陈莎莎和李应, 2014; 魏静明和李应, 2015)、局部二进制模式(local binary pattern, LBP)、方向梯度直方图(histogram of oriented gradient, HOG) (杨春勇等, 2020)等.这些方法尽管避免了鸟声端点检测步骤, 但这些图像特征描述算子的计算量较大, 算法复杂性高. ...

... 鸟声样本中每段的信息量并不相同, 因此, 选择合适的鸟声片段变得非常重要, 如图3所示.目前, 大量研究仍然采用手工方法进行音节分割(Chou & Ko, 2011), 这在基于机器学习的方法中是不实际的.于是, 有学者开始研究自动端点检测的方法.例如, 韩雪等(2023)采用双门限端点检测方法检测鸟声能量集中片段, 将鸟鸣信号中的短时能量(short-term energy)、短时平均幅度(short-term average amplitude)与时频图中的平均值(average value)、对比度(contrast)、熵(entropy)进行设计融合, 并采用协同粒子群参数优化算法后的SVM分类模型实现了鸟声分类.另外, 由于鸟鸣信号的非平稳性使其在时频图中具有丰富的物种信息特征, 因此, 也有研究尝试利用各种图像特征描述算子进行鸟声识别, 如灰度共生矩阵提取纹理特征(陈莎莎和李应, 2014; 魏静明和李应, 2015)、局部二进制模式(local binary pattern, LBP)、方向梯度直方图(histogram of oriented gradient, HOG) (杨春勇等, 2020)等.这些方法尽管避免了鸟声端点检测步骤, 但这些图像特征描述算子的计算量较大, 算法复杂性高. ...

... Stowell和Plumbley (2014)的研究表明, 通过从数据中自动学习得到的特征表现通常优于手工设计的特征, 但构建大规模标注数据集往往需要大量的人力资源.因此, 为了缓解标注数据不足带来的问题, 部分研究者已经开始探索大规模无监督学习, 期待在不依赖显式特征提取的前提下提升分类的性能.除鸟声物种分类外, 某些文献(Petrusková et al, 2016; Marin-Cudraz et al, 2019)也运用无监督聚类方法对特定地区某些稀有鸟类的出现频次进行了研究, 但大多还是使用声学参数统计而非深度学习框架.鉴于深度学习方法在音节表征上展现出出色的性能, 吴科毅等(2023)提出了一种基于音节聚类与深度学习相结合的鸟声检测方法.该方法在特征提取阶段采纳了基于音高和频率平坦度的音节提取算法, 并综合使用了过零率(zero crossing rate)和能量(energy)辅助判定, 成功地解决了多物种鸟鸣叠加音节的特征提取问题.该方法采用非监督的变分编码器(variational auto-encoders, VAE)进行音节的无监督表征学习, 并使用狄利克雷混合模型(Dirichlet process mixture model, DPMM)引导模型确定聚类数量.尽管非监督学习方法在某种程度上缓解了弱标签和有限数据样本带来的挑战, 但从文献数量上看, 监督学习仍是鸟声物种识别的主流研究方向. ...