... Adavanne等(2017)成功使用CRNN执行长时鸟声识别任务.Bai等(2018)也在DCASE2018挑战任务3中, 将降噪后的对数质谱图与MFCC谱图输入自定义激活函数的CRNN中进行鸟声事件检测, 达到预期的鸟声识别效果.CRNN结合了CNN和RNN的特点, 将CNN最后的卷积层改为RNN.在CRNN中, CNN和RNN分别承担特征提取和时间聚合的功能.针对RNN存在的梯度消失问题, 有研究(邢照亮等, 2021)将LSTM、GRU等时序模型与其他卷积网络进行比较, 发现CNN-LSTM模型更适合鸟声识别.此外, Carvalho和Gomes (2023)则较为全面地比较了CNN、RNN、LSTM、GRU、CNN-LSTM、CNN-GRU时序模型在91类物种上的表现, 同样得出CRNN及其变种可以更好地适用于鸟声识别的结论.此外, Qiao等(2020)使用Seq2Seq的深度学习方法, 用于无监督条件下的鸟声识别.该方法结合RNN与编码器- 解码器(encoder-decoder)范式来学习高层表示, 并选择使用SVM和多层感知器(multi-layer perceptron, MLP)进行决策输出鸟声类别. ...

... 此外, Morgan和Braasch (2022)为解决实际的长时鸟声检测问题, 探讨了开放数据集条件下的多种鸟声度量策略, 如预测得分阈值、基于距离的阈值和OpenMax (Bendale & Boult, 2016).该方案选择在ImageNet数据集上预训练过的VGG16模型, 生成平面分类模块(flat classifier block, FCB), 并采用了不同的FCB模块组合方式进行分类推断.具体而言, 该方法由1个粗粒度二值分类器(区分低频和高频声音)、2个中粒度二值分类器(区分脊椎动物、非脊椎动物与背景噪声)和4个多类细粒度分类器(物种分类)组成, 每个细粒度分类器均以上述鸟声度量策略方式建立. ...

... 多源决策融合方法可从多模态数据信息中挖掘细节信息, 提升系统识别精度与鲁棒性.在鸟类识别研究领域, 鸟类图像信息与声音信息是最常用的两类模态信息.Bold等(2019)提出了多模态CNN鸟声识别体系结构, 并论证了图像和音频数据多模态下的后期融合方式.图7展示了该研究实验中采用的4类后期融合方式. ...

... 总的来说, 深度学习的鸟声识别可以省去复杂的特征工程, 并能够学习到鸟声与物种之间的复杂映射关系, 但这需要利用较大规模的鸟声样本进行训练.因此, 除上述学习策略外, 网络压缩在鸟声识别研究中也占据重要的位置.虽然相较于传统方法, 深度学习模型在鸟声检测上具有优势, 但是深度学习模型需要大量的计算资源和存储空间, 导致这些模型在嵌入式设备(Boulmaiz et al, 2017)上难以广泛应用.为克服这一限制, Zabidi等(2022)采用了一种基于二值化神经网络(binary neural networks, BNNs)的XNOR-Net用于鸟类声学事件检测.得益于XNOR-Net结构中的二进制权重和输入, 其内存需求压缩了32倍, 计算速度提高了58倍.同时, 对XNOR-Net的隐藏层进行了深入的性能分析和优化, 确保在最佳的超参数配置下仍能达到与基线算法相当的识别精度.预计随着被动声学监测(passive acoustic monitoring, PAM)在鸟声监测系统中得到广泛应用, 深度学习模型在受限计算能力下的进一步研究将持续增长.此外, 知识蒸馏、参数剪枝等深度学习模型的压缩和加速技术也会得到更多的关注和应用. ...

... 基于机器学习(machine learning)的鸟声识别技术在生态监测中至关重要, 其通过自动识别和分类鸟声, 能够高效地追踪生物多样性的现状与变化趋势, 从而显著减少了对人类专家的依赖, 提高了处理效率.此外, 机器学习方法还可解决诸多实际问题, 如噪声干扰、类别不平衡以及鸟类声音的多样性.国外基于机器学习的鸟声识别研究相对广泛且起步较早(Priyadarshani et al, 2018), 可以追溯到20世纪90年代(Anderson et al, 1996).21世纪以来, 国内外科研人员一直致力于改进基于机器学习的鸟声识别技术, 并使其得到广泛推广.该技术的发展可以划分为3个主要阶段, 即推广期、突破期和发展期(图1).在推广期, 研究者们围绕传统机器学习开展研究, 研究领域主要聚焦在如何设计有效的特征提取模型(Vilches et al, 2006; Briggs et al, 2009; Lakshminarayanan et al, 2010)与改进优化线性分类器(Acevedo et al, 2009), 如支持向量机(support vector machine, SVM)、决策树(decision tree, DT)、线性判别分析(linear discriminant analysis, LDA).在突破期, 随着深度学习(deep learning, DL)的兴起, 尤其是卷积神经网络(convolutional neural networks, CNN)的引入(Sprengel et al, 2016; Chandu et al, 2020), 研究者得以利用这些模型进行更为准确的鸟声识别.作为端到端的一种学习方式, 深度学习框架可以自动完成特征工程的工作, 开发者只需要关注参数优化即可得到效果较好的模型.此外, 可以满足少量带标签样本、无法明确鸟类物种的无监督聚类(unsupervised clustering)学习也在这个阶段得到广泛研究(Stowell & Plumbley, 2014).尽管如此, 技术发展仍然面临挑战.为满足复杂野外场景条件下的鸟类物种检测, 2021年起, 研究者们尝试将数据融合(data fusion)、集成学习(ensemble learning)等策略更好地引入到该领域(Conde et al, 2021), 期望在大规模物种识别上获得鲁棒性(robustness)更强的模型.为了追求更高的识别准确性, 研究者还设计出具有更多层的网络模型(Kahl et al, 2021), 这导致模型参数量显著增加, 但这些复杂的模型可能并不适用于资源受限的嵌入式设备.为应对这一问题, 研究者们开始采纳如参数量化(parameter quantification)和知识蒸馏(knowledge distillation)等网络压缩方法. ...

... 为了进一步推动鸟声识别技术的研究与标准数据集的建立, 国内外相关组织举办了多项鸟声识别挑战赛.例如, BirdCLEF专注于鸟声物种识别, DCASE专注于鸟声事件检测, 科大讯飞则自2021年起开始组织国内的鸟类识别挑战赛.其中, 历年BirdCLEF的任务是识别所提供的声景测试集中的所有鸟类, 均为多标签分类任务(含鸟类物种、录音位置、录音时间等).每个声景被分成5 s左右的片段, 参赛团队需对每个片段生成一个与概率分数相关的物种列表.近几年BirdCLEF的获胜团队所采用的模型和分数都被详细列在表3中.参赛者通常会尝试最新的网络结构作为预训练模型.在BirdCLEF2020中, 冠军团队所提出的算法没有使用预训练模型, 转而采用网络结构搜索(neural architecture search, NAS)进行建模, 可根据特定任务进行自适应调整网络架构.而在BirdCLEF2021中, 冠军团队采用了ResNet的变体——注意力分割网络(split-attention networks, ResNeSt) (Zhang C et al, 2021)作为鸟声识别模型.在BirdCLEF2022中, 冠、亚军团队分别采用了NFNet (normalizer-free ResNets) (Brock et al, 2021)和ReNeXt (Xie et al, 2017)模型.这些模型都是在其他鸟声识别研究中未被采用过的.在BirdCLEF2023中, 有参赛团队通过引入新的ConvNeXt网络(Liu et al, 2022)开展集成学习, 并获得了当年的竞赛冠军.该模型以Inception- V4为基础, 参考Transformer结构和训练策略, 采用了更加灵活的多尺度卷积设计.由此可见, 不断地引入新的网络模型和集成学习策略是取得竞赛胜利的关键, 而鸟声识别技术在未来也将持续地从实验室走向实际应用. ...

... 在深度学习框架下, 鸟声识别常被视作时频图(语图)的图像识别问题, 寻找适用的深度模型结构是鸟声识别的重要研究方向之一.除了CNN外, 循环神经网络(recurrent neural network, RNN) (Adavanne et al, 2017)、AlexNet (尹晨畅等, 2022)、长短时记忆网络(long short-term memory, LSTM) (Carvalho & Gomes, 2023)、ResNet (Lasseck, 2019)、密集连接卷积网络(densely connected convolutional networks, DenseNet) (Conde et al, 2021)等深度模型也被相继应用于鸟声的识别任务, 识别的准确性不断提高.接下来, 我们将深入探讨现有研究中的各种模型设计和学习策略, 以及它们在鸟声识别上的主要贡献. ...