李尧迪, 赵海涛, 张军国
Yaodi Li, Haitao Zhao, Junguo Zhang
摘要: 秦岭川金丝猴是中国特有珍稀灵长类动物,准确识别其行为对于掌握种群活动规律、评估栖息地状态以及制定保护策略具有重要意义。然而,在野外红外触发相机视频中,秦岭川金丝猴部分行为之间存在较高的视觉相似性,同时受拍摄角度、目标姿态变化等因素影响,关键判别线索易被削弱,导致细粒度行为识别难度较大。针对上述问题,本文提出一种融合行为学语义与描述符自适应匹配的秦岭川金丝猴行为识别方法。首先,基于ActionCLIP视觉-语言行为识别框架,结合该物种行为学知识构建行为学描述符,将动作形态、运动方式和个体交互关系等先验信息引入文本语义空间。其次,设计双边语义对齐机制,使视频特征同时接受ActionCLIP类别提示文本和行为学描述符原型的监督,在保留通用动作语义的基础上增强模型对物种特异性行为特征的表达能力。最后,提出双源描述符自适应匹配方法,利用最优传输机制动态建模帧级特征与文本单元之间的对应关系,从而提升模型对局部关键动作和细粒度行为差异的判别能力。在包含11类行为、2177段视频的秦岭川金丝猴行为数据集上进行试验,结果表明,本文方法在全监督场景下Top-1准确率达到78.47%,较基线提升5.88个百分点;在少样本K=16条件下Top-1准确率达到66.01%,较基线提升7.25个百分点。试验结果验证了行为学语义引入、双边语义对齐和双源描述符自适应匹配的有效性,为野外环境下珍稀灵长类动物行为自动识别提供了一种有效方法。