摘要:攝食強(qiáng)度識(shí)別分類是實(shí)現(xiàn)水產(chǎn)養(yǎng)殖精準(zhǔn)投喂的重要環(huán)節(jié)?,F(xiàn)有的投喂方式存在過度依賴人工經(jīng)驗(yàn)判斷,、投喂量不精確,、飼料浪費(fèi)嚴(yán)重等問題,?;诙嗄B(tài)融合的魚類攝食程度分類能夠綜合不同類型的數(shù)據(jù)(如:視頻、聲音和水質(zhì)參數(shù)),,為魚群的投喂提供更加全面精準(zhǔn)的決策依據(jù)。因此,提出了一種融合視頻和音頻數(shù)據(jù)的多模態(tài)融合框架,,旨在提升鱸魚攝食強(qiáng)度分類性能,。將預(yù)處理后的Mel頻譜圖(Mel Spectrogram)和視頻幀圖像分別輸入到Self-Attention-DSC-CNN6(Self-attention-depthwise separable convolution-CNN6)優(yōu)化模型進(jìn)行高層次的特征提取,并將提取的特征進(jìn)一步拼接融合,,最后將拼接后的特征經(jīng)分類器分類,。針對Self-Attention-DSC-CNN6優(yōu)化模型,基于CNN6算法進(jìn)行了改進(jìn),,將傳統(tǒng)卷積層替換為深度可分離卷積(Depthwise separable convolution,,DSC)來達(dá)到減少計(jì)算復(fù)雜度的效果,并引入Self-Attention注意力機(jī)制以增強(qiáng)特征提取能力,。實(shí)驗(yàn)結(jié)果顯示,,本文所提出的多模態(tài)融合框架鱸魚攝食強(qiáng)度分類準(zhǔn)確率達(dá)到90.24%,模型可以有效利用不同數(shù)據(jù)源信息,,提升了對復(fù)雜環(huán)境中魚群行為的理解,,增強(qiáng)了模型決策能力,確保了投喂策略的及時(shí)性與準(zhǔn)確性,,從而有效減少了飼料浪費(fèi),。