色妹妹激情网 科学家建树类脑视频识别模子MovieNet，准确率超东谈主眼

在东谈主工智能边界，静态图像识别手艺如故获取了长足进展色妹妹激情网，但关于动态视频场景的和会和处理仍然存在较大不及。

此前，咱们先容过，在李飞飞团队的视频和会基准 HourVideo 中，即即是目下起始进的多模态模子，其测试正确率也仅仅比立时臆测（20%）略好少许。

现存的 AI 模子难以像东谈主脑那样及时解读和和会流畅变化的视觉信息，这主如若因为它们阑珊对时序信息的灵验处理才调。

因此，如果想要让 AI 真实地与东谈主类的活命环境和复杂状态相符合，咱们大略需要对这一纰谬作念出针对性的改良。

近日，好意思国 Scripps 酌量所的科学家团队，从大脑神经元处理视觉信息的机制中得到启发，建树出一种名为 MovieNet 的 AI 模子，在视频和会雇务上获取险阻。

相干酌量以《识别电影编码神经元兑现电影识别 AI》（Identification of movie encoding neurons enables movie recognition AI）为题发表在PNAS（《好意思国国度科学院院刊》）上 [1]。

人所共知，东谈主工智能的朝上深受神经科学的启发。举例，经典的（CNN）模仿了视觉皮层的层级处理结构，而强化学习算法例效法了神经回路中奖励机制的使命旨趣。

而 MovieNet 的中枢立异同样在于其受启发于的大脑视觉处理机制。酌量团队以非洲爪蟾为模子，要点酌量了其顶盖（optic tectum）神经元的感受野（receptive field， RF）。

通过荒芜噪声刺激和逆相干分析，他们记载了神经元对 200 至 600 毫秒电影序列的反应，发现这些神经元能够以一种独到的面貌编码时刻序列图像。

酌量披露，视觉神经元的反应具有高度聘请性。当电影序列按照特定的“最好法子”呈当前，神经元的反应最为利害；而当序列被逆转或立时化时，反应权贵裁汰。

这种聘请性不仅体目下单个神经元的反应中，还通过神经回路中的拦截机制进一步强化。

通过使用 GABA 受体拮抗剂（如哌可毒素），酌量团队发现，去除拦截作用后，神经元对逆序刺激的反应权贵增强，而对最好法子的反应保抓不变。

这标明，拦截机制是兑现电影序列聘请性的重要身分，它通过拦截无关信息的传播，使得神经网罗能够聚焦于环节的序列信息。

此外，酌量还揭示了神经元在编码动态场景时的时序塑性。当环境中视觉刺激的时序特色发生变化时，神经元的 ON-OFF 反应法例能够通过进修进行不异，从而符合新的环境需求。

这种动态不异才调不仅是当然视觉系统的中枢特色，也为 AI 的想象提供了重要启发。

在上述酌量的启发下，酌量团队效法神经元时空编码法例建树了 MovieNet 模子。其中枢在于其电影编码器的想象，这些编码器基于顶盖神经元的感受野规定，将电影场景压缩为高维特征矩阵。

具体而言，每个编码器模拟了神经元的 ON-OFF 反应法例，能够捕捉电影中亮度的变化以及阻隔信号。这种想象不仅减少了数据的复杂性，还权贵优化了蓄意后果。

为了进一步普及识别才调，酌量团队引入了多重编码器（multiplexed encoders）的倡导。他们将多个具有不同感受野特色的编码器组合在沿途，以捕捉更平时的视觉信息。

这些编码器的输出被输入到一个仅包含单层卷积神经网罗（CNN）的模子中，从而权贵简化了传统 AI 模子的复杂性。

在测试中，MovieNet 对动态场景的分类施展优异，尤其是在分类蝌蚪拍浮看成的实验中，其准确率达到了 82.3%，权贵超越传统深度学习模子（如 AlexNet 和 GoogLeNet）的 40%-72%，也卓越了进修有素的东谈主类不雅察者 (64.5%)。

更重要的是，MovieNet 在蓄意后果方面也具有上风。AlexNet 和 GoogLeNet 等传统深度学习模子的网罗架构保护多层处理层和 CNN 结构，需要消耗开阔的蓄意资源。

即便在无尽蓄意资源和时刻的假定下，这些模子可能达到更高的准确率，但这一需求自己可能戒指其在现实场景中的期骗。

比较之下，MovieNet 通过效法当然神经元的编码战略，以更高效的面貌处分了电影识别问题，体现了基于大脑算法的独到上风。

这种出色的识别才调，使其在医疗边界展现出开阔的期骗后劲。举例，MovieNet 能够捕捉蝌蚪在战争不同化学物资时拍浮口头的细小变化，这有望对药物筛选手艺进行改良。

传统设施时常依赖静态图像的间隔拿获，容易遗漏动态变化中的环节信息。而 MovieNet 能够抓续不雅察和记载动态细胞反应，从而跟踪药物测试历程中最微小的变化。

此外，MovieNet 也有望成为一种会诊早期疾病的器具。举例，与帕金森症相干的微小畅通变化时常难以被东谈主眼捕捉，而 MovieNet 的高智慧度算法不错提前标记这些变化，为临床大夫提供贵重的打扰时刻。

同样地，该手艺还可能用于心律不都等疾病的早期检测，为患者争取更多调节窗口。这种及时捕捉和分类复杂动态口头的才调，展现了 MovieNet 在医疗会诊中的开阔后劲。

酌量团队的首席科学家 Hollis Cline 示意：“MovieNet 的生效不仅评释了生物启发式 AI 的可行性，更重要的是始创了一个新的酌量标的。

通过深远和会生物神经系统的使命旨趣，咱们不错建树出更智能、更高效的 AI 系统。这种设施不仅能够提高 AI 的性能， 还能大幅降拘泥源消耗和蓄意资源需求。”

瞻望改日，酌量团队酌量进一步优化模子架构，提高处理后果，并探索更多期骗场景。

他们相配宥恕医疗会诊边界的期骗拓展，以及与其他 AI 手艺的和会可能性。同期，团队也将死力于酌量更复杂的视觉泄漏任务，激动 AI 手艺在视频和会边界的抓续朝上。

“从生物学中继承灵感将陆续成为激动东谈主工智能发展的沃土，”Cline 说。“通过想象像生物体一样念念考的模子，咱们不错达到传统设施无法兑现的后果水平。”

参考而已：

1.https://www.pnas.org/doi/10.1073/pnas.2412260121#data-availability

2.https://neurosciencenews.com/brain-ai-video-watching-28218/

运营/排版：何晨龙