天才一秒记住【畅想小说网】地址：http://www.cxtra.net
標题很简单：“群作用下的特徵空间统一表示”
。
“传统多模態学习的问题在於，不同数据类型的特徵空间是异构的。”
肖宿的声音通过麦克风传遍讲堂，清晰而平静。
“图像用卷积神经网络提取特徵，文本用transformer，语音用梅尔频谱。
这些特徵向量维度不同，结构不同，度量不同。
强行融合就像把苹果和橘子加在一起算总数，没有意义。”
他在白板上画了两个不相交的圆圈，分別標註“图像特徵空间”
和“文本特徵空间”
。
“我的思路是，引入群论作为统一框架。”
肖宿切换ppt，出现了一个复杂的数学结构图。
“所有数据模態，经过编码器映射到同一个群表示空间。
在这个空间里，图像旋转、文本语法变换、语音时移，都可以看作群作用。”
台下，姚毅智院士眼睛一亮，迅速在笔记本上记下几个关键词。
“关键在於对称性约束。”
“每个数据模態都有其內在对称性。”
“图像有旋转、平移、缩放对称；文本有语法、语义对称。”
“自监督学习的目標，是在保持这些对称性的前提下，解耦出独立的特徵因子。”
他调出了一段代码演示。
屏幕上，一个简单的神经网络正在训练，输入是未標註的图像和文本对，输出是解耦后的特徵向量。
“训练过程中，系统会自动发现不同模態特徵之间的对应关係。”
肖宿指著屏幕上的损失函数曲线。
“这是群等变约束损失，这是特徵解耦损失。
两者结合，就能实现跨模態的自然对齐。”
钱卫华院士身体前倾，盯著屏幕上的公式。
他是搞超算出身的，对算法效率极其敏感。
而肖宿展示的这个框架，计算复杂度明显低於传统的多模態融合方法。
“具体到实现细节……”
肖宿开始深入技术核心。
接下来的三十分钟，他像拆解精密的机械一样，將整个群论框架一层层剥开。
从李群在流形上的作用，到特徵空间的纤维丛结构，再到自监督信號的构造方法……
讲堂里的气氛开始变得有些微妙。
前十几分钟，大部分学生还能勉强跟上，毕竟肖宿讲得深入浅出，而且还用了很多直观的比喻。
二十分钟后，大多数学生已经开始眼神涣散了。
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！