91书院(91shuyuan.com)更新快,无弹窗!
一种传统:把资源不足当作前提,把约束当作设计的一部分,然后在里面逼出效率。梁文锋显然很信这一套。很多时候,他看工程方案时先问的不是“能不能做”,而是“这里是不是还有浪费”。
在这个逐模块重写、测试、压榨极限的过程中,工程团队难免需要对原始框架做一些魔改。于是工程团队都会拿着方案询问徐辰:这样改动会不会影响理论的完整性?功能上会不会出现缺陷?徐辰则需要快速判断这些工程妥协是否会触碰到底层逻辑的红线。
这里的一些改动很微妙,因为大多数改动都不是非黑即白的。它们不是对或错,而是能接受或不能接受。某些地方,徐辰会同意退一步,比如允许某种中间表示不再保留最优雅的形式,只要不破坏最终推理的同构性;但另一些地方,他会显得异常坚决。只要他判断某个改动会让模型在极端数学场景下失去可靠性,那就没有商量余地。
……
等到模型彻底成型,进入第三阶段的“预训练”的时候,徐辰基本就不怎么忙了。
他只需要定期给工程团队抛出一些一些已知答案的数学问题作为试题,让模型去尝试。通过这些试题的表现,来判断模型是否出现了过拟合(死记硬背了训练数据)或欠拟合(没有真正学到数学的本质)。
在这个过程中,徐辰也在思考一个更深层的问题:怎样才能真正评估一个数学AI的能力?
普通的AI评估方法是在某个基准数据集上跑个准确率,但在这里不太适用。因为数学研究本身就是在不断地面对从未见过的问题。一个能在已知题库上刷高分的AI,未必能在真正的数学前沿有任何帮助。
徐辰很清楚,数学不是标准化考试。真正的研究现场里,常见的情况不是“你会不会做这道题”,而是“你能不能尽早发现这条路根本不值得做”。这也是很多青年学者最消耗生命力的地方,不是不够聪明,而是把太多时间用在了错误方向上。
这就像用一个人在高考模拟卷上的成绩,去评判他解决现实工程问题的能力,这完全是两码事。
……