赵楠泡好茶,给每人分了一杯,“都别恭维了,来来来,喝茶。”
“正好口渴了。”陈然道了声谢,一口干了功夫茶。赵楠见他这牛嚼牡丹的样子,却一点也不心痛自己的大红袍,笑眯眯的又给他续上,还小心嘱咐,“慢点,别烫到了。”
正宗的武夷山红茶,色泽润红,清、香、甘、活,陈然喝到精华的第二、三泡,也慢了下来。
此时也有谈话的气氛,李开来就评价了陈然的那篇论文,“用混合系数结构化地扩大卷积神经网络的规模,简单高效,不仅超越了原来的精度,调参也降到原来的9.2%。”
训练一个神经网络,调参是最重要的工作,没有捷径可走,唯一的区别是,新手盲目尝试,高手靠经验,陈然则是有未来的成熟理论指导,思路清晰,手段精准。
“我记得你之前还有一篇论文,好像是《AdaBound神经网络优化算法》?”赵楠见陈然点头,就问道:“那个也可以节省大量调参时间,两者有什么区别?”
“哈哈,本质上的不同。”李开来拍手大笑。
陈然没有笑,认真解释了一句,“AdaBound是结合随机梯度下降和自适应矩估计,训练前期比较快速,后期又有很好的收敛性,对超参数不敏感。”
“混合系数缩放的卷积核大小、个数,卷积层数等各个维度,主要是为了提升模型性能。”李开来抿了一口茶,再进行补充,“一个是整体架构,另一个是算法优化。”
“哦,这样啊。”赵楠尴尬了片刻,又爽朗一笑,自嘲道:“管理岗位待久了,学问荒废了不少……”
“我注意到,你论文中的卷积运算也不太一样。”李开来想了想,打了个比方,“像是压缩图片一样,对卷积进行了压缩?”
在计算机中,图像由像素点组成,用卷积核(最少3*3)比较图像邻近像素相似性,提取局部特征,比如边缘信息、颜色深浅……在运算时,传统卷积是不加以区分的。
“图像中存在大量低频信息,其实不用过多关注。”陈然举了个例子,“比如大熊猫,它身上毛色相近、背景色变缓慢的部分。压缩这些近似区域,可以减少算力消耗。”
神经网络的功能和规模成正比,隐藏层或者神经元数量增加,运算量也会线性暴增。随着AI走向成熟,算力要求也越来越高,是整个领域都要头疼的大事。
“这样一来,参数少了十倍,速度又至少是其他的两倍,准确性还有提高。”李开来感慨,很是服气,“早上我看到Hinton发推宣传你的论文,影响力很大啊。”
“混合系数缩放的效果很依赖基线网络et-a1。”陈然自信的一笑,他在设计et-a1架构时,很注意简单、干净,以及迁移学习能力,为的就是广泛传播。
“我看到你对神经网络的使用,极有开创性。”自称学问不行的院长赵楠,却有独到精深的见解,“跟你之前的论文,《P对NP问题》有关联的吧?”
呃……
谈到这个,陈然就摸了摸鼻子,有点尴尬。
P对NP问题一直困扰着数学界,位列七大千禧难题之首,同时也是计算机科学领域的圣杯,关系到计算机完成一项任务的速度到底有多快。
三年前,陈然无意证明了它,还顺手投到了《数学年刊》……
说实话,陈然当时只是觉得P对NP难了点,居然卡了自己一个星期,有点意思,值得发一篇paper。
但他完全低估了千禧难题的受重视程度,不仅克雷数学研究所悬赏一百万美金,号称数学界诺贝尔的菲尔兹奖也是虚位以待,很快轰动整个学术圈,成为大家关注的焦点。
由于证明用到了多个数学领域的原理,需要各个领域的顶尖专家进行同行评审,出于学术的严谨性,暂时还没有结论……
但显而易见,辅脑就没有错误的知识!
问题是15岁,破解千禧难题……
这也太惊世骇俗了!
每每想起来,陈然都有些不堪回首,没经验啊,年少轻狂!
面对赵楠殷切的目光,陈然很不好意思,“神经网络本质是数学建模,存在大量并行计算,P对NP的解决有助于调整网络结构,进一步优化性能。”