第894章天问

91书院(91shuyuan.com)更新快，无弹窗！

    七月八号，雅安。
    九章算力基地的大门口，顾屿从比亚迪上下来，山里的空气比绵阳凉快不少。
    徐静提前清了路线，保安核验完身份之后，电动栏杆往上一抬，车直接开到了核心机房楼下。
    任少卿和安德烈已经在楼门口等着了。
    任少卿今天难得换了一件新T恤，头发也明显梳过。
    安德烈倒是老样子，松垮垮的格子衬衫，下巴上的胡茬比上次见面又浓了一圈。
    「走吧，带我看。」顾屿没寒暄，径直往里走。
    GOOGLE搜索TWKAN
    三人刷卡进入B区地下一层。
    走廊尽头的恒温玻璃门一推开，整排液冷机柜的嗡鸣声扑面而来。
    和以前那种暴力风冷的噪音完全不同，这批新部署的设备安静了太多。
    冷却液在透明管路里循环流动，带着淡淡的蓝绿色萤光。
    顾屿目光扫过去，这一排全是新到的K80，比之前那批K40的密度高了一倍不止。
    机柜顶部的状态灯亮着均匀的绿色，散热数据稳定在设计值以内。
    「这批是上个月从海外走的货。」任少卿跟在旁边，压低声音说，
    「一共一千二百张，全部部署完毕。InfiniBand的组网也跑通了，延迟压到了微秒级。」
    顾屿点头，没说话，继续往里走。
    穿过两道安全门之后，才到了九天实验室真正的核心区域。
    几十台工作站的屏幕上滚动着训练日志和损失函数曲线。
    楼天城坐在最里面那个角落，面前摊着三块屏幕，头也没抬。
    「说正事。」顾屿拉了把椅子坐下，
    「Transformer跑通了？」
    「完全跑通。」任少卿语气里带着克制的兴奋，
    「自注意力机制丶多头注意力丶位置编码，所有组件的数学验证零误差。我们在WMT翻译数据集上的实验结果，BLEU分数比当前最优的Seq2Seq加注意力模型高了四个点。」
    安德烈在旁边补了一句，俄语口音很重：
    「训练稳定性也解决了。Pre-LN加上Warmup学习率调度，六层Encoder加六层Decoder堆叠，一次都没崩过。」
    顾屿看了一眼墙上贴着的手写实验记录，密麻全是安德烈的笔迹。
    数字和公式之间还画了些只有他自己看得懂的俄文批注。
    「论文呢？」
    「初稿完成了百分之七十。」任少卿说，
    「实验数据收尾大概还要两周。我的计划是八月底之前定稿，投NIPS。」
    「好。」顾屿靠在椅背上，双手交叉放在胸前，
    「论文的事你俩盯着，按你们的节奏来就行。但今天我来，是要跟你们说下一步的事。」
    他停顿了两秒。
    任少卿和安德烈同时看过来。
    连角落里的楼天城都终于抬起了头。
    「Transformer论文是武器，但不是终点。」
    「从今天起，全面转向大语言模型。」顾屿直接定调，
    「方向只有一个。不搞任何花里胡哨的修补，纯靠海量数据硬喂，只让它做一件事：猜下一个词。」
    房间里安静了几秒。
    任少卿反应极快：
    「不搞复杂的理解框架，直接暴力灌文本让它自己学？」
    「对。」
    「规模准备做多大？」
    「第一阶段，一亿五千万。」顾屿竖起一根手指，
    「先证明这条路能走通。等框架和管线成熟了，第二阶段直接拉到十五亿。」
    安德烈倒吸了口气。
    十五亿参数，按照现在的算力水平，这个数字几乎是在挑战物理极限。
    楼天城从他那三块屏幕后面探出半个脑袋，推了推眼镜。
    「一亿五千万倒是轻松。」楼天城语速很快，
    「就外面那一千两百张K80，如果火力全开，算上分布式通信的损耗，跑一个一亿五千万参数的模型顶多一到两周就能出结果，现有的数据并行完全吃得消。但十五亿这个量级，单卡显存绝对会当场撑爆。我得把张量并行那套东西从论文阶段直接拉到工程化落地，把巨大的矩阵计算硬切分到不同显卡上。」
    「你有多久能搞定张量并行？」顾屿问。
    「给我四个月。」
    「三个月。」
    楼天城嘴唇动了动，最终没反驳。
    顾屿看着他紧绷的脸，语气稍缓：
    「K80的显存墙确实是物理硬伤，这三个月你权当是用极限环境做系统演习。我已经让人带着现金飞去矽谷，跟黄仁勋签明年Pascal架构超算卡的独家包销协议了。等你框架写完，我保证有更暴力的玩具送到你手上。」
    听到下一代超算卡

章节报错（免登陆）

验证码：提交关闭

第894章 天问

第894章天问