91书院(91shuyuan.com)更新快，无弹窗！
本身、梯度、优化器的状态个个都是本身大小的好几倍。按理来说，每一台服务器都应当有tb级别的内存来存放这些状态。现在你们知道，我为什么特意要求英伟达将服务器内存再扩大好几倍了吧？”</P>
显卡的显存是比较高难度的硬件技术问题，英伟达一时间也没法解决。</P>
但服务器却是可以加装高速内存的。</P>
在普通人的游戏主机上，通常都是2到4根内存条，一般一根8G或者16G的居多。</P>
正常的用户，内存大都是8到32G，富有一点的，64乃至128，不得了了。</P>
而孟繁岐则是为每一台服务器，直接配备了4个t的内存大小。</P>
其规模令人瞠目结舌。</P>
这特么的可是内存，不是硬盘啊！</P>
内存只是一种临时存储设备，用于存储计算机正在使用的数据和程序。</P>
硬盘才是用来永久存放数据和文件的设备。</P>
“4t的内存...比我自己电脑的总硬盘量还大两倍...”</P>
此时此刻，主流的笔记本一共可能才500G，自己组装的台式机也就1t的硬盘大小。</P>
这一台的内存，就能装下8台中高端笔记本的所有数据，奢华的程度，不言而喻。</P>
孟繁岐使用大量的高速内存，目的在于解决当今显卡的显存不足问题。</P>
将绝大多数暂时不参与运算的数据和参数，从显卡移到内存上，需要的时候再从内存取回。</P>
如此反复读写，需求次数太多，普通的硬盘速度太慢，孟繁岐直接上了内存级别的设备。</P>
钞能力发动！</P>
“训练启动，那就得几个月后见了。”孟繁岐为了这一刻已经持续收集了接近两年的高质量数据，上千亿词的训练数据，总规模已经接近两个t的大小。</P>
“等到夏天，差不多应该可以完工，到时候还得专门针对中文优化一版，更适合华国宝宝体质的chatGpt。”</P>
前世中文数据的质量和数量都不大够，孟繁岐当然要弥补这个遗憾。</P>
“算算时间，我也差不多要本科毕业了，这个chatGpt，就当我的毕业设计成果吧。”