亚洲精品菠萝久久久久久久_免费成年人高清视频_51久久成人国产精品麻豆_91国内在线观看_91视频免费网址_国产中文在线

当前位置:主页 > 最新文章 > 正文
大语言模型中的涌现现象是不是伪科学?
来源:程序员客栈作者:洞察网2023-04-22 05:27:37

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(资料图片仅供参考)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

[责任编辑:linlin]

标签:

相关文章

评论排行
热门话题
最近更新
主站蜘蛛池模板: 香蕉久久国产精品免 | 日本成日本片人免费 | 人人狠狠| 亚洲影视网| 成人精品一区久久久久 | 四虎视频在线精品免费观看 | 日本强伦姧熟睡人妻完整视频 | 草草视频手机在线观看视频 | 欧美一区二区三区免费看 | 久久久国产精品va麻豆 | 亚洲三区在线观看无套内射 | 国自产精品手机在线观看视频 | 一本三道a无线码一区v小说 | 午夜快播 | 在线免费观看一区二区三区 | 国产日韩精品视频一区二区三区 | 色噜噜狠狠一区二区三区 | 欧美一级毛片bbxxⅹ | 欧美毛片激情免费视频 | 国产传媒一区二区三区四区五区 | 欧美粗大猛烈老熟妇 | 久久精品爱国产免费久久 | 天天影视色香欲综合网 西瓜影音 | 欧美激情日本一道免费视频 | 亚洲无av码一区二区三区 | 艺校水嫩漂亮得2美女 | 污污的网站免费 | 日本一本免费一二区 | 国产精品xxx大片免费观看 | 亚洲男人av香蕉爽爽爽爽 | 99热久久国产精品免费看 | 日本三级在线电影 | 免费一区二区三区在线视频 | 亚洲av毛片一区二区三区 | 亚洲第一狼人天堂网亚洲av | 99在线国产视频 | 亚洲人成网亚洲欧洲无码久久 | 日韩精品国产一区 | h网站在线免费观看 | 吃奶揉捏奶头高潮视频 | 国产精品久久久久久久久免费观看 |