本字幕由TME AI技术生成
用声音碰撞世界
生动活泼
欢迎来到科和全球创新第一时间同步
hello
大家好
欢迎来到我们今天的科技
早知道今天这期节目我们不是在平常的我们自己的办公室里面录的啊
今天我们是在古秀的FM创新节快向真空的一个玻璃棒在录今天这期播客
今天这个节目目是他们的f不停播的一个视频播客间
这期节目我我们除了是在我们自己的渠道里面播出之外
然后也会制作成视频
放在胡秀的视频号和他们的小宇宙账号上面来播出
因为我们是现场啊
有可能背景的声音还是是有一点点大的哈
我尽量停顿一下
克服一下哈
那我们今天的嘉宾还蛮特别的
是我们彩云科技的创始人以及CEO袁心远
hello
星远啊
hello 丁教
我是彩云科技的CEO袁新源
很高兴跟大家聊天
嗯
因为我今天有点感冒
有点不太舒服啊
所以我把跟我们的兼职雅贤一起来跟我们来聊这一期节目
hello 雅贤
大家好
我是雅贤
其实最近一个新闻说出来
是说彩云做了一个叫做DCformer的新的大模型
而且他它的效率其实比比ansforformer要高出点七到两倍
刚刚看到这个新闻的时候
我自己其实是不相信的哈
我也去问了身边的朋友
其实还是蛮想直接去采访一下
挺远的
我不知道为什么彩云要做大模型
我们毕竟很多听众都是这个彩云天气的用户
我帮我们讲一讲吧
为什么么
为为业业蛮久了吧
有十来年年了
为什么又从应用又做到了大模型
又开始从底部开始做起呢
这大家对我们的误解吧
因为毕竟你看一个
你只能看到它的表面和壳嘛
大家都觉得我们是做天气app公司
但实际上不是的
我们是一家做模型的公司
我们第一版发的是一个气象预报模型
因为我是擅长做算法的
做算法起家吧
小时候也就一直喜欢搞人工智能嘛
但是你搞人工智能
这有点太空了对吧
那个时候其实觉得这东西根本就做不出来
也卖不了钱
就是从梦想一步步做起吧
你得把自己养活啊
这个是我觉得也是我一个特色吧
我喜欢做一些能挣钱的东西
验证我的东西确实有用
也获得一些社会成就感
所以我就做把计算机视觉的模型的这样的一个技术用在了天气预报上
所以这是我做的第一个项目
在这个过程中
其实我一直都在做基础模型
当时我们也做了LSTM
它本来是做机器翻译的
我们把它用在了雾霾预报上
就一五年做的模型
然后到一七年的时候
我们做了产
云小艺
你说我们用什么
资研模型
其实因为那个时候没有那么多开源模型
transformer也没有
所以我们只能是资研架构
嗯
就是我们要去解决我们要解决的问题
但是这个世界上没有我们需要的算法
所以我们自己去研究一个算法来解决我们要解决的问题
这是我司的style吧
所以并不是像大家可能外界认为的
我们是一个做应用的公司
突然有一天开始做模型了
其实真实情况是
我们一直是做模型的公司
这个其实也是我们一直最大的一个疑惑
因为可能感觉这一波大模型都已经过去了
然后有六小虎出来
大家就很难会把彩云放到一个什么样的的一个坐标这里面
又看到了前两天这篇文章
其实我们一直是在做模型的公司
只不过我们的风格是
我们不喜欢跟风
我们喜欢做创新
所以当大家都在做transformer的时候
就是把国外的
比如说namaa过来
来unction一下
或者是把transformer的论文拿过来
用同样的结构
配上中文的数据
那个不是蔡云想做的
这不是我们想做的
我们不想要花费巨额的上千万美元的钱
然后只只是做一个复现别人的工作
那个角度来讲
是不是其实你已经经过了这样的阶段了
因为你开始也想做模型
但是做完模型之后
最后还是得做应用
你还是得赚钱
所以你是不是已经算是比别人跑得快
起码是在商业模式和思维上面
有能够赚钱的业务
这
这是跟别人不太一样的东西
所以我们有一些空间吧
就是可以去做一些纯粹的研究
你其实要解决的问题
不是说你要出一个模型
你在市场上有多少认知
而是智能到底是什么
为什么我们可以用一些QKOV举神经网络矩阵
它就能够做出来神奇的效果
编程啊
然后为什么之前你跟siri对话
他都像是人工智障
现在你跟chirGDD聊天
他就可以了
这中间我有什么变化
为什么是这样
如果你把它当做一个黑盒去玩耍
去使用
这是一波人的想法
但是另外还有一波人的想法是自然既然我一直都是做模型的
那我或者我们公司是以模型见长的
那我们就应该想一些初心
不是要提高效率做新模型
初心是先搞明白现在的模型是怎么回事儿
再搞明白白这探究这个科学问题的时候
嗯
就是例外的发现
唉 这个模型
它里面可能有一些部分是这么工作的
那如果再改一改
它的工作效率会不会更高
这样就做了一个DCformmer的缘起
我们也现在又投了一篇新的论文
嗯
是关于纯粹的分析这个传ansformer是怎么运作的
可能大家觉得它没有什么价值
但是它在科学上是满足了我们的好奇心
所以我们是一家好奇心驱动的公司
为什么大模型可以运转
因
因为你如果把它拆开看
它是一层一层的神经网络
但是一层一层神经网络
很少有人去关注内部是怎么回事
我要问问一个题
比如说上海的简称是什么
它为达是who对吧
那它里面肯定有一个搜索
还有一个映射的过程
那这个搜索映射的过程
它是怎么就一步一步做出来的
里面可能就有几种东西
比如说查找
数据库的检索
向量的变换
有一些是常识的知识
是存在模型的MLP层的
就是一个多层感知机的层
有一些查找的内容是
是mumuticattention里面的所谓的自注意力层
嗯
你通过这些
你就能动态的调节
比说你发现这个模型的
比如说有幻觉觉问题
那可能它对于一些知识记得不牢固
那你会发现
其实它是因为MLP层的数量不够多
相当于它的常识数据库不够多
嗯
那我们把这个常识数据库就可以给它扩展
那它的效果就会变好
但是
它虽然常识变好了
但是它的推理能力不会增加
推理能力又是怎么样完成的呢
第一步
a等于BB等于CC等于DA等于一
所以d等于一
这当中有一个跳转
跳转
跳转的一个过程
每跳转这么一个过程
你就要消耗掉一层
至少一层神经网络的变换
所以
跳转的过程是由神经网络的层数决定的
所以推理的过程是由神经网络的层数来决定了
它的上限就是单次inference一个token的推理过程
多次inference的推理过程可以联合在一起
这样我们可以延长它的推理过程
当然
这个说的有点专业
总之就是这个东西在写prond的时候就很有用
你就知道这样一个模型
事实问题是怎么回事儿
它的推理问题又是怎么回事
同时
了解了这些之后
比如说我们在写prompt的时候
给大家一个tips吧
显然是让他少跳
比如说你
你问的一个问题是这篇文章最后一段的女主角的想的什么
那你就不要这么问问题
你要问
你把女主角直接写出来
比如那个
比如说小林
你就写小林心里想的是什么
就比你刚才说的那个要效率要高
少了好几个逻辑推理
你就知道 哦
原来大模型应该这么用
所以
这就是我们做这种工作的
呃 意义
我觉得得较焦虑的公司很难做到的
假设我拿了十亿美元
那我现在是不是需要给大家一些result对吧
两年过去了
那十亿美元变成多少钱是吧
这是有很大压力的
你不能说十亿美元
我就搞清楚了内部部这是怎么跳转的
这个好像是有点说不过去
我需要有transformdAU
我要有
有收入
我要给大家一些东西看
但是像我们这种
可能前面有一些积累
我们自己挣了一些钱
当然也有投资人的支持
在这种叠加的之下
我们就没有那么的焦虑
能够更加潜心的去研究这个东西究竟是怎么回事儿
所以就能够做出来
比别人做的效率提高更多
因为大家听起来传错了
两倍好像不多
大家都是什么十倍
百倍一万倍
但是层面不同
就是你不是在底层结构上做的修改
底层结构上所做的这种模型结构的修改
过去七年
大家全部加在一起的有效的修改是非常非常少
几乎可以说是
比如说
也就是不到百分之五十的提升
嗯
然后我们一把做到百分之百的提升
而且我们后续还能接着往下
这条路打通了之后
我们可以接着往下做
用七b的参数
实现十四b的效果
听起来不错
那其实你也可以考虑这七b的参数
这个可以
比如实现二十一b的效果
那会更好对吧
那我们就省了很多
最终这条走下去
那就是开启了一个新赛道
就是大家原来觉得这个东西是不可能实现
就大家所有人都是在transformer上做
大家去做的东西
无非就是参数多一点
数据多一点
算力多一点
卷的是这个东西
大家好像现在基本上卷的是算力和数据
对 好
好像没有别
别的人人在入这个模型去
哎 对 行 我 我是
说到这
我还有一个问题啊
就是关于这个模型
我其实想比较明确一下哈
就是咱们这个DCperformer模型
是跟transformer是完全不同的两件事吗
还是说
其实我们还是借鉴了一些他transformer的一些idea
然后从那个上面buildup一些
是一个本本
对是对
是一个buildup
就像transformer
它也是在比如残擦神经网络
嗯
它也是一个最基础的那个英语叫做文本神经网络化做的那篇论文
就是他在九十年代的时候写的神经网络分析文文什么utiwordwake二一二年的那篇论文
它也是用神经网络去解析预测下一个单词是什么
这些是transfer工作的基础
transforformer是我们工作的基础
我们在那上面就做了一些改动
嗯 对对
然后我下一个问题
其实也是跟这模型有关的
就是咱们这个模型
其实完的performance其实是多方面的
咱们说的一点七到二倍的提升
是这种完全全方位的提升
还是说可能是在我们已有
就是比如说像咱们彩云有天气
或者说是这个网文续写
是在这一个细分赛道上的提升的
不是 不是
是全方位的
它是一个基础结构的更改
甚至于
它甚至可以用在非文本上面
videotranslation
呃
都是可以的
就是所有用到了自注意力层的东西
都可以用上
这是一个非常非常底层的东西
嗯 哎
那我就有个哪一尾的问题啊
刚才大家也说
就是这种大模型公司都要卷算力
然后要卷钱是吧
你像
像咱们彩云
可能是属于一个还是比较初创的这么一个公司
那为什么没有拥有那些钱
那些算力却能做出来
那些大公司都还没做出来呢
你觉得是提升呢
科技的进步不是完全靠钱来完成
如果是这样的话
就不该是openAI做出来
而应该是google或者microsoft做出来
传梭的八字基本上都出来了
他也没有在google留着
对
你不能说这个世界上钱就解决了是一切
但是你毕竟你比如说你要做这个事儿
你有一个入场券板
即使没这个门槛
实际上这个世界上也有各种渠道
创业是什么的东西
创业是发挥自己所能
去解决不可能解决的问题
比如说
就是我当时在搞天气预报的时候
我是不是中国气象局的
我其实是没有技术数据的
就是对
这个也是我的问题
我在跟同事聊的时候
就还挺意外这个
但是
但是我们就是排除万难嘛
就是比如说
我就会写信给中国气象局的人
我会去领导办公室这个敲门
我是一无所有
我就是去尝试
我也
我也从网上扒数据
我想办法去尝试
要想解决我解决不了的问题
这才叫创业的
而不是说一切万事俱备都给你了
像算力这种东西
我联系了google的开发者
他帮我联系了google的tenserresearchacloud
就你就写信去申请
就是说我们想做什么什么研究
当时就给我们免费批了一批算例
那甚至于比如说我学校是或者我的投资方可能有一些闲置的显卡
那我们就去找看是这个东西能不能用上
它是取决于一个你的主观能动性和你有的钱之间的一个权衡
所以 不
不完全是你一定要有钱才能够去创业
我觉得这个是对于创业者而言
显然不是这样的
就是我们原来是去求各种算力
现在我们可以用一些钱去采购
这个就比原来好一点
然后我们真做的事情就又比原来多一点
大家都说百亿级模型或者是千亿级模型
那我们先做个十亿级模型看一下对吧
那或者我们先做个亿亿级模型
那我们做完之后
我们发现它有效果
我们肯定是现在一亿级的模型上证明有效果
然后在十亿级模型上证明有效在
在百亿级模型上证明有效果
所以你一步步做过去
一开始你就不用花那么多钱就是
然后你就发现这个事情好像是有点搞头
你有了信心之后
你就可以去找投资人说
你看投朋友也是开始这么做起来
就就是一步一步走的你
你作为一个创业者
你就是需要你去搭一个台阶
然后把这个事事情一步步的往上
比如说说我们现在已经证明了百亿级模型的参数量级上
我们这个东西是work的
那下一步我就证明千亿级的是work
那如果用千亿级的模型能够做到万亿级模型的效果
那不就GPTfour就做出来了吗
那如果说我万亿级的模型做到了十万亿级模型的效果
那GPT五不就有了吗
这就是一步一步往上攀登的一个过程
嗯 对
嗯
那当然
咱们要不要聊聊关于scalinglow见顶这件事情
我不来看不可能
我们的背景上面也写的是scalinglow
因为最近几家大模型公司
包括像anthopfic
然后包括openNI
他们最新的模型都出现了
说最新模型不及预期的这种情况
都在推迟
对对对
都在推迟
然后就好像光堆算力
然后或者说是光堆参数
好像有点不太行了
不知道情面怎么看
scalinglaw见顶这件事情
或者是对咱们这个模型训练的一个影响
你想想
因为这个世界上它的数据它是有限的
就是你把互联网全部的数据都拿到你去训练你的模型
那你训练出来的东西
它的size总是有一个限度吧
然后还有一个就是能耗的问题
有人说现在的大模型已经耗掉了全球
不算是百分之八还是百分之五啊这种
反正百分之几是肯定是有了
嗯 你 你想想
如果说我们的参数量扩大十倍
我们的数据量扩大十倍
这两个是要乘的哟
就是相乘
就是扩大一百倍
那假设我们原来是百分之五
那我们就需要百分之五百的这种乘一百百分之五百的这个能量来训练
问题是地球上的能量现在就百分之百
就是你要用五倍现在地球上全部的发电量
这两个都是一个目前遇到的瓶颈
这个瓶颈怎么解呢
就是我刚才提的
就是那个你除了这个数据和算力之外
还有一条路
就是模型结构优化
对对
因为我们今年其实做过可控和聚变
专家是说了
可能还得算五十年吧
然后我们其实这两天还在做一个选题
是光子芯片的
对
光算力芯片
但感觉其实如果真的能这个产业化的话
可能也得十来年
对
我也认识一些就是光算的芯片的朋友
呃 还有
我也去合肥托卡马克实验室参观过
嗯
我也发现好像不是很容易
都没有那么快
对
所以您觉得还是从底层的模型
你的模型改觉也很很快
就
就是你同样的参数量
你能够获得十倍的推理能力
那你的整个系统的提升空间就会就比原来大很多呀
大家要知道
智能的来源是什么
比如说
你跟一个女生谈谈爱爱
对对
你到底这这个是什么个意思呢
你买的东西
他可能接受了
因为他有时候出来
有时候不出来
然后他跟其他人好像又有点关系
所以你要在里面进行一大段的分析
然后最后你感觉我到底要不要继续出一个复杂问题啊
对 这是个 呃
这一
这中中可能有几十层的这种推理
在这个陌陌里面
你就因为你分析了之前各种各样的行为
嗯
还跟你自己的感觉有关
比如说你之前作为一个舔狗
然后你失败了
你可能是一种人
然后你做一个舔狗
你成功了
你又是另外一种人
所以情愿你本身是相信scaling好的
只是说现在因为各种各样的限制
导致了他现在没有办法满足他
比如说像能源方面的需求
所以他会见顶
是这个意思吗
是 你要知道
智能的最终来源是你在里面的刚才说的这个套娃层数和数据存储量
这两个决定了智能
所以你的套娃层数越多
你的数据存储量越多
你的模型就越智能
这就是跟你说的本质吧
那我们就在上面加数据
加算力
来提高这个东西
但是现在这两个是就有瓶颈的
但是你提高模型能力
提高模型的设计
也能够提高数据存储量和AI的效果
我们把它改一下
我们当时之前的scannal说的
随着模型的参数量的越多
那我们的效果就会越来越好
嗯
那我们现在说的是
应该是随着模型的这种效率更高
嗯
它的效果就会越好
嗯 对
这个应该是仍然是成立的
嗯
其实我蛮想说说
刚才中午跟行远吃饭的时候
就感觉到行远聊到自己的产品
然后聊到自己的模型
就特别的有激情放光
对对对
我还说到 啊
这个 其实
其实我是在三月份参加了英伟达的GTC大会
然后我其实也是当时看到老黄跟transformer的八子在台上对话
然后我就突然就反映到
我觉得行远跟characterai的创始人
那我们其实是非常相像的两个人就给我的第一印象
哈
我们有passion的这样的人
所以
彩云我们都知道
因为我们自己的同事也有在用彩云天气的
彩云小艺是第二个产品
然后最近呢
去叫彩云小梦
在海外叫dreamly
我们中午去吃饭的时候就在聊dreamly和小梦
现在其实也是清远的主要的这个passion之一
哈
我们今天主要先聊一聊小梦是一个给大家提供AI续写服务和AI角色扮演的一个创作和消费的平台台
是 是
为什么要搞这个事儿呢
首先
我刚才说了
我一直很喜欢这个AI相关的东西
但是呢
当时想要去做语言理解是太难
所以以天做的天气预报之后
其实在学术界一五年出的一篇论文
叫resnet
那篇文章的误差率啊
imagenet上面的人类的误差率大概是百分之五左右
它做到了百分之三点五
所以这篇论文的出现
标志着图像识别问题已经被机器学习功课
嗯 对
当然后面还做了各种各样的事情
但是它是一个分水岭
就在那之后
大家觉得这个问题已经是被solve掉的问题
所以大量的研究学者shift到了NLP领域
如果你在twitter上关注他们的话
他们就会现在开始做NLP了
因为NLP的数据更复杂
压缩度更高
所以理解起来更困难
就图片是相对简单一点的
对
你NLP就是人工智能
自然语言处理
是的 是的 的
你一个小孩
他可以很容易的认识物体
但是他要学会语言
那就需要一些时间
语言是困难的
在语言这件事情
什么就是简单的呢
就是
比如说拼音啊
翻 翻译啊
当你这方面做的题就变阅读理解最难
你这个题是啥呢
作文
所以这是难度逐步增加
我们就先做简单的
那简单的就是翻译
而且它也有用
所以一七年就就出了第一款重音同声传译软件
那个也获得了几百万的用户吧
之后呢
但是发现同声传译这个场景啊
还是相对的窄
嗯
但后面还有疫情这些
没有那么多使用场景
我发现大家在用这个软件的时候
百分之六十到七十的流量是在看英文的小说
我后来发现
从这个角度上分析
其实中文的
或者说文字的这种消费量
也有几个大的来源
一个是我们平常的聊天
最大量
其实还是越
因为
因为聊天是短句的
嗯
就大量的文本输入
其实是 嗯
阅读的云活动查出来的
对 他
他不是论文
因为看论文的是高精尖科研人员
他也不是看新闻
你会发现
假设这个世界上每天文字的消费量假设是一百
嗯
最大的不是论文啊
新闻啊这些东西
而是娱乐
娱乐
而是娱乐
可能八十就是在娱乐上面
这个娱乐是什么呢
就是小说
所以这个小说的创作和消费
它都是中文的一个非常主要的东西
至少占一半
我觉得
所以这种东西就很值得去研究
还有一件事
就是越做越发现
小说这个东西
它是一个对世界的变化的描述
就是它在内部实现了世界的某种状态
对 表示
然后这种状态的表示使得他可以不停的去演进
所以AI小说生成器
其实就是个世界模拟器
你告诉他现在是什么样
让他告诉你接下来会是什么样
然后这个事情就和我做的那个天气预报
嗯
就有点异曲同工
就是因为天气预报它也是告诉你地球现在是这样样
问你明天后天是啥样
或者是接下来两个小时要不要下雨
小说就是现在这个世界是什么样
这两个人要不要相爱
然后这个第三者要不要下足死掉
摁在这儿个开个玩笑
或者是魔戒是不是要打过来来
对吧 这种
那打过的时候
打输打赢了
就是这样的一种也是一种东西
所以我就觉得
哎
这个东西很好玩
还有一点是
当时如果想做知识问答
其实我也尝试过做知识问答
这是每一个有理想的青年可能都会去的
呃
知识问答是想拆box的
对对对
我们也曾经做到过
那叫MS
michael的数据集
这个数据集其实你问搜索引擎一个问题
搜索引擎里面的网页拿到去回答这个问题
我们曾经上线过一个版本
你可以在微博上艾特彩云小叶
然后随便问他一个问题
嗯
肖战会不会骑自行车
那个天空为什么是蓝色
嗯
他就就会告诉你这个答案
然后我们也做过实验
但是呢
我始终这个准确率就只能都到在比如说百分之七八十这种状态
他还有百分之二三十是不对
当然
现在大家发现三点五或者GP四也是是
其
其实就是幻问题题然当时我有一个判断
就是我觉得幻觉问题一时半会儿解决不了
但是呢
在小说创作这件事情上面
幻觉问题就不是问题
对
你幻觉还是个非
还是个feature
嗯 对吧 嗯
你这个脑洞大开挺棒的
嗯 哎
所以我就觉得
这个领域是不是更加适合生成是AI呢
就当时其实天气已经在赚钱了嘛
当时还没有
当时还没有
就是一九年开始做
年开始做
啊对
天气赚钱那个是二零年疫情的时候
被逼的
就好融融资
确定性本质了
回归商业本质
质
只能回归商业本质了
对
幸好就是拜各位用户所赐
给为订阅费啊
但是产业天气用户这些订阅费
不要骂我哈
我都是花在这个做大模型上了
啊不是
我们也在推动人类文明的前进对不对
就是大家的这个产云天气的订阅费也是不是白给的
因为先做的小说的翻译和珠海
觉得这个有有的搞
然后就翻译
其实就中文到英文嘛
续写就是上文到下文
是数据换一下
哎 发现 哎
真的可以搞
二一年搞的时候
其实那个时候就是一个介于GPTtwo到GPT三的时代了
GPTtwo出了
那GPT三还没出
然后我们大概在技术水平也在这两代之间吧
但是在中文圈
大家就觉得很新鲜
对
所以当时我们上线一周
获得了一百万的用户
在b站上面
大家用他在做小说
做视频
做动画
用他的做剧本
剧本之后做动画
然后我们获得了上亿的播放量
当时人人日报官号有一篇文章就是作家会失业业嘛
就是二二一年五月份的情情后
还差几个月
嗯 二二年
二二年的十一月份
我们就是领先了一一年多吧
二年年八月十五五
我们发了了点零版
版就
就一点零版本就是续写
二点零版本就是你可以扮演其中一个角色
比速度
比创意呢
我们还是不错
但是后面我发现
那个留存是个大问题
但这个对所有的大模型都是
都是大问题
对
然后这个事情我也有深度的思考
就
我不是说找什么解法
我先说问题在哪里
问题是在于
我把它叫做算力等价定理
你要去解决的问题
要跟你付出的算力要等价
比如说
你期待我们做一个故事创作产品
然后这个故事创作要有消费性
你的PK的对象不是AI
也不是人类
而是netflix
是爱奇艺 嗯
十三体
你让他这个水准
大家才会去看你
当然
不是说一定要是这个水准
但是你至少是个顶尖top水准吧
嗯 对
你AI生成一个做高考作文水平
那肯定是没有消费性的
嗯
比如说我们拿三刘慈欣来思考
就是他写三题
可能花了前后可能是十年左右的时间
投入多少精力去做这个剧情设计
你的AI要想得到一个同样水准的东西
那你付出的算力要跟他类似
比如说
假设你认为刘慈欣是个万亿级参数我们的模型
那这个万亿级参数模型运转了十年对吧
我们才做出这个东西
你要是做一个千亿级的模型
你 你要做
做出多少
这只是打个比方啊
这真实的可能不一定
这刘刘慈可能比万亿级多多了
大脑是一百亿神经元和一千亿连接
对 嗯
就很难用更少的东西得到更多的效果
至少大家要在某一个量级上吧
所以说
我们我说整个行业
先说整个行业
就是整个行业来讲的话
就是无论是我们要去做新药发现
要去做医疗
要去做比如说刚才说的可控核聚变
或者说新材料
对
你都得付出等价的算力
就是你不可能指望我用一块花一块钱或者一万块钱的事情
这个是很难的
从故事创作上面来讲
你也很难想象一个大学生
然后他能够用比如说几分钟做出一个三体level的小说
这两年其实是看了一个诡秘之主
因为它的里面的世界的复杂性
然后包括它每一个不同的它可以修炼的方向
大概可能有十多二十种
所以他作者在写的时候
他是需要弄非常详细的这样的一个excel表
对每一个这个领域
然后它不同的这个级别又对应的名字和能力
非常复杂 对 对
就像您刚刚讲的
你没有等同的算力
也构造不出那么复杂的世界
对
诡秘大概一两百万字吧
你在这一两百万次这个世界当中
你都不崩
然后整个人设它要是精彩合理的
这是非常非常非常难的事情
现在的AI
可能也就比如说GPD的输出token数
这个之前的这GBDfour是四k
现在增加了一点
可能到八k或者十六k
输入是一百万token
但它输出是相对比较少的
所以可能有有上万字的凹特能
因为我们是一个写作的软件嘛
我们专门干这个的
呃 当然
这只是我们的第一版
因为这个还能接着往往下跌嘛
刚才也提了
就是百亿 呃
千亿往上做
所以就是去是这个虚构的比较好是吧
对
虚构的比较好
就这
毕竟我们在作家群体上还是有一定的声誉吧
哎
是有一些这个职业的作家来
非常多 非常
就是我们甚至有拿到金鸡奖的作品
输出以后还是需要人工的
再需要人工认识山
要人工认识翻翻
是的 是的
不是作家头像
就它主要要决的是两个问题
一个是是细节描写
就是这个是非常费劲的
哦 明白
我去一个山
那你就可以描述这个仙山的什么样子
那比较麻烦
他就直接搞定了
还有一个是灵感
就是我现在卡文了
我不知道这个剧情怎么样写比较好
突然他
比如说他插入一个第三者
我就觉得这个剧情就走下去了
对
所以这是小梦的两个作用
我们去试一试吧
我一直想写这个科幻小说
可以试试
可以 对
但是现在我还推出了一个新的版本嘛
就是AIRPG
这个版本就是他
他能够穿越到这个世界去扮演你的角色
就是更加面向消费者
我们有面向作家的一个版本
就是作家可以去改动
不但消费者提供服务
就是刚才提到的
就是你做出来的东西的智能度其实就不够消费性
所以这件事情就是说
为什么留存率不够的原因
是因为它达不到那个消费性
但是如果说普通的
像我们这种
他可能刷个爱奇艺就是获者海外的就是刷个neatafxx甜甜圈
或者是这种爆米花就可以了
但是你的a
你AI做出来的东西
那可能还没有人家爆米花的这个跌宕起伏
或者是做出来的好看
嗯 就是 那我
我就算了
对吧
是说剧情不够精彩
还是说人物不够丰满
还是说
我们要分几步走
就是第一步
是我们一定首先要解决的事情
是他不出错
就第一步
我们要觉得就是会穿帮是吗
现在 对对
会穿帮
我们都看过一个电影
叫盗梦空间
嗯
那里面有个architecture的职业
叫造梦师 嗯
但那个造梦师
如果他水平不行的话
你做着做着梦
你会发现这个是个梦
你就是他就醒了
对
就我们现在的AI
就是这种感觉
嗯
某一个人物
突然他就出戏了
你就会醒来
你会发现不对
他就像灰姑娘的水晶鞋
他就消失了
大家为什么那么的热爱这个东西
因为他给大家的一个非常好的泡沫
就是给大家造了一个很好的梦
或者是我们自己的软件
characterAI这类型的软件嘛
就是AI陪伴类的软件
就是大家想要一个梦境
这个是每个人都想
可能都会有的东西
但是AI现在没有去满足它
但是呢
当在前五分钟
你是没有感觉
或者说前半小时没有区别的
所以大家会非常的热爱
就是这个软件
会非常的热爱
但为前半小时你玩的时候
你会觉得它满足了你的一切幻想
嗯
但是你的泡沫就崩
崩了 就是 当然
这只是我的一家之言言了
这其实我认为这是个非共识哈
大家其实在做多模态
就共识是多模态
大家留存率低
是什么原因呢
哎
没有声音对不对
没有画面
我来搞视频
是不是交互做的不够好
我来把语音的这个交互时间变短
嗯 啊
我变成语音
然后给你在做拟人真实的共识
非共识就是
其实是这个泡泡吹的不够大
吹的不够久
容易出现而像
我觉得这个还是根据你的这个用户的使用场景来看了
嗯 就像我
我昨天
今天在办公室里
我跟俊玉
那也是我们工众朋友嘛
我们在试听的拆GBT的语音
然后我发现他最近又加了这个很尴尬的这个笑声
你每次跟他对话的时候
就说
我觉得是的
哈 是的
您说的非常的好
我
我觉得这个也实在是太崩溃了
那他确实是在迭代
你说我会不会就不用它了
我还是会用它
对
但是他这个
这个笑声
我就觉得很出戏
我就问你一个问题
你干嘛要这么多感情给我
嗯 对对
就是多模态是共识
但是泡泡吹的不够久
不够持久
这个不是共识
但我觉得这可能也是像是小梦或者是characterAI
因为它还是被赛大的描述里面的这样子一种交互
就比如说是这个共识的久不久
我比如说
我问一个chargeBT帮我做一个数学模型
然后我要算一下这个公司的什么新业务的营收
就不太需要他
我说的是我的
但是我说的是ARPG这个赛道
嗯
就这个赛道
它的当下的核心问题
造梦 造
造的不够久
就造梦师能力不够
嗯 而且
我还想说一下
造梦师能力
它其实是个指数级别的
就是你别看三十分钟和六十分钟
它不是一倍的时间
就是你在三十分钟里面
比如说
比如说你可以见一个人
你在六十分钟里面
你可能会见两三个人
然后去到三两三个地点
这两三个人可是要交互的呀
你想象一下
你自己生活了在一个世界里面
你生活个一周
你能见到多少人
你甚至可以飞个飞机到美国
对不对
你的这个过程
它飞机上见到的人
然后到了空姐
然后再回来
然后你再打电话给北京的人
中间还有时差哦
他中间不能崩
你整个世界要合理
要连贯
他就还是需要一一个他自己的一套逻辑
就世界大模型
他有啊
对对对
就是这个才叫真正的世界模型
是
但我觉得这还挺难的
所以
您的意思就是说
因为大家都想做多模态
所以把资源都投放在了
对对对
多模态那些分支上
以至于没有在垂直的语言的这个智能度的东西
是根本呀 嗯
就是如果没有资个
也是跑的最快的吧
如果要比如其他的
这个
他应该是最容易的
跑的最快
但是跑的最快的
因为他相对来说
是最容易实现的
那另外一个问题就是
像尔德瑞亚
到现在他都不怎么赚钱
我不知道在商业变现上面
我们刚知道彩彩云是后面其实是开始收费了
但 嗯
比如说像小梦是怎么样想的
因为现在大部分的国内的大模型全都是免费的
我觉得对我们比较头铁
我们是收费的
就
就是我们还是比较罕见见正向毛利率率公就是我们的收出来的费
carcover掉了我们服务器成本
这是一个思维观念吧
你如果经历过疫情
发生疫情的时候
可能中美断行的时候
你会有个极大的焦虑
我觉得经历过疫情的企业家是不一样的
嗯
就是你会风险意识比较高
所以我不喜欢做那种投入很多
然后最后可能没有回报
公司可能会挂掉这种事情
就是我希望把风险
就是以前我其实一直是投资人问我能用多久公司
可能是比如有十八个月或者是二十个月啊
嗯
那我一般可能说三十个月
或者五十个月
就这种
尽量让风险不要那么高
而且我觉得你能挣一些钱
就证明你有社会价值
那你可以继续加大你的投放
然后把你社会价值不停的放大
如果你挣不了这个钱
它说明你其实就你创造的这社会价值不是正向的
比方说吧
我刚才说的
比如说我们的故事创作能力
现在消费者达不到
他不给你钱
他就那个水准
但是作者可以用啊
因为作者可以自己改他
你出虚型出错了
没关系 那好
那我们就先挣作者的这部分钱
可能这个钱比较少
也许就是做的人数比较少
比如说几百万或者一千万这个量级
但是一旦你的这个技术突破了
就是你的技术不断的突破
也许你就可以做原来是专业作家
后来变成爱好者
嗯
然后后面变成所有人
最后你就可以去打雨果奖
打诺贝尔文学奖的市场了
有一天啊
算力等价定理嘛
假设我跟刘慈欣同样的花掉了十年的这个时间去构思一个文章
我就能够跟他达到相同的水平
如果我能够有更高的效率
我能够花一百年
因为刘慈欣没有一百年的生变
嗯嗯嗯
但是AI有 嗯
那我就有可能可以做到刘慈欣做的做的更好
哎 行远
我想一个问题啊
就是你对AI写作的未来的预期是水平可以进入任何一个世界
然后这个世界它都是真实的
嗯
然后你可以去
就是你的想象力是你的上限
最好是我们的多模态也都能搞定
嗯 就像是
更加像是一个你自主选择的黑客帝国
不是一个被迫的黑客帝国
是的 是的
就是你可以去选择头号玩家那种
嗯
你就带上VR
就进入了那样一个世界
嗯
一个新的世界
这世界你可以去赛车
可以去星际探索
期待是我们玩完了AI的这个世界之后
你
你能够后获得一些东西
在现实世界当中
很多事情你以为是这样
实际上并不一定是这样
比如说你当一个皇帝
然后有后宫三千佳丽
你觉得超级爽
但最后你发现
可能大家都不跟你真惜甄嬛嘛
你看完之后
你会发现
我要当皇帝
绝不那么搞
会被搞死
用短暂时间重活了多少多少次以后
然后发现
并不是别人的人生就更好
对对对
这就是这样
就是人跟人生遥控器嘛
当然
你也收获了一些其他的东西
你收获了一些东西
你得到了人生
弥补了之前没有弥补的遗憾
但你也学为了新的东西
然后能够反哺你现实世界的人生
然后让你的生命的长度得到了极大的延展
你原来是我们人只能生活一辈子
这是不是很遗憾
就让我想起了三体人侵略我们的时候
先给我们发个头头盔
让你先看一下他们的历史
你也学起下
其实我刚才问景远对AI未来的写作
未来想象
我其实是想问一个什么问题呢
就是我们所有AI的这些推理能力
包括训练能力
都是基于已有的世界架构
那其实AI说白一点
它其实是基于一种归纳法
包括说我们所谓的AI能够推导物理定律
其实它是基于已有的这些物理现象
然后已有的这些定律来做一个外延
所以
那我们的AI创作
它其实是没有办法写出来一些有脑洞的东西
比如说马尔克思比
你 不是
你请就看我们作者
我们已经是每天要产生极亿的的内容
而且都在起点上面发表
你现在看到的很多书
其实就是AI生成的
所以你以为都不新啊
他们还是霸总文学
还是你 不是
不是
不是不是
不是你
他们并没有出来
马尔克斯呀
不是从金瓶梅
是从红楼梦上衍生的嘛
就是你
你可以用同一个时间关系做别的东西
它仍然是创新
但是还有一个是AI的创新
它不仅是这种衍生品的层面
就是它是更加深刻的层面啊
当然
现在的点子可能还是AI做的
但是呢
我们一步一步来
就是我认为点子这个东西
它也是一个搜索并筛选的过程
就是为什么三体好
就是因为三体想象了一个三颗星星的世界
它是什么样子
嗯 对吧 起点是
嗯
假设一个星系里面有三颗肽
嗯 那这些
那里面的人是什么样的
当然
这是采访刘慈欣的得到的答案
是这个篇文章的初心
当然
根据这个后面可以推导我我们宇宙文明是什么样的
那这个可能是目前机器还做不了
但是将来
比如说机器可能有也有很多个点子
然后我从这个点子里面筛出来一些
我们作家有一个极其精辟的描述
就是在我们的用户群里面
他是这么说的
人类的想象是有限的
而机器的想象是无限的
为什么他这么说呢
因为他每次点一下
换一换AI
就会给他一个全新不同的巨星走向
但是AI没有办法发现量子力学
它不能代替爱因斯坦
那可不一定
你知道新重整化方法嘛
这京东标
这两个都颁给了AI嘛
但
但是颁给AI这个有争议哈
但是重整化方法不是
它其实是可以发现一些新的东西
对
我仍然认认为是算力等价定理
发现量子力学是消耗的
薛定谔或者海森堡他们一代又一代人吧
搞了好久
然后他自己去做实验这些
但是这些AI不是不能做
如果给他足够多的时间
我觉得
我觉得行远在形容一个AGI的时代
嗯
但我觉得这根据现在的说法
还是属于雅贤描现的
你
我们是在两个维度上在讨论这个问题
智能涌现到底是什么时候能够出现
对 好
谢谢大家帮我们
我是
是帮我描述的
嗯嗯
你
你以为的创新
其实可能就是一种错误或者什么样的机制
它并不是什么神秘的东西
你觉得未来会什么样
让你觉得特别exciting的特别兴奋的这样子
AI产品
我认为像材料科学这种
是有很大的突破可能性的吧
就是常温超导材料对吧
就是之前LK九九是比较火的
但是LK九九其实就是个一套制备方法
对
跟这个oppafour一样
它其实能不能通过AI能够快速的的
很 很有可能 对
如果说能这样的话
那也许下一个震撼大家的时刻
可能是AI做出常温超导的时刻
我
我觉得这是比较期待的一个产品
嗯
先把我们的底层科学
我们再上一个
对 上上上个
再上一个台阶
就是 而且
这可有可能是最终你会发现
就像刚才说的
提问题的人也变成AI
我们现在还好
我们能提几个问题
哈
我们放这儿就是
什么常温超导
可控核聚变
黎曼猜想对吧
雨果讲
我觉得这几个都是相对比较下一个level的事情
但是哪个先被搞定
我
我现在主持谁的艺术家和AI的这方面论坛
我旁边的那
呃
汪明安教授
然后他
我忘了是哪他提到的哪一个哲学家说我
未来有了AI的社会
所以就只剩下谈恋爱和艺术了
很有可能
很有可能 对
我觉得那就
我觉得那小梦还是大有可为
对
就是在AI创造的那个泡沫的世界
真的是 呃
令人流连忘返
是一个非常非常震撼的体验
但我
我就是愿意付出我的最近一段时间的全部生命
这个生命吧
中午
中午您这个说了
就是即使是可能下一秒钟死掉了
然后其实也不后悔在
在做这个
在做
在做这个AI故事创作这件事情
因为 呃
很多小孩都有这种童年梦想
能够创作一个自己的想象的世界
在那想象的世界里面
你 你可以变
变形金刚
变成奥特曼
嗯
哆啦a梦等等
然后
但是实际上
长大了以后
你会发现
这个世界是如此的boring
然后你每天都在上下班
这个AI的这种RPG的这种技术
它就又把你拉回了小时候的那个世界
然后
并且比你小时候想象的那个更加栩栩如生
嗯
开始颤抖了
就是开始颤抖抖
就是会给你带来一种灵魂颤抖的体验
我玩塞尔达
就跟这个度假之类
我会这个连续续
就在一一 啊
那个不是亡国国之类
是在前面一把荒野的旷野之息知悉
对对对
然后就玩了一个多星期
就啥也没干
放假了啊
就在游戏里放假
对对对对对
这种感觉特别爽
对 呃
就是将来就是你的任何一个梦想
都能够有塞尔达的那个质量
然后你能够在里面去
去玩耍 就是
反正我觉得是值得追求的一个梦想
好的
那我们今天节目也差不多了
非常感谢情愿今天做客我们的科技早知道
谢谢星源 嗯
在啊
我们也感谢一下啊
虎秀
为我们本次节目提供支识
啊
就是特别多辛苦的老师们都在这支持我们录制
对对
谢谢大家
好的 行 好
那我们今天节目就到这边
就到这里了
拜拜拜
这就是我们今天的节目了
欢迎你订阅
分享给身边的朋友
就会对我们非常有帮助
二零二四年
我们还制作了两档全新的付费节目
不止金钱和跳进兔子粽第三季
希望可以给大家提供更加优质和深度的内容
另外
欢迎你加入生动活泼胡同会员计划
支持我们的内容创新
还能解锁我们所有的付费节目
每周会员通讯和线下活动
详情可以查看单集简介
好的
那我们就下期再见
