NGC Ventures:9月了,现在的AI还值得创业吗?

作者:怜梦 | 2023-09-04 11:42:47 | 6034人阅读 |

尽管数字货币的发展还面临着很多未知的风险和变数,但它已经成为了全球范围内的热门话题和研究领域。本文将为大家介绍NGC Ventures:9月了,现在的AI还值得创业吗,希望能够为小伙伴们提供全面的了解和认识。

NGC Ventures:9月了,现在的AI还值得创业吗?

相关拓展资料:币圈玩家推荐的十款挖矿软件排名靠前http://www.fxdiv.com/qkl/104403.html

NGC Ventures:9月了,现在的AI还值得创业吗?

前言

本文初稿于八月底休息日摸鱼之余完成,草率发布后受到了诸多指教,笔者遂增改删了一部分内容,以免贻笑大方。

本文的内容主要是站在投资视角对?AI?行业的现状进行评价、对不同公司的技术/产品路线进行反思和猜想、对?AI?行业公司的战略进行抽象总结。因此,涉及到具体技术的部分,难免有疏漏,还请多包涵。

不过说到底,能发论文的几家大公司还撕的不可开交,似乎也没人能评价本文内容的正误。就像用?GPT-4?给?GPT-3.5?打分一样,看起来合理,仔细想想是有点抽象的。

因此笔者建议,将本文视为对不确定性行业的信息搜集后形成的“判断”。既然是判断,立场必须鲜明,必须言之有物。至于判断到底对不对,就留给时间检验吧。

笔者始终认为:新行业噪音大,多动脑、敢于下判断总是没错的。对于判断题,盲猜的正确率是?50%?,而连续猜错三次的概率是?12.5%?,哪怕是扔硬币级别的下判断,也是有意义的。下判断并不可怕,判断准确率低于扔硬币才是最可怕的。

在正式开启本文之前,需要感谢以下工作,为本文提供了宝贵的灵感和数据源。当然,由于本文有许多推论都是基于这些工作,如果其中包含错误、或笔者理解有误,本文的推论也将不再稳健,请读者自行甄别。本文不构成投资建议,也很难构成投资建议。

Chain-of-Thought Hub: A Continuous Effort to Measure Large Language Models' Reasoning Performance(https://arxiv.org/abs/2305.17306)

LIMA: Less Is More for Alignment(https://arxiv.org/abs/2305.11206)

June 2023, A Stage Review of Instruction Tuning(https://yaofu.notion.site/June-2023-A-Stage-Review-of-Instruction-Tuning-f59dbfc36e2d4e12a33443bd6b2012c2)

GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE(https://www.semianalysis.com/p/gpt-4-architecture-infrastructure)

好了,让我们正式开始本文。

大模型:发射赛博火箭

2023?年讨论?AI?的第一步,就是讨论大模型创业到底还能不能做。

大模型(的预训练)目前已经转化成了发射火箭问题,只要烧的起、方向对,谁都能做。可以说,训练大模型就是在发射赛博火箭。

一个反常识的事情是,投资人对大模型训练的难度是低估的,而对发射真火箭的难度是高估的。同样是?6000?万美元的成本,投资人会觉得火箭升空失败还可以有第二次机会,而训练大模型失败则被认为是浪费资金。

GPT-4?在?OpenAI?的?GPU?利用效率(爆料称约等于?30%?)上,仍然消耗了?6000?万美元。这是一个{性能=效率×成本}的问题,而性能是道墙,如果其他的初创公司不能实现大于?30%?×?6000?万=?1800?万美元的性能效果,则用户不如直接用?GPT-4?。

目前,许多号称训练大模型的公司的融资轮次在?100?万到?500?万美元这个区间。也就是说,即使是最大融资额的公司,其弹药量也只足够支持一次发射。而这次发射的?GPU?利用率即使达到了?100%?,也很难超过?GPT-4?。

从这个角度来说,发射火箭是更好做的,因为目前大部分火箭都是运载火箭,带着卫星上天,而单次负载量有限,所以小的火箭公司可以接别人来不及发射的卫星单。

大模型则不同,大模型的横向扩展的边际成本只有算力成本,而算力成本可以是弹性扩张的,也就意味着对于大模型公司来说,每一单的利润都是白捡的利润,几乎不用付出额外成本,承接能力非常大。对于新成立的、质量差的大模型公司来说,很难接到溢出的需求。

除非训练成本大幅度下降,否则即使知道了?GPT-4?的全部架构,许多公司短期也很难做出可投入市场的大模型。

定制化:直面“赢家通吃”问题

在硬件行业,一种常见的现象是通过定制化需求来实现早期的利润,再通过早期利润实现技术突破(或者追平)。然而大模型行业的定制化很难成为新进者的出路。

关于这个判断,解释起来非常简单:绝大多数微调后的模型追不上?GPT-4?,即使追上了,直接使用?GPT-4?泛化的成本更低、人员需求更少、运气需求更少、数据需求更少。只要?GPT-4?和其他模型的断档级性能差距还存在,定制化就不能成为大模型公司的出路。

一个非常典型的例子是?Jasper,使用微调的?GPT-3?服务企业客户,然而在?OpenAI?公开了?ChatGPT(GPT-3.5)之后,其用户迅速流失。因为?Jasper?的产出物可以通过为?GPT-3.5?输入简单的?prompt?来得到,而无需使用一个泛化能力差和仅限企业内部使用的“落后版本”。

相比于新公司,Jasper?至少还有一个?GPT-3?到?GPT-3.5?的空窗期用来发展。然而现在的新公司需要同时面对低成本高速度的?GPT-3.5?和高性能的?GPT-4?的挤压。

因此,寄希望于通过定制化积累利润从而实现技术突破的路线,生存概率很低。

微调:必要,别迷信

目前的?AI?行业对微调有一种不合实际的期待,这种期待从具体的技术实现和从宏观的技术节奏来说,都是过于高估的。

行业目前所讨论的微调,绝大多数指“在预训练模型的基础上,使其生成符合人类意图的回答”。这种微调可以称为“对齐”,也就是让回答对齐人类意图,而不是为大模型增智慧。

根据多篇论文的研究结果,大模型的知识应该主要来自预训练,而微调更多用在对齐上。

简单解释就是,预训练决定脑容量,微调决定母语。为预训练模型进行微调,是一个“扫除文盲”的过程。

然而,目前行业中经常将微调视为一种为模型“增智慧”的方法,也就是通过微调提高模型性能、增加模型知识,认为这样就可以抵达“人工智能的圣杯”。这种思路是有些偏颇的。

首先,模型本身的性能并没有提高,只是能更好地对齐人类意图,如果任务的复杂度超过了模型的性能,微调并不能收获如期的结果。就像是让人脑进行量子运算一样,做不到不是教育的问题。

其次,在“意图对齐”的部分进行“知识补充”,效果更类似于“鹦鹉学舌”。即:模型只是模仿专家说话,而并没有理解其中的含义。尽管很多行业用“鹦鹉学舌”已经能得到很好的方案(毕竟大多数行业都不复杂嘛...),但这显然不是我们应当在长期追求的结果。

最后,对于“补充额外数据集,提高模型性能,增加模型知识”的训练,应当被视为模型具有“增量学习/持续学习”的能力,即:模型的全参数可以通过增量数据集进行优化。这和所谓的“指令微调”并非同一个范畴的概念。

总的来说,微调是非常重要的,但对当下的微调报以“迷信”的态度是错误的,特别是急于将当下的微调封为圣杯的言论,颇有一种“如今物理学的大厦上只飘着两朵乌云”的意味。

退一步讲,如果“增智慧”的需求真的可以通过指令微调来解决,做个简单的向量搜索、直接把知识塞上下文里、再简单写几个?prompt?模板,大概率能有一样甚至更好的效果。

大家都喜欢微调,可能也是炼丹技艺在现代的一种复兴吧...

训练效率:从?30%?提高到?60%?可以直接缩短一倍时间

算力密集度提高:从?A?系列换成?H?系列再换成?AI?专用卡后,算力密集度提高,很多架构上影响效率的问题都可以解决

算力成本下降:老黄(Nvidia?创始人)给显卡打折,显著的成本下降

参数效率提高:模型的参数效率存在提高空间,参考以往新模型对老模型的参数效率通常能提高多倍,可能使用?GPT-4?的?30%?的参数就可以达到类似的效果

综上所述,从零训练出?GPT-4?级别性能的模型的成本可能有?10?~?20?倍的优化空间,也就是压缩到?300?万美元~?600?万美元,这个成本对于初创公司和大公司费控而言,都是更容易接受的。

而这个变化,可能需要?2?年左右的时间来完成。

目前,主流大模型的技术仍然基于?transformer,基础架构没有变化,炼丹加参数的大力出奇迹思路仍未穷尽。GPT-4?的训练在算力限制很大的基础上进行,且训练时间不够长。

如果参数是随训练时间线性增长的,类似于?GPT-4?的架构的模型的参数上限可能是?10?万亿左右,即:训练时间多一倍(×?2),并行显卡多一倍(×?2),训练效率快一半(×?1.5),参数效率高一半(×?1.5),最终得到十倍的结果。按照硅谷的风险偏好风格,这个参数量大概率会在一年内达到,无关乎性能到底有没有提高。

然而在达到?10?万亿参数后,LLM?是否还能使用增加参数的思路大力出奇迹,就是一件完全未知的事情了。

如果参数量对模型性能的提升是边际递减的,则?10?万亿很可能是个坎。然而,也有一种猜想是参数量对模型性能的提升是边际递增的,类似于“一个人如果足够聪明则学什么都快”。前者还好,假如后者成真了,模型性能可能会发生指数级提高,届时发生什么将完全无法预测。

预测炼丹很难,但预测企业战略节奏很容易。总参数?10?万亿的模型对于绝大多数企业,无论是?Google/MS/APPL?这种巨无霸,还是小一点的?OpenAI,都是一个里程碑级别的终点,是可以停一停、做些技术探索的位置。

企业/资本对于风险的偏好可以折算成一个“忍受时间”,如果整个忍受时间都在剧烈燃烧费用,则很难超过?6?个月。人类的工艺成长速度不够快,通常以?5?年甚至更长时间为一个周期。因此,在?5?年内,模型的极限参数量是可以估计出来的,应当是?20?万亿~?50?万亿。除非再次发生工艺/架构上的巨大突破,否则,超过这个数量级的概率很低。

多模态:房间里的大象

多模态是房间里的大象,可能会深刻影响到赛道的格局。

多模态的简单定义是:支持对多种模态信息的输入和输出。这个定义很松,比如市面上一些宣称自己能够进行多模态输入的产品,其实是?ChatBot?外面套了一层?OCR。也有完全符合多模态定义的模型,但其性能就让人不敢恭维了。就连?GPT-4?的图像多模态输入能力也还没有大范围开放,可以看出这个功能并不是很稳定。

不过,多模态的发布并不是一件遥远的事情。GPT-5?大概率是原生支持多模态的,也就是需要重新设计结构、重新训练。而根据前文的推理,大模型的参数还有?10?倍~?50?倍的成长空间,在其中放入多模态能力,应该是足够的。因此,可以预计,高可用高性能的多模态模型会在?2?年内出现,乐观点的话,?1?年差不多了。

多模态是房间里的大象,大家都知道最终会有这样的东西,但很多产品/研究/战略都忽视了其存在,以至于在关键部分存在误判。

例如,单一图像模型理论上会受到多模态模型的严重压迫,但目前大多数研究/投资都忽视了这个问题,导致给一些专注于图像模型的公司过高的估值。这些公司未来很可能会失去技术壁垒、转型成服务商,其估值体系应当参考服务提供商、而不是技术公司。

如果要讲“投资看人,同一个团队可以做业务转型”的故事,就当我没说。传奇总是在的,但做研究不能笃信传奇。

OpenAI?存在云资源的规模优势,成本更低

OpenAI?的?API?已经在产品代码里大量使用,更换难度大

该公司的产品性能仍然没有超过?GPT-4?

OpenAI?的次世代产品(可能是?GPT-5)即将发布

可以看出,该公司的压力是相当大的。比起训练?GPT-4?,还不如直接押注次世代模型(对标?GPT-5)。然后问题就会从“同类竞品问题”转换成“技术创新问题”。这是小公司难以承受之重。

因此,讨论“谁能训练?GPT-4?”是一个战略上的死题,比起思考这个问题,不如找找更有确定性、更有机会的方向。

Auto-GPT/BabyAGI?等,都想做“能用一辈子的框架”。

一个客观事实是,OpenAI?在?5?月份发布了?Function Calling,很多代码中麻烦的地方都有了更好的实现方案,而实现更好方案的代价就是重构产品代码的关键部分。8?月份,OpenAI?又发布了微调?GPT-3.5?的权限,很多需要精准控制输出的环节又有了新的潜在方案。

因此,初创公司必须面对一个关键选项:是选择①提高性能、不停重构产品,还是②减少使用新特性、始终使用老特性进行开发?

对于新技术应用的创业,“开发”不仅仅代表着写代码的过程,也代表产品功能/战略方面的“上限”。可以驾驭的性能越高,产品的理论功能越多、战略灵活性越高。

技术的发展无法预测,而微小的技术革新可能带来高度敏感的竞争格局变化,初创公司对技术的发展应当具有反脆弱的能力。

说人话就是:性能优先,避免停留。开发层面,多用新特性;产品方面,思考新特性能做什么功能;战略方面,考虑到新特性对战略的影响。

《过秦论》中,曾提到秦朝在建立之后收缴了天下的金属兵器,将其铸成了十二个铜人,来消灭民间起义的可能性。但秦朝是出了名的短命王朝。比起无视变化,还是重视变化更有利些。

Meta/字节/腾讯等,也包括?AI?行业的上游,如?OpenAI。

大公司入场的原因通常有两个:布局产品机会,以及上游切下游。

“布局产品机会”是字面含义,大公司觉得这个方向值得做,于是做了。

“上游切下游”多是无奈之举,可能是因为自己研发了对标?OpenAI?的大模型,但因为大模型赢家通吃的问题,没有用户,导致烧费用、没营收、没数据,进而导致性能逐渐落后。此时,切入下游、开发具体的应用、使用自己的技术,是唯一选项。

根据历史经验,由于组织架构的问题,公司越贴近下游、技术越容易落后,而技术越落后、越不得不做下游。这些所谓的技术公司最后会和应用层公司抢夺同一个生态位。

但是,在应用层的战场里,由于?AI?技术出现时间很短,并没有行之有效、可复用的规模优势,大公司和初创公司的起点差不多。比起大公司,初创公司的效率高、洞察深,更容易占据优势。

一个值得注意的情况是,MS Azure?现在几乎所有宣传材料都是围绕?OpenAI?展开的,微软这么大的厂子却要完全依靠?OpenAI?作为自己的台面,从侧面证明初创公司在?AI?领域有天然优势。

当然,某些云厂商可能无法接受被初创公司牵头,要自己吃掉所有市场。其成本高昂、速度缓慢,并不是近在眼前的威胁。

事实是,确实有一些?AI?应用的赛道非常短命,但还有很多长命赛道没被发掘出来,AI?的应用也并非赢家通吃。从应用延伸到平台或技术,也是更加可行的通路。

因此,我们应该理性看待大公司侵入应用层的能力。我们的建议是,AI?初创公司可以放心做应用。

给?AI?初创公司的建议:注意产品生命线

前文提到,AI?初创公司可以放心做应用,但要考虑到?AI?模型的性能问题,避免停留。这种状况,直接表现为?AI?产品可能在数个月内失去需求基础、并逐渐凋零,而这种情况可能是频繁发生的。

AI?应用需要使用大模型的服务,大模型的性能不断提高。这种提高不是“速度”等单一维度的改善,而是输出质量、输出长度、输出控制性等全方面的改变。每一次技术的显著升级都会导致已有应用层产品的技术落后,并创造出新的机会和竞争对手。

我们将?AI?应用在战略/产品/技术上保有优势和必要性的时间称为“生命线”。

以下是一些生命线较短的例子:

当?ChatGPT/Claude?支持文件上传后,ChatPDF?失去必要性

当?Office?365?支持?Copilot?后,使用?AI?画?PPT?的产品失去优势

当?GPT-3.5?出现后,Jasper?失去必要性

考虑到?AI?行业的发展很快,生命线有限是常态。因此,接受生命线有限的事实,并尽量选择生命线较长的方向发展,有利于保持长久的优势和产品必要性。

一般地,可以将生命线简单划分为?3/6/12?个月的级别。

3?个月:大公司来不及做的功能(如?office/ChatGPT?还没来得及做的功能)

6?个月:有一定实现难度、无法融入既有方案,但优势/必要性会随?AI?性能提高而消失(如通用?AI?框架)

12?个月:优势/必要性能够长期存在,不易被大公司/技术发展影响(如?Hugging Face)

*平台类产品的生命周期并不一定长,毕竟?prompt?商店也是平台

初创公司在确定方向时只要有?6?个月级别的生命线就可以做了,?12?个月级别的生命线可遇不可求。

当产品生命线到尽头,一般有两种情况。第一种情况是优势消失,需要重构产品升级技术,请参考上文“性能为先”;第二种情况是必要性消失,产品将逐渐被取代,此时产品仍有数个月的“运营寿命”,足够初创公司选取下一个方向。

去主权化/去中心化

目前,AI?行业的领跑者只提供闭源模型,其持续提供服务的稳定性、透明性、中立性均不可控。去主权化/去中心化可能成为?AI?行业一个重要的题材,即:基于去主权化/去中心化的基本架构,提供稳定、透明、中立的?AI?服务。

去主权化/去中心化是一种“备选方案”,也是一种“震慑”,能够显著提高中心化/主权化的?AI?公司的不道德成本,阻止其将?AI?模型使用在军事、邪教、政治等方面。

而在极端情况中,一旦中心化/主权化?AI?服务因某些缘故不再可用/可信,去主权化/去中心化?AI?可持续提供高可用的服务,防止个别国家/地区乃至人类失去?AI?服务陷入瘫痪状态。

算力实用化

ETH?从?PoW?转向?PoS?的背后是遭人诟病的“挖矿不产生价值”的困境,而将Web3与?AI?结合,可提供算力实用化的场景,从而实现存量算力消化和推动总算力成长等效果。

虚拟资产化

AI?是原生于算力和存储上的资产,Web3与?AI?的结合可以提供将?AI?转化为虚拟资产的通道,在实现?AI?行业的价值实例化的同时,为Web3创造真正的原生虚拟资产。

Web3应用的变数

Web3与?AI?的结合可能为Web3应用带来新的功能点和成长机会,现有的Web3应用可以全部重做一遍。

写在最后:?9?月了,现在的?AI?还值得创业吗

先说结论:值得,且这个结论大概率可以沿用到过年。

人对状况的感知经常有偏差,笔者也不例外。有人过于乐观,有人过于悲观。笔者曾经与两个团队交流,一个团队认为自己明年Q1就能做出来?AI Agent,另一个团队则觉得?AI?只适合做些知识库管理的工作,显然前者过于乐观,而后者悲观过头了。

在做远景规划时,过于乐观和过于悲观都会掉到坑里,而广泛传播的言论又往往是这些偏差很大的言论,独立思考显得弥足珍贵。因此,不论读者是否能够接受本文的观点,只要读者在阅读过程中产生了独立的思考和判断,笔者就无比欣慰了。

最后,打个广告。如果你有好的?AI?创业想法,或者已经有成型的项目,欢迎随时与?NGC?的朋友们(比如我)交流。

以上就是fxdiv外汇查询网(fxdiv.com)为大家整理的NGC Ventures:9月了,现在的AI还值得创业吗?的全部内容,希望想要了解更多关于数字货币最新消息记得关注fxdiv外汇汇率查询网。数字货币的发展仍有很多未知的风险和变数,需要我们持续关注和探索。记得关注fxdiv外汇汇率查询网(fxdiv.com),这里会第一时间推送给大家。

相关阅读
汇率 | 美金汇率 | 人民币汇率 | 欧元汇率 | 澳元汇率 | 加币汇率 | 卢布汇率人民币 | 越南盾汇率对人民币 | 外汇牌价 | 美元指数 | 汇率换算器
版权所有 © 2013 外汇汇率查询网 www.fxdiv.com 蜀ICP备2022011134号-2