当前，基础ai开发被少数科技巨头垄断，呈现出封闭且反竞争的市场格局。
开源软件虽是替代方案，但基础AI无法像Linux等传统项目那样运作，主要受限于“资源瓶颈”。开源贡献者被要求承担超出个人承受能力的计算和数据成本。
加密技术通过所有权激励机制，鼓励资源提供者为基础开源AI项目贡献力量，从而有效解决资源匮乏问题。
开源AI与加密技术的结合，能够支持更大规模的模型训练并激发更多创新，最终带来更优质的AI体验。
引言
皮尤研究中心2024年的一项民调显示，64%的美国人认为社交媒体对美国产生了负面影响，78%的人认为社交媒体公司在政治中拥有过大权力，83%的人认为这些平台故意审查他们不同意的政治观点。对社交媒体平台的不满，已成为少数能团结美国人的议题。
回顾过去20年社交媒体的发展，我们似乎不可避免地走到了今天这一步。故事大家都熟悉：少数大型科技公司最初通过吸引用户注意力获取数据。虽然人们曾希望数据公开，但在建立强大的网络效应后，这些公司迅速关闭了访问权限。结果导致不到十家科技巨头形成寡头垄断，像封建领地一样运作，缺乏改变动力，因为现状利润丰厚。这种模式是封闭的，也是反竞争的。
审视当前AI的发展，感觉就像在重演同一部电影，但规模更大。少数科技巨头已积累大量GPU和数据来构建基础AI模型，并封锁访问权限。对于新进入者（未筹集数十亿美元）而言，构建竞争版本已几乎不可能，因为进入门槛极高——仅预训练一个基础模型的计算资本支出就高达数十亿美元。社交媒体公司正利用专有用户数据构建竞争对手无法复制的模型。我们正在AI领域重蹈社交媒体的覆辙：封闭且反竞争。若继续这条封闭AI之路，少数科技公司将对信息和机会的访问拥有绝对控制权。
开源AI与“资源问题”
如果我们不希望AI世界封闭，替代方案是什么？答案显而易见：将基础模型构建为开源软件项目。我们有无数开源项目构建了日常依赖的基础软件。如果Linux证明操作系统可以开源构建，LLM又有何不同？
然而，基础AI模型存在与传统软件不同的限制，严重阻碍了其作为传统开源项目的可行性。具体而言，基础AI模型本身就需要超出任何个人能力的计算和数据资源。因此，与传统开源项目仅要求贡献时间不同，开源AI还需要人们以计算和数据形式捐献资源。这就是开源AI的“资源问题”。
以Meta的LLaMa模型为例。Meta不同于竞争对手（如OpenAI、Google），它不将模型隐藏在付费API后，而是公开提供LLaMa权重供免费使用（有限制）。这些权重代表模型从训练中学到的内容，是运行模型所必需的。拥有权重后，任何人都可对模型进行微调，或将其输出作为新模型的输入。
尽管Meta公开LLaMa权重值得称赞，但这并非真正的开源软件项目。Meta私下使用自己的计算、数据和决策训练模型，并单方面决定何时向全球开放。Meta不邀请独立研究人员/开发人员参与社区，因为单个成员无法负担训练或重新训练所需的计算或数据资源——数以万计的高内存GPU、数据中心、冷却基础设施以及数万亿的训练数据代币。正如斯坦福大学2024年AI指数报告所述，“培训费用的不断上涨实际上已将大学（传统AI研究中心）排除在开发前沿基础模型之外。”了解成本：Sam Altman提到GPT-4培训成本为1亿美元，且可能不含资本支出；Meta资本支出同比增长21亿美元（2024年Q2 vs 2023年Q2），主要投资于服务器、数据中心和网络基础设施。因此，虽然LLaMa社区贡献者具备技术能力，但缺乏实施手段。
总之，与传统开源项目仅要求贡献时间不同，开源AI项目要求贡献者以计算和数据形式贡献时间及高昂成本。依靠善意和志愿服务激励足够多的资源提供方是不现实的，需要进一步激励。176B参数开源LLM BLOOM的成功可能是善意和志愿服务的最佳反例，它涉及来自70多个国家、250多个机构的1000名志愿研究人员。这虽令人印象深刻，但协调一次训练耗时一年，并获得法国研究机构300万欧元资助（不含超级计算机资本支出）。协调和依赖新拨款迭代BLOOM的过程过于繁琐，无法与大型科技实验室的步伐媲美。BLOOM发布两年多，我不知道该集体是否制作了后续模型。
要使开源AI成为可能，我们需要激励资源提供者贡献计算和数据，而无需开源贡献者承担费用。
为什么Crypto可以解决开源AI的资源问题
要证明这一点，只需回顾比特币。比特币是开源软件项目，代码完全开放。但代码本身并非秘密武器；仅下载并运行比特币节点软件创建本地区块链并无大用。只有当计算挖掘区块的数量超过任何单个贡献者的能力时，软件才有用。这实现了软件增值：维护一个无人控制的账本。与基金会开源AI类似，比特币代表了一个需要超出单个贡献者资源的开源项目。他们可能需要计算用于不同目的——比特币用于防止网络篡改，基金会AI用于迭代模型——但共同点是，它们都需要超出单个贡献者需求的资源才能作为可行的开源项目运作。
比特币（或任何加密网络）用来激励参与者为开源项目提供资源的机制，是以代币形式提供网络所有权。正如Jesse早在2020年为Variant撰写的创始论文中所写，所有权激励资源提供者为项目贡献资源，以换取网络的潜在上行空间。这类似于利用“汗水股权”启动初创公司——通过主要支付早期员工所有权来克服启动问题。加密将汗水股权概念扩展到资源提供者，而不仅是时间奉献者。因此，Variant专注于投资利用所有权建立网络效应的项目，如Uniswap、Morpho和World。
若要让开源AI成为可能，通过Crypto实现所有权是解决资源问题的关键。研究人员可自由将模型设计想法贡献给开源项目，因为实现想法所需的资源将由计算和数据提供商提供，以换取项目所有权，而非要求研究人员支付高昂前期成本。所有权在开源AI中可采取多种形式，我最兴奋的是模型本身的所有权，如Pluralis提出的方法。
Pluralis将这种方法称为协议模型，计算提供商可贡献计算资源训练特定开源模型，并获得该模型未来推理收入的所有权。由于所有权属于特定模型，且价值基于推理收入，计算提供商有动力选择最佳模型而非欺骗训练（因为无用训练会降低未来推理收入预期价值）。问题在于：若需将权重发送给计算提供商训练，如何在Pluralis上强制执行所有权？答案是模型并行性用于在工作者之间分配模型分片，利用神经网络关键属性：可为训练更大模型做出贡献，同时仅看到总权重的一小部分，确保完整权重集不可提取。由于Pluralis上训练多种不同模型，训练者将拥有许多不同权重集，使重新创建模型极其困难。这是协议模型的核心概念：可训练、可使用，但无法从协议中提取（不使用比从头训练更多计算能力）。这解决了开源AI批评者常提出的担忧，即封闭AI竞争对手将占用开放项目的劳动成果。
为什么Crypto+开源=更好的AI
文章开头描述了大科技公司控制的问题，从规范角度说明封闭AI的弊端。但在在线体验带有宿命论色彩的世界里，我担心这对大多数读者可能毫无意义。因此，最后我想给出两个理由，说明由加密支持的开源AI实际上将带来更好的人工智能。
首先，Crypto和开源AI的结合将使我们能够达到下一代基础模型，因为它将比封闭AI协调更多资源。目前研究表明，以计算和数据形式存在的更多资源意味着更好的模型，这就是基础模型通常越来越大的原因。比特币向我们展示了开源软件加上加密在计算能力方面释放的力量。它是全球最大、最强大的计算网络，比大型科技公司的云大几个数量级。加密将孤立的竞争转化为合作竞争。资源提供者被激励贡献资源解决集体问题，而非囤积资源单独（且冗余地）解决问题。使用加密的开源AI将能够利用全球集体计算和数据，构建远超封闭AI可能规模的模型。像Hyperbolic这样的公司已展示利用集体计算资源的力量，任何人都可以以更低价格在其开放市场上出租GPU。
其次，将Crypto和开源AI结合将推动更多创新。这是因为，若我们能克服资源问题，即可回归机器学习研究高度迭代和创新的开源性质。在近期推出基础LLM之前，机器学习研究人员几十年来一直公开发布模型和复制蓝图。这些模型通常使用更有限的开放数据集，计算要求可管理，意味着任何人都可对其进行迭代。正是通过这种迭代，我们在序列建模方面取得进展，如RNN、LSTM和注意力机制，这使得当前基础LLM依赖的“Transformer”模型架构成为可能。但随着GPT-3推出（逆转GPT-2开源趋势）和ChatGPT巨大成功，这一切发生变化。OpenAI证明，若在海量模型上投入足够计算和数据，即可构建看似理解人类语言的LLM。这造成了资源问题，导致学术界无法负担高昂价格，大型科技公司实验室基本停止公开发布模型架构以保持竞争优势。目前主要依赖个别实验室的状态将限制我们突破最先进技术界限的能力。通过加密技术实现的开源AI将意味着研究人员将再次能够在尖端模型上继续这一迭代过程，以发现“下一个Transformer”。
