predibase近日推出了首个端到端强化微调平台（rft），该平台与传统依赖大量标注数据的监督式微调不同，采用奖励机制和自定义函数来实现持续的强化学习。rft支持无服务器和端到端训练，用户仅需通过浏览器设定微调目标并上传数据，即可简化原本复杂的大模型微调流程，实现从数据管理到模型训练再到应用部署的一站式操作。
在线体验地址：https://predibase.com/reinforcement-fine-tuning-playground
Predibase利用其新推出的RFT平台，对阿里开源的Qwen2.5-Coder-32B-instruct模型进行了微调，成功打造了一个专长于将PyTorch代码转换为Triton代码的模型。这一任务对大多数大型语言模型而言颇具挑战，要求模型不仅需对两种框架有深刻理解，还需具备高级推理能力以优化计算效率。在微调前，Qwen2.5-Coder-32B-instruct的准确率并不理想。
借助RFT平台，Predibase巧妙结合了冷启动监督式微调、强化学习与课程学习策略，仅用十几个数据点就完成了训练。在Kernelbench数据集上的测试结果表明，经过RFT强化的Qwen2.5-Coder-32B-instruct模型，其准确率远超DeepSeek-R1和OpenAI的o1模型三倍之多，更是Claude 3.7 Sonnet的四倍以上，而模型体积却更为紧凑。
Predibase现已将这一高效能的微调模型开源，供社区研究和应用。
图片开源地址：https://huggingface.co/predibase/Predibase-T2T-32B-RFT
在技术优势方面，RFT平台摒弃了对大量标注数据的依赖，而传统方法则需依托海量的标注数据来引导模型学习，这些数据往往需要人工标注，不仅成本高昂，而且耗时费力。RFT创新性地采用奖励函数来指导模型学习，这种方法无需依赖大量标注数据，奖励函数能够根据任务的具体需求来评估模型输出，从而精准地引导模型的优化方向。
RFT展现出更强的适应性和灵活性。传统方法受限于标注数据的质量和数量，一旦标注数据不足或存在偏差，模型的表现便会大打折扣。相比之下，RFT赋予用户根据任务特性自定义奖励函数的能力，使用户能够灵活地设定模型的优化目标。
举例来说，在代码生成的应用场景中，可以设计奖励函数来检验代码的正确性；而在问答系统中，则可以设定奖励函数来衡量答案的相关性和准确性。这种灵活性使得RFT能够更好地适应多样化的任务需求，提升模型的实用性和效率。
图片RFT展现了其持续进化的能力。与传统方法往往局限于一次性训练不同，RFT支持模型的持续优化。随着奖励函数的不断精进和反馈数据的日益丰富，模型能够持续学习与进步，灵活应对任务需求的变迁。
在训练与推理的效率层面，传统方法通常需要在本地环境中执行，对硬件资源有着较高的要求，并且需要人工介入管理训练和部署流程。而Predibase的RFT平台提供了一个完全托管的无服务器环境，用户无需操心底层服务器或基础设施的维护，平台能够自动化处理从训练到部署再到推理的全过程，显著简化了开发和运维的复杂度。此外，RFT通过采用多LoRA框架和流式微批处理技术，进一步提升了训练和推理的效率。
图片RFT平台还具备处理复杂任务的课程学习能力。传统方法在面对复杂任务时，往往需要大量的标注数据来覆盖各种可能的情况，否则模型难以掌握有效的策略。RFT通过课程学习的方式，让模型从简单任务开始，逐步过渡到复杂任务，这种渐进式的学习方式尤其适用于需要深度推理的任务。
在模型部署方面，传统方法通常需要借助额外的工具和配置，且难以确保高性能。Predibase的推理引擎则原生支持RFT训练的模型，提供了一种高性能的无服务器部署方案。用户可以迅速将训练完成的模型部署到生产环境中，并享受到行业级的服务水平支持。
此外，RFT展现出更优的泛化能力。传统方法可能会导致模型对标注数据过度拟合，从而在面对新数据时表现不佳。RFT通过奖励函数的引导，使模型能够更好地适应未见过的数据，增强了模型在实际应用中的稳定性和可靠性。
图片Predibase指出，DeepSeek在推出开源R1之后，对全球AI领域产生了深远的影响，使众多研究者认识到强化学习微调在训练大型模型中的关键作用。受到这一启发，他们研发了这款端到端的无服务器强化微调平台。
