LlamaFactory Online

LlamaFactory Online 介绍

LlamaFactory把大模型微调做成了一条顺滑的生产线。数据进来，方案选好，训练开跑，模型导出，部署上线。节奏很快，过程很稳。LlamaFactory的底气来自覆盖面，支持100+语言模型与多模态模型的统一高效微调，并且相关工作在ACL 2024以Demo形式发表。框架路线不只一条，预训练、SFT、奖励模型、PPO、DPO、KTO、ORPO等都能走同一套工作流。LlamaFactory也很懂“省钱省卡”。从16-bit到LoRA，再到2/3/4/5/6/8-bit的QLoRA量化微调都支持，还把FlashAttention-2、Unsloth等加速能力集成进来。官方给了显存估算，7B模型做QLoRA时，8-bit约10GB、4-bit约6GB、2-bit约4GB；同样7B做16-bit的Freeze/LoRA等方法，约16GB显存。

LlamaFactory Online 需求人群

算法工程师与研究人员：需要快速验证SFT、DPO等不同路线，追求可复现、可对比、可迭代的实验节奏。
AI应用团队与业务团队：更关心交付速度，训练完就能测，就能导出，就能接入服务。
MLOps与平台团队：希望训练、监控、导出、部署打通，减少脚本碎片化与流程割裂。
预算敏感的中小团队：更偏向LoRA、QLoRA这类性价比方案，用更少显存做出“够用且可控”的专属模型。
多模态落地团队：涉及图像理解、视觉指代、视频识别、音频理解等任务，需要一套框架尽量覆盖更多模态。

LlamaFactory Online 主要功能

多模型支持：覆盖LLaMA、Qwen、Mistral、ChatGLM、DeepSeek等一批常用底座，并支持多模态模型微调。
多训练范式统一：增量预训练、指令微调、奖励建模、PPO、DPO、KTO、ORPO等在同一框架里串起来。
省显存训练：支持Freeze、LoRA与QLoRA量化微调，并支持多种量化方案与后端。
训练入口友好：提供Web UI与CLI，两种方式都能把流程跑通。
推理与部署：支持Transformers与vLLM推理，并可提供OpenAI风格API服务。
训练监控：支持LlamaBoard，以及TensorBoard、Wandb、MLflow、SwanLab等记录与可视化。

LlamaFactory Online 产品特色

一套框架管全局：模型多、路线多、入口多，但操作逻辑统一，减少“换仓库就等于重学一遍”的痛苦。
小显存也能打：官方显存估算给得很直白，7B做QLoRA最低可到约4GB级别，门槛压得够低。
加速是实用派：FlashAttention-2、Unsloth等加速能力集成到位，追求的是更快跑完、更稳复现。
交付链路更短：训练、测试、导出、部署连成一条线，从实验室到线上少走几步。
工程化更顺手：监控与实验记录选项丰富，更适合团队协作和长期迭代。