作者:王乔玮发布时间:2026-11-22 10:59:16 点击数:87831

本月行业协会传达最新消息外媒记者试驾“三蹦子”上头了 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

桂林市兴安县赞皇县西龙门乡江西省鹰潭市余江区海淀区青龙桥街道井陉县测鱼镇江苏省徐州市青海省果洛藏族自治州江西省景德镇市昌江区陕西省商洛市山阳县黑龙江省七台河市桃山区黑龙江省佳木斯市富锦市四川省凉山彝族自治州西昌市北辰区广源街道福建省南平市福建省厦门市湖里区重庆市市辖区北碚区云南省怒江傈僳族自治州福贡县山西省吕梁市岚县元氏县广东省佛山市三水区四川省成都市双流区四川省广安市岳池县山西省晋中市灵石县海南省儋州市朝阳区小关街道广东省惠州市龙门县怀柔区雁栖地区陕西省汉中市留坝县广东省汕头市龙湖区江西省萍乡市上栗县黑龙江省鹤岗市黑龙江省绥化市明水县四川省宜宾市珙县重庆市市辖区北碚区四川省凉山彝族自治州西昌市江苏省苏州市相城区辽宁省铁岭市开原市四川省凉山彝族自治州西昌市行唐县龙州镇昌平区阳坊镇山东省聊城市茌平区平顶山市湛河区四川省宜宾市珙县鹿泉区寺家庄镇甘肃省庆阳市镇原县马鞍山市博望区山西省临汾市安泽县陕西省汉中市南郑区崇左市宁明县甘肃省庆阳市镇原县西城区天桥街道合肥市瑶海区云南省怒江傈僳族自治州福贡县赞皇县院头镇福建省厦门市湖里区辽宁省沈阳市沈河区陕西省汉中市西乡县平顶山市卫东区河西区桃园街道焦作市沁阳市广东省江门市昌平区延寿镇四川省遂宁市蓬溪县四川省乐山市福建省厦门市湖里区内蒙古鄂尔多斯市鄂托克旗辽宁省锦州市义县巴音郭楞蒙古自治州和硕县贵州省黔南布依族苗族自治州惠水县平山县宅北乡山西省忻州市宁武县吉林省长春市双阳区昌平区小汤山镇四川省甘孜藏族自治州九龙县桥西区东华街道马鞍山市博望区朝阳区酒仙桥街道陕西省汉中市西乡县辽宁省沈阳市浑南区山东省聊城市茌平区四川省成都市新都区海南省儋州市四川省宜宾市江安县云南省怒江傈僳族自治州福贡县广东省珠海市斗门区青海省玉树藏族自治州治多县甘肃省天水市秦州区福建省莆田市仙游县南开区体育中心街道云南省大理白族自治州云龙县山东省聊城市茌平区丰台区长辛店镇广东省汕头市龙湖区焦作市中站区湖北省宜昌市宜都市福建省福州市罗源县陕西省咸阳市兴平市西城区月坛街道山西省忻州市宁武县甘肃省陇南市

本月行业报告披露重大进展全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

河东区大直沽街道四川省广安市岳池县朝阳区小关街道江西省九江市武宁县湖北省宜昌市西陵区贵州省铜仁市玉屏侗族自治县长安区广安街道桂林市兴安县山东省烟台市牟平区湖北省宜昌市秭归县平顶山市湛河区蓟州区官庄镇江苏省徐州市新沂市辽宁省朝阳市北票市湖北省宜昌市夷陵区四川省乐山市青海省海北藏族自治州门源回族自治县福建省福州市永泰县黑龙江省鸡西市鸡冠区山东省烟台市龙口市西藏阿里地区日土县西青区精武镇四川省遂宁市蓬溪县银川市贺兰县上海市市辖区嘉定区桂林市兴安县元氏县辽宁省大连市旅顺口区江苏省连云港市赣榆区密云区古北口镇云南省大理白族自治州云龙县静海区大邱庄镇辽宁省锦州市义县焦作市内蒙古鄂尔多斯市康巴什区固原市西吉县山东省泰安市泰山区山西省吕梁市岚县广东省惠州市龙门县延庆区康庄镇江苏省苏州市相城区云南省普洱市景东彝族自治县江苏省连云港市赣榆区西藏山南市贡嘎县山东省德州市齐河县阿克苏地区拜城县广东省广州市越秀区西藏山南市陕西省汉中市留坝县喀什地区叶城县山西省晋城市泽州县合肥市瑶海区昌平区延寿镇甘肃省定西市渭源县青海省海北藏族自治州门源回族自治县辽宁省辽阳市白塔区武清区上马台镇隆安县怀柔区雁栖地区宝坻区牛家牌镇密云区古北口镇江苏省镇江市句容市钦州市黑龙江省佳木斯市富锦市辽宁省大连市旅顺口区广东省云浮市新兴县吉林省长春市双阳区元氏县平顶山市湛河区重庆市市辖区北碚区甘肃省庆阳市镇原县丰台区和义街道焦作市大兴区顺义区空港街道密云区高岭镇贵州省六盘水市水城县甘肃省甘南藏族自治州武清区汊沽港镇山东省泰安市泰山区焦作市江苏省徐州市平山县上观音堂乡平山县东回舍镇蚌埠市蚌山区甘肃省庆阳市镇原县海南省海口市美兰区朝阳区酒仙桥街道哈密市伊吾县内蒙古呼伦贝尔市阿荣旗湖北省襄阳市襄州区黑龙江省七台河市桃山区云南省玉溪市新平彝族傣族自治县陕西省汉中市留坝县广东省云浮市新兴县北辰区广源街道哈密市伊吾县朝阳区小关街道密云区古北口镇顺义区空港街道

全球服务区域:山东省聊城市茌平区内蒙古鄂尔多斯市康巴什区博尔塔拉蒙古自治州温泉县甘肃省兰州市辽宁省辽阳市白塔区海南省儋州市朝阳区小红门地区辽宁省辽阳市白塔区吉林省白山市浑江区塔城地区和布克赛尔蒙古自治县密云区高岭镇湖北省宜昌市西陵区云南省大理白族自治州云龙县山西省晋中市灵石县朝阳区管庄地区山西省晋城市高平市南阳市内乡县山西省吕梁市中阳县元氏县殷村镇朝阳区管庄地区洛阳市汝阳县甘肃省陇南市武都区辽宁省铁岭市清河区元氏县殷村镇无极县大陈镇四川省遂宁市蓬溪县博尔塔拉蒙古自治州温泉县湖北省孝感市汉川市海淀区青龙桥街道朝阳区小关街道四川省凉山彝族自治州昭觉县甘肃省甘南藏族自治州黑龙江省佳木斯市富锦市丰台区长辛店镇辽宁省铁岭市开原市云南省大理白族自治州云龙县山西省吕梁市岚县贵州省铜仁市印江土家族苗族自治县江西省鹰潭市余江区四川省凉山彝族自治州昭觉县贵州省六盘水市水城县南开区体育中心街道广东省惠州市龙门县辽宁省沈阳市山西省吕梁市岚县重庆市市辖区北碚区蓟州区官庄镇陕西省宝鸡市眉县江西省吉安市永新县河东区大直沽街道甘肃省陇南市武都区平山县宅北乡辽宁省沈阳市沈河区山西省朔州市山阴县西乡塘区喀什地区麦盖提县平山县岗南镇宝坻区牛家牌镇福建省南平市建瓯市山西省吕梁市岚县内蒙古锡林郭勒盟正镶白旗甘肃省甘南藏族自治州江苏省苏州市相城区武清区汊沽港镇鹿泉区寺家庄镇内蒙古锡林郭勒盟正镶白旗西藏阿里地区日土县辽宁省沈阳市浑南区门头沟区大峪街道青海省海南藏族自治州贵德县黑龙江省伊春市金林区山东省东营市垦利区湖北省宜昌市西陵区甘肃省甘南藏族自治州朝阳区豆各庄地区陕西省商洛市山阳县北海市海城区辽宁省锦州市义县江西省吉安市永新县甘肃省兰州市湖北省宜昌市西陵区顺义区空港街道湖北省宜昌市秭归县井陉县吴家窑乡西城区月坛街道赞皇县院头镇山东省聊城市茌平区固原市西吉县密云区高岭镇黑龙江省绥化市明水县黑龙江省鸡西市鸡冠区海淀区青龙桥街道江西省萍乡市上栗县山西省吕梁市中阳县山西省吕梁市中阳县辽宁省大连市旅顺口区福建省厦门市海沧区静海区大邱庄镇桥西区东华街道贵州省安顺市普定县

今日相关部门披露重要进展全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:蓟州区东赵各庄镇元氏县殷村镇江西省九江市武宁县辽宁省铁岭市清河区西藏山南市海南省海口市美兰区西藏阿里地区日土县山东省滨州市广东省佛山市三水区新乐市协神乡芜湖市南陵县桥西区苑东街道江西省鹰潭市余江区四川省宜宾市翠屏区重庆市市辖区北碚区百色市靖西市山西省运城市夏县鹿泉区白鹿泉乡四川省甘孜藏族自治州泸定县山西省晋中市灵石县河东区大直沽街道辽宁省辽阳市白塔区贵州省黔东南苗族侗族自治州天柱县西青区精武镇山西省朔州市山阴县吉林省四平市铁西区密云区不老屯镇西藏山南市贡嘎县和田地区西藏山南市贡嘎县河东区东新街道长安区广安街道云南省怒江傈僳族自治州福贡县广东省江门市山东省淄博市临淄区海淀区青龙桥街道南开区长虹街道陕西省汉中市留坝县江西省吉安市永新县合肥市瑶海区甘肃省定西市渭源县甘肃省陇南市西青区精武镇湖北省宜昌市秭归县山东省烟台市牟平区阿克苏地区拜城县贵州省安顺市普定县黑龙江省大兴安岭地区呼玛县青海省玉树藏族自治州治多县芜湖市南陵县长安区南村镇山东省淄博市临淄区元氏县殷村镇辽宁省沈阳市云南省普洱市景东彝族自治县黑龙江省伊春市金林区甘肃省白银市景泰县山东省青岛市城阳区武清区上马台镇大兴区福建省福州市永泰县隆安县山西省吕梁市中阳县福建省福州市罗源县四川省甘孜藏族自治州福建省莆田市城厢区四川省德阳市广汉市山东省淄博市临淄区辽宁省大连市旅顺口区广东省惠州市龙门县福建省莆田市城厢区青海省海西蒙古族藏族自治州德令哈市湖北省宜昌市宜都市湖北省宜昌市宜都市信阳市平桥区赞皇县西龙门乡昌平区回龙观街道昌平区回龙观街道西乡塘区百色市田林县四川省宜宾市珙县云南省大理白族自治州云龙县甘肃省定西市渭源县南开区长虹街道江苏省苏州市相城区江西省赣州市石城县朝阳区管庄地区吉林省长春市双阳区陕西省宝鸡市眉县静海区西翟庄镇密云区河南寨镇湖北省襄阳市襄州区辽宁省锦州市义县陕西省宝鸡市眉县陕西省汉中市南郑区四川省宜宾市翠屏区南开区体育中心街道内蒙古兴安盟乌兰浩特市青海省海南藏族自治州贵德县新乐市协神乡

售后服务上门服务电话,智能分配单据:全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!

从数学、代码、复杂推理,到多轮工具调用,大模型的很多能力的提升都离不开 RL 后训练。但当模型规模进入 MoE 万亿参数级别之后,RL 不再只是一个算法问题,同时更加是一个系统问题。

训练侧需要容纳庞大的模型权重、梯度和优化器状态;rollout 侧需要持续生成样本,并保持足够高的吞吐;reference policy 又会进一步放大显存和调度压力。同时,很多 RL 系统在训练时使用较高精度模型,而真正 rollout 或部署时使用低精度 serving 模型。这些精度差异,最终会体现在部署效果与 RL 效果的不一致上。

通过将 base model 固定在部署时使用的低精度表示,并只更新 adapter,Orbit 将 Kimi-K2.6、DeepSeek V4 级别的 1T 模型 RL 后训练压缩到单台 8×B200 上完成。同时,训练和 rollout 使用同一条低精度 base + adapter 路径,从系统层面消除了训练模型与 rollout / 部署模型之间的精度不一致。

Orbit 做到「让万亿模型进入单节点 RL 区间」这件事的意义在于:

避免了「训练精度」和「部署精度」不一致带来的偏差,从而带来更稳定更高效的 RL 后训练;单节点 RL 可以显著降低多节点训练时的通信时延与故障率;在同样的 HBM 预算下,模型会获得更宽的训练空间,过去需要多卡才能训的模型,有机会被压缩到单卡。

官方博客:https://spherelab.ai/orbit/Github:https://github.com/Sphere-AI-Lab/orbit

Orbit:支持万亿参数模型 RL 微调的高效框架

显存控制:如下图 1 所示的估算中,单节点 8×B200 的 HBM 预算约为 1536GB。对 1T 级模型而言,传统全参微调的 weight + grad 显存下界会远超单机预算;而 Orbit 路径由于冻结低精度 base,只训练 adapter,可以把 1T 级模型的 RL 后训练放进单节点预算内。

图 1 不同框架下大参数模型的单节点显存需求估算

训推精度对齐:在很多 RL 系统里,训练侧可能使用 BF16 或 FP8 等高精度 ,而推理侧使用 INT4、FP4 等低精度。对于监督微调来说,这种差异有时可以被视作推理优化的一部分;但在 RL 中,policy log-prob 本身就是训练信号的一部分,训练侧和推理侧之间的误差 log-prob diff 会直接影响稳定性。

Orbit 将这一问题前置到了系统设计中:训练和推理使用相同的低精度 base ,并在其上加载同一个 BF16 adapter,从而保持训推精度一致。

Adapter-first 的系统设计:Orbit 围绕 adapter 对 RL 训练、推理、同步、reference policy 和低精度 MoE 做了一套整体设计。base 始终冻结,每次训练更新后,只需要将 MB 级 adapter (不需将 GB 级的 base)从训练引擎推送到推理引擎。这不仅减少了权重同步的体积,也避免了频繁重建推理引擎的开销。

单节点 Kimi-K2.6 结果

在这组实验中,模型运行在单台 8×B200 上,训练精度为 INT4 base + BF16 adapter,rollout 精度使用相同的 INT4 base + BF16 adapter。也就是说,训练和 rollout 走的是同一条低精度 base + adapter 路径。

在约 200 step 的 RL 过程中,Orbit 观察到了几个同时成立的信号:

reward 上升;eval accuracy 上升;pass@k 上升;train-rollout log-prob diff 保持稳定。

图 2 Kimi-2.6 在 Orbit 下单机 RL 后训练信号

图 3 Kimi-2.6 在 Orbit 下单机 RL 后训练的显存记录

图 2 显示,Kimi-K2.6 的 rollout raw reward、eval accuracy 和 pass@k 曲线随训练推进而稳定上升。同时,train-rollout log-prob diff 稳定维持在一个区间。

对于一个对 log-prob 差异非常敏感的训练范式来说,这些信号实际地证明了 Orbit 的 RL 后训练闭环不仅在单机上把 1T 的模型上稳定能跑,同时跑对了且在测试任务上有效果。

单节点 DeepSeek V4 Flash 结果

在这组实验中,DeepSeek V4 Flash 同样运行在单台 8×B200 上。训练精度为 FP4 base + BF16 adapter,rollout 精度也使用相同的 FP4 base + BF16 adapter。

图 4 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练信号

图 5 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练的显存记录

从结果看,DeepSeek V4 Flash 在 100 step 以上的 RL 过程中同样保持稳定:reward、eval、pass@k 整体上升,train-rollout log-prob diff 保持在稳定区间。这些趋势跟在 Kimi-K2.6 上的实验结果类似。

单节点 1.6T DeepSeek V4 Pro 初步验证

除了 Kimi-K2.6 和 DeepSeek V4 Flash 两组稳定有效的训练结果,Orbit 还在 DeepSeek V4 Pro 1.6T 上完成初步验证。

由于 DeepSeek V4 Pro base model 本身很强,实验中用的 RL 训练数据不能让它涨点,因此该实验更多是证明 Orbit 的系统路径可以扩展到更大的 1.6T 级 MoE 模型。

图 6 DeepSeek V4 Pro 在 Orbit 下单机 RL 后训练信号和显存记录

在 1.6T DeepSeek V4 Pro 上,Orbit 完成了单节点 8×B200 的实验,展示了稳定的 train-rollout log-prob diff 和可控稳定的 GPU 显存。

这组结果证明Orbit 的系统上限可在单节点 8×B200 达到 1.6T 级别,展示了其设计有机会覆盖更大的 MoE 模型区间。

从单节点万亿模型,到单卡更大模型

单节点跑通万亿模型 RL 反过来也说明了同样的硬件预算就可以覆盖更大的模型区间。

对万亿模型来说,这意味着原本可能需要多机协同的 RL 后训练,可以被压缩到单节点完成。对中小模型来说在 Orbit 的 adapter-first 框架下,单卡也有机会 RL 微调过去需要多卡才能支持的模型,或者在相同模型规模下支持更长 response、更大 batch、更高 rollout throughput 和更频繁的更新。

因此,Orbit 的价值并不只在于「让大模型变得可训练」,也在于让小模型的 RL 后训练变得更容易。

技术细节

Active-expert-chunked dequantization:对于 MoE 模型来说,每个词元只会激活部分 experts。Orbit 动态地将 router 选中的 experts 分组成固定大小的 batch,临时反量化后执行 grouped GEMM,并在计算结束后释放高精度权重。这样既能利用 grouped matrix multiplication 的吞吐,又能将临时显存峰值限制在较小 chunk 内,避免大规模低精度 MoE 训练中的 OOM。

Adapter-native async with double-buffered rollout:系统会为 adapter 维护版本号,并将新版本 adapter 流式写入 inactive slot;当前 active slot 继续服务 in-flight 请求,待新版本准备好后再原子切换。这样可以减少 rollout bubble。在 Qwen3-4B + OFT、8×B200、TP=2 设置下,该设计带来了 1.42 倍的单步时间优化和 44% 更高的 rollout throughput,同时 eval accuracy 保持不变。

DeepSeek V4 相关优化:Orbit 支持 Full-CUDA graph decoding、DeepGEMM、DeepEP V2,并使用 tilelang / Triton / CUDA 实现高效 attention backward 和 fusion kernels。根据 adapter 训练的特点,Orbit 还设计了 bypass-base-weight-grad 的高效 GEMM backward 算子,避免为冻结 base 计算不必要的梯度。

过去,大模型 RL 后训练往往意味着更复杂的多机系统:更多节点、更重的权重同步和更复杂的系统协同。

Orbit 提供了另一条路径:冻结低精度 base,只训 adapter,让训练、rollout 和部署对齐,并把整模同步换成 adapter 同步。这让万亿模型可以进入单节点训练区间,更小模型也能在单卡或更有限的硬件上跑得更远。

从 Kimi-K2.6 到 DeepSeek V4 Flash,再到 DeepSeek V4 Pro 1.6T,Orbit 展示和提供了一套面向大模型后训练的高效框架。

今日行业协会披露新进展全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!

从数学、代码、复杂推理,到多轮工具调用,大模型的很多能力的提升都离不开 RL 后训练。但当模型规模进入 MoE 万亿参数级别之后,RL 不再只是一个算法问题,同时更加是一个系统问题。

训练侧需要容纳庞大的模型权重、梯度和优化器状态;rollout 侧需要持续生成样本,并保持足够高的吞吐;reference policy 又会进一步放大显存和调度压力。同时,很多 RL 系统在训练时使用较高精度模型,而真正 rollout 或部署时使用低精度 serving 模型。这些精度差异,最终会体现在部署效果与 RL 效果的不一致上。

通过将 base model 固定在部署时使用的低精度表示,并只更新 adapter,Orbit 将 Kimi-K2.6、DeepSeek V4 级别的 1T 模型 RL 后训练压缩到单台 8×B200 上完成。同时,训练和 rollout 使用同一条低精度 base + adapter 路径,从系统层面消除了训练模型与 rollout / 部署模型之间的精度不一致。

Orbit 做到「让万亿模型进入单节点 RL 区间」这件事的意义在于:

避免了「训练精度」和「部署精度」不一致带来的偏差,从而带来更稳定更高效的 RL 后训练;单节点 RL 可以显著降低多节点训练时的通信时延与故障率;在同样的 HBM 预算下,模型会获得更宽的训练空间,过去需要多卡才能训的模型,有机会被压缩到单卡。

官方博客:https://spherelab.ai/orbit/Github:https://github.com/Sphere-AI-Lab/orbit

Orbit:支持万亿参数模型 RL 微调的高效框架

显存控制:如下图 1 所示的估算中,单节点 8×B200 的 HBM 预算约为 1536GB。对 1T 级模型而言,传统全参微调的 weight + grad 显存下界会远超单机预算;而 Orbit 路径由于冻结低精度 base,只训练 adapter,可以把 1T 级模型的 RL 后训练放进单节点预算内。

图 1 不同框架下大参数模型的单节点显存需求估算

训推精度对齐:在很多 RL 系统里,训练侧可能使用 BF16 或 FP8 等高精度 ,而推理侧使用 INT4、FP4 等低精度。对于监督微调来说,这种差异有时可以被视作推理优化的一部分;但在 RL 中,policy log-prob 本身就是训练信号的一部分,训练侧和推理侧之间的误差 log-prob diff 会直接影响稳定性。

Orbit 将这一问题前置到了系统设计中:训练和推理使用相同的低精度 base ,并在其上加载同一个 BF16 adapter,从而保持训推精度一致。

Adapter-first 的系统设计:Orbit 围绕 adapter 对 RL 训练、推理、同步、reference policy 和低精度 MoE 做了一套整体设计。base 始终冻结,每次训练更新后,只需要将 MB 级 adapter (不需将 GB 级的 base)从训练引擎推送到推理引擎。这不仅减少了权重同步的体积,也避免了频繁重建推理引擎的开销。

单节点 Kimi-K2.6 结果

在这组实验中,模型运行在单台 8×B200 上,训练精度为 INT4 base + BF16 adapter,rollout 精度使用相同的 INT4 base + BF16 adapter。也就是说,训练和 rollout 走的是同一条低精度 base + adapter 路径。

在约 200 step 的 RL 过程中,Orbit 观察到了几个同时成立的信号:

reward 上升;eval accuracy 上升;pass@k 上升;train-rollout log-prob diff 保持稳定。

图 2 Kimi-2.6 在 Orbit 下单机 RL 后训练信号

图 3 Kimi-2.6 在 Orbit 下单机 RL 后训练的显存记录

图 2 显示,Kimi-K2.6 的 rollout raw reward、eval accuracy 和 pass@k 曲线随训练推进而稳定上升。同时,train-rollout log-prob diff 稳定维持在一个区间。

对于一个对 log-prob 差异非常敏感的训练范式来说,这些信号实际地证明了 Orbit 的 RL 后训练闭环不仅在单机上把 1T 的模型上稳定能跑,同时跑对了且在测试任务上有效果。

单节点 DeepSeek V4 Flash 结果

在这组实验中,DeepSeek V4 Flash 同样运行在单台 8×B200 上。训练精度为 FP4 base + BF16 adapter,rollout 精度也使用相同的 FP4 base + BF16 adapter。

图 4 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练信号

图 5 DeepSeek V4 Flash 在 Orbit 下单机 RL 后训练的显存记录

从结果看,DeepSeek V4 Flash 在 100 step 以上的 RL 过程中同样保持稳定:reward、eval、pass@k 整体上升,train-rollout log-prob diff 保持在稳定区间。这些趋势跟在 Kimi-K2.6 上的实验结果类似。

单节点 1.6T DeepSeek V4 Pro 初步验证

除了 Kimi-K2.6 和 DeepSeek V4 Flash 两组稳定有效的训练结果,Orbit 还在 DeepSeek V4 Pro 1.6T 上完成初步验证。

由于 DeepSeek V4 Pro base model 本身很强,实验中用的 RL 训练数据不能让它涨点,因此该实验更多是证明 Orbit 的系统路径可以扩展到更大的 1.6T 级 MoE 模型。

图 6 DeepSeek V4 Pro 在 Orbit 下单机 RL 后训练信号和显存记录

在 1.6T DeepSeek V4 Pro 上,Orbit 完成了单节点 8×B200 的实验,展示了稳定的 train-rollout log-prob diff 和可控稳定的 GPU 显存。

这组结果证明Orbit 的系统上限可在单节点 8×B200 达到 1.6T 级别,展示了其设计有机会覆盖更大的 MoE 模型区间。

从单节点万亿模型,到单卡更大模型

单节点跑通万亿模型 RL 反过来也说明了同样的硬件预算就可以覆盖更大的模型区间。

对万亿模型来说,这意味着原本可能需要多机协同的 RL 后训练,可以被压缩到单节点完成。对中小模型来说在 Orbit 的 adapter-first 框架下,单卡也有机会 RL 微调过去需要多卡才能支持的模型,或者在相同模型规模下支持更长 response、更大 batch、更高 rollout throughput 和更频繁的更新。

因此,Orbit 的价值并不只在于「让大模型变得可训练」,也在于让小模型的 RL 后训练变得更容易。

技术细节

Active-expert-chunked dequantization:对于 MoE 模型来说,每个词元只会激活部分 experts。Orbit 动态地将 router 选中的 experts 分组成固定大小的 batch,临时反量化后执行 grouped GEMM,并在计算结束后释放高精度权重。这样既能利用 grouped matrix multiplication 的吞吐,又能将临时显存峰值限制在较小 chunk 内,避免大规模低精度 MoE 训练中的 OOM。

Adapter-native async with double-buffered rollout:系统会为 adapter 维护版本号,并将新版本 adapter 流式写入 inactive slot;当前 active slot 继续服务 in-flight 请求,待新版本准备好后再原子切换。这样可以减少 rollout bubble。在 Qwen3-4B + OFT、8×B200、TP=2 设置下,该设计带来了 1.42 倍的单步时间优化和 44% 更高的 rollout throughput,同时 eval accuracy 保持不变。

DeepSeek V4 相关优化:Orbit 支持 Full-CUDA graph decoding、DeepGEMM、DeepEP V2,并使用 tilelang / Triton / CUDA 实现高效 attention backward 和 fusion kernels。根据 adapter 训练的特点,Orbit 还设计了 bypass-base-weight-grad 的高效 GEMM backward 算子,避免为冻结 base 计算不必要的梯度。

过去,大模型 RL 后训练往往意味着更复杂的多机系统:更多节点、更重的权重同步和更复杂的系统协同。

Orbit 提供了另一条路径:冻结低精度 base,只训 adapter,让训练、rollout 和部署对齐,并把整模同步换成 adapter 同步。这让万亿模型可以进入单节点训练区间,更小模型也能在单卡或更有限的硬件上跑得更远。

从 Kimi-K2.6 到 DeepSeek V4 Flash,再到 DeepSeek V4 Pro 1.6T,Orbit 展示和提供了一套面向大模型后训练的高效框架。


西藏的工业靠什么?这背后是清洁能源产业的全面爆发。 一本在线免费视频官方版-一本在线免费视频2026最新V.1.29.78-2265安卓网 外媒记者试驾“三蹦子”上头了
外媒记者试驾“三蹦子”上头了

外媒记者试驾“三蹦子”上头了

百万最新免费软件游戏

下载

外媒记者试驾“三蹦子”上头了
首页>>上海南昌路上演技艺比拼 以艺为裳尽显匠心风采
外媒记者试驾“三蹦子”上头了

外媒记者试驾“三蹦子”上头了

「活动」首次登录送19元红包

18.17MB
版本{版本}
下载APK高速下载
下载再全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!安装你想要的应用 更方便 更快捷 发现更多
喜欢56%好评(34人)
评论50
全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!截图0全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!截图1全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!截图2全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!截图3全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!截图4
详细信息
  • 软件大小:49.36MB
  • 最后更新:2026-11-22 10:59:16
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-Android全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!
  • 使用语言:中文
  • :需要联网
  • 系统要求:1.49以上
应用介绍
🚫第一步:访问《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》官网👉首先,打开您的浏览器,输入《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》。您可以通过搜索引擎搜索或直接输入网址来访问.🙌
🚫第二步:点击注册按钮👉一旦进入《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。🕎️
🚫第三步:填写注册信息 👉在注册页面上,您需要填写一些必要的个人信息来创建《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。🖖
🚫第四步:验证账户👉填写完个人信息后,您可能需要进行账户验证。《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。🥭
🚫第五步:设置安全选项👉《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。🕉
🚫第六步:阅读并同意条款👉在注册过程中,《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。‼️️
🚫第七步:完成注册👉一旦您完成了所有必要的步骤,并同意了《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站的条款,恭喜您!您已经成功注册了《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站账户。现在,您可以畅享《全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!♈️
【联系我们】
客服热线
加载更多
版本更新
{版本}
全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!
  • 浙江杭州:年轻人奔赴“飞驰人生” 解锁别样休闲玩法
  • 怒批部分欧美政客一边卖军火一边要求让利 周锡玮 :不可以!简直是幼稚!
  • 专家:心源性猝死并非猝不及防
  • 中国警方打击跨境涉毒犯罪 2025年以来缴获新精神活性物质1.3吨
  • 四川岳池:游客化身“天外飞仙” 参与式文旅成新风尚
  • 4月下旬流通领域重要生产资料21种产品价格上涨
  • 北京稻香村涉事门店回应“反向抹零”
  • 探访河南内乡县衙博物馆 感受历史官署风貌
  • 山高水远 忠诚作答——记独龙江边境派出所的戍边岁月
  • 外交部:对日方而言当前紧迫的是在台湾问题上尽快纠正错误言行
  • 新侨加入广西文旅赛道 以“非遗+东盟”打造新名片
  • 岛内分析美国暂停对台军售原因
  • 泽连斯基称乌方已向俄方递交换俘名单
  • 四川平武:采访途中 记者偶遇大熊猫独自过马路

    湖北多地遭遇特大暴雨 多部门合力抢险救援

    2026年电影票房超140亿元

    详情
查看更多
加载中加载中,请稍等...

全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!类似软件

  • 美股收盘:纳指跌0.71%,芯片股集体回调,高通下挫超11%日本北海道发生4.8级地震

    李强签署国务院令 公布修订后的《基金会管理条例》

  • 共识与合力:让RCEP红利“可感”“可及”中美两军举行海上军事安全磋商机制工作小组会议和年度会晤

    茶香润五洲 中外学子广西品茶论道

  • 直击武警官兵实弹射击考核超燃现场举重亚锦赛:中国队21金12银8铜收官

    “5·19中国旅游日”青海分会场活动启动

  • 特朗普涉台“四不”示警“台独”美联储官员鹰派表态

    市场监管总局:一季度广告业头部企事业单位收入同比增长17.1%

  • 业界在京共论人形机器人全生命周期管理联讯仪器成A股“新股王”

    大衣哥回应商演价格:捕风捉影

  • 重庆发布86项低空产业发展机会清单上海今年已中5个千万大奖

    “智慧医疗”扩容升级 中国高端医疗器械亮相广交会

  • “卷帙匠心——古今书籍装帧美学”展在柏林开幕免申即享+AI赋能 上海持续深化“一网通办”改革

    以戏叙流年 三个台湾艺人的“乡愁”拼图

  • 国际金价银价大跌吉隆坡一轻快铁列车发生轻微脱轨 无人伤亡

    香港福建社团联会青年会员观看神舟二十三号载人飞船发射升空直播

  • 海军舰载航空兵部队13岁生日快乐铸牢中华民族共同体意识丨欢歌笑语乐享假日

    三部大戏轮番登场 广州粤剧院2026年流派经典剧目展演收官

  • 林园投资被查,事出违规打新中国锂电池出口一季度大增超50%

    世卫组织:涉疫邮轮7人确诊,另有2例疑似病例

  • 探访中国历史文化名村 ——福州仓山林浦村“五一”假期首日 重庆火车站创单日客发量历史新高

    男子杀害大其12岁女友被判死缓

  • 一家四口自驾遇落石36岁父亲被砸身亡雁荡山飞拉达着火?当地:造假引流

    特朗普与巴西总统卢拉在白宫会晤

  • 山东大哥在河南游玩勇救落水儿童铭记百年工运历史 谱写广州工运华章

    首届中国新文创市集北京启幕

  • 全国注册护士总量达606.2万人伊朗公布伊控制下的霍尔木兹海峡地区新地图

    中企在阿承建大型民航维修机库项目启动

  • 浙江杭州:朱炳仁铜艺作品亮相“非遗盛会”吸引民众现场视频!苏林和夫人抵达昆明 现场响起云南民歌 欢迎人员手持中越两国国旗迎客

    “民营企业进边疆·辽宁行”大会在辽宁丹东召开

  • “租购修养”全周期保障正在落实落细杰志队夺得香港足球超级联赛冠军

    贾樟柯作品《都灵之影》戛纳电影节全球首映

  • 台企荣炭科技:解除刘世芳亲属颜文群全部职务“璀璨中华”第三届海峡两岸中华⽂化峰会特展在北京开展

    大美边疆看我家丨买烤串还送舞蹈?男子摊位前跳起新疆舞 新疆烤串摊主“一键跟随”

  • 天舟十号货运飞船点火发射世界神经纤维瘤病关爱日公益科普活动:专家建言助力患者重拾信心

    专家:按“菜—肉—饭”顺序吃,控糖效果事半功倍

  • 中国首个大规模“算电协同”绿电供应项目落地宁夏中卫襄阳特大暴雨致道路车辆被淹系谣言

    男子钓40斤大鱼挂车窗炫耀被交警教育

  • 武契奇说买不起小米汽车 雷军回应京津冀73个政务服务大厅互联互通 联动办理事项超3万项

    伊朗:对美方的不信任源于其敌对行为

  • 第八届乳房再造公益行在天津启动 将赴乌兹别克斯坦分享中国诊疗经验CBA季后赛:浙江浙商证券战胜山西汾酒 晋级半决赛

    聚焦为民多办实事 中国信息通信业提出十大暖心举措

  • DeepSeek回应“乱回”漏洞山东日照:“邻BA”社区三人篮球赛火热开打

    导游机器人、外卖机器狗上岗

  • CBA季后赛半决赛:北京队客场胜上海队 大比分战平中国警方打击跨境涉毒犯罪 2025年以来缴获新精神活性物质1.3吨

    中国足协:17人被终身“禁足”

  • 五部门发布警惕“招转培”“培训贷”等风险提示菲律宾参议院大楼传出枪声

    (香江观澜)粤港澳规划深度衔接 同频赋能大湾区发展

  • 大件垃圾变废为宝 成都一张旧沙发的“退休之旅”观影流量变消费增量 “电影+”激活经济增长新引擎

    U17男足亚洲杯中国队晋级八强 时隔21年重返世少赛

  • “办好人民满意的教育”——我国加快建设教育强国夯实人才培养基础亚宝药业子公司取得依折麦布片注册证

    评论:黎家盈首飞“天宫”展现国家对香港的鼓励信任

  • 奥运冠军宣布竞选法国总统 马克龙表态:欢迎在展览中“邂逅”苏步青留下的感人瞬间

    镜头聚焦“黑白精灵”:多国城市代表成都探访大熊猫基地

  • 四川省广元市青川县委原书记李方甫 严重违纪违法被开除党籍和公职东西问|楚艳:中式服饰何以圈粉海内外?

    光大期货:5月14日软商品日报

  • 伦敦世乒赛女选手安检遭不当肢体接触 国际乒联回应新疆吐鲁番市托克逊县发生4.7级地震 震源深度20千米

    300元卖掉你的脸 下一秒成AI短剧主角

  • 广西“鼓乡歌海”展风情 多彩民俗引客来以军空袭加沙中部和南部 至少8人死亡

    广州港南沙港区五期工程全面开工

  • 卢甘斯克地区遭袭学校死亡人数升至21人蜜雪冰城你是懂流量的

    “四叶草”上的年轮:小叶子和进博会共同成长

  • 中国石窟“病害”难题频发 逾百位专家呼吁科技治理“夜归人巴士”:预约制发车 回家“最后一公里”的新选择

    飞天茅台溢价缩至70元

  • 国台办回应民进党炒作台防务安全俄国防部宣布5月8日至9日停火

    看图学习·人民之心丨人民有需要 就能做出好事实事

  • 三十斤铅衣下的精准与五百克生命前的“慢放”经济运行稳中有进 高质量发展向新向优——透视前4个月我国经济数据

    两部门预拨1.6亿元资金 支持五省份做好自然灾害应急抢险救灾工作

  • 谌贻琴在北京调研时强调 切实保障残疾人平等权益 促进残疾人事业全面发展《歌手2026》首发阵容

    习近平:中方始终将发展中巴关系置于周边外交的优先方向

  • 广东水利防汛Ⅳ级应急响应结束中国四大名锦江苏南京同台“合璧”

    张升民会见巴基斯坦国防军司令兼陆军参谋长

相关攻略
  • 菲律宾学者:四大领域潜力巨大 中国与东盟合作未来可期丨世界观
    2026-11-22 10:59:16
包含 饿了么 的应用集
  • 回顾NBA季后赛首轮名场面 中美元首会谈 个人成长四大关键阶段如何修心养性?《人生四养》丛书开卷助益
    老人到银行存钱 170万全是练功券
    西藏文旅亮相G219联盟宣传活动 “跟着非遗游西藏”备受瞩目
    146358352160822026-11-22 10:59:16
  • 【图片故事】武夷山国家公园护林员:护林为责 种茶为生 劳拉·费尔南德斯宣誓就任哥斯达黎加总统 现场直击:广西柳州发生5.2级地震 部分房屋倒塌有人员被困
    全国铁路单日旅客发送量连续三天超1900万人次
    公安部:累计查纠涉企执法问题5.7万个 解除查封财物价值13.8亿元
    33137046644212026-11-22 10:59:16
  • 索尼宣布30亿美元股票回购计划 2026东台经济社会发展投资说明会成功举行 贾跃亭宣布转战机器人业务
    Wi-Fi会让记忆力下降系谣言丨中新真探
    福建泰宁:两岸茶人“微改造”唤醒乡村 荒废空间变身“台创园”
    5447765625135966372026-11-22 10:59:16
  • 督察组:广西玉林市多地大面积违法违规削山采矿 生态遭严重破坏 世卫组织:汉坦病毒向普通人群传播风险“极低” 长三角会展将迎新枢纽 杭州国际博览中心二期5月启幕”
    特朗普称美国有可能重启对伊朗空袭
    中央气象台发布暴雨黄色预警
    9324167488699692026-11-22 10:59:16
  • 俄罗斯一教育机构屋顶坍塌 伤亡不详 中国男乒3:0完胜韩国挺进伦敦世乒赛半决赛 为何酒店宁愿被罚也不愿洗床单
    “五一”小长假上海多个著名景区迎来大客流
    斯诺克世锦赛:吴宜泽决赛10比7暂时领先肖恩·墨菲
    679879654607392026-11-22 10:59:16
  • 阿维塔港股IPO招股书失效 骑士抢七大战31分大胜活塞 京沪高铁“涨价”背后有何考量
    上海口岸迎首批享受免签出境赴巴西的中国旅客
    西部好物甄选计划在渝发布 助力西部好物拓市场
    394010830334212026-11-22 10:59:16
  • 宁夏银川:花儿唱响湖城水岸 非遗点亮城市文化空间 受惊马拖行女童致死马主被立案侦查 寒潮过后大回暖
    立夏将至 广西三江梯田美景入画来
    伊能静一眼看破所有嘉宾
    62313881003672026-11-22 10:59:16
  • 第二届清照诗歌艺术节在李清照故里济南章丘启幕 歼35“0001编号”亮相 瞄准国际市场 净网:拍到“野生华南虎”系谣言
    2025年京津冀三地PM2.5年均浓度较2020年降幅均超20%以上
    以色列在巴勒斯坦“灾难日”当天对哈马斯军事领导人发动袭击
    1697970069093380402026-11-22 10:59:16
  • 甘肃脊髓损伤者九年暖心接力自助互助 拼多多赵佳臻:新团队将直面问题,以实打实的行动回应外界关切 越南—中国西南地区发展战略对接论坛在昆明举行
    硬核出圈!香港警察持国产冲锋枪亮相,警务处回应
    江西庐山:水光潋滟 翠色浮烟
    112274793085492026-11-22 10:59:16
  • 广西柳州地震已致2人死亡 争分夺秒!就医途中突发炸胎 多方接力暖心护送 医保个账新规来了
    两岸茶人福建安溪以茶为媒话交流合作
    文旅部公布2026年第二批旅游市场强制消费问题典型案例
    717536156353862026-11-22 10:59:16
  • 广东海外联谊会访阿代表团举行“侨助经济高质量发展座谈会” 青春“蓝焰”守护雪域 西藏日喀则“蓝朋友”这样过“五四” 广东将开启新加坡电影展映 新加坡导演梁志强出席
    云南“十五五”规划的民生蓝图:让每个“小家”都热气腾腾
    一年多来,中美元首五次通话都谈了啥?
    496472165195799092026-11-22 10:59:16
  • 成都开展150余场助残活动与残疾朋友温暖同行 以侨为媒 浙江龙泉千年剑瓷“扬帆出海” 连锁餐饮突然道歉退钱:共48022桌
    夸大食品疗效 直播带货领罚单
    湖南石门强降雨已致一人遇难两失联
    34964667728837642026-11-22 10:59:16
  • 兴凯湖畔百年野生杏花盛放 绵延十里铺满湖岸线 直击湖北襄阳夏粮“抢收仗”现场 张嘉益回应全网喊“舅”
    四川累计推动超百万民众远离地灾威胁
    (经济观察)深耕“蓝色药库” 中国海洋生物医药产业加速壮大
    2562433942205210052026-11-22 10:59:16
  • 自媒体博主被判赔比亚迪200万 涉及民企内部腐败、串通投标等 最高检发布典型案例 央视曝间谍窃密花招:伪装成婚纱摄影
    全球调解峰会在香港举行 助力香港打造全球调解之都
    2026越山向海人车接力中国赛张家口站将于6月12日开赛
    616204032881902026-11-22 10:59:16
  • 广汽国际:1至4月出口量增长133.9% 广东发布国内首个针对自然教育径建设的地方性技术规范 京沪首次联合对三大外卖平台企业开展行政指导
    (深圳APEC)王毅举行中外记者会
    国台办回应AIT评论郑丽文访美
    670614638107535792026-11-22 10:59:16
  • 香港特区政府官员:在APEC框架下加强参与 台主流媒体:中美元首会晤涉台表述为台湾问题划红线 (深圳APEC)外媒镜头里的深圳:机器人群舞、无人机送餐,科幻走进现实
    珠江流域持续暴雨 广东多地停课
    《超龄劳动者基本权益保障暂行规定》发布 7月1日起施行
    8622519579816407962026-11-22 10:59:16
  • 武契奇在华被授予友谊勋章数次哽咽 道指创收盘历史新高 多只大牛股盘中跌停
    网警破获抢单外挂、私改计价器案15起,73人落网
    云南芒市:“砍柴人”成“护猴人” 中缅灰叶猴种群数量稳步增长
    821792907685162026-11-22 10:59:16
  • 山东省第五批援新疆兵团第十二师干部人才到岗 姑姑养大侄女 扣16万彩礼拒还被诉 中外青年广西南宁联谊共促交流
    日本自民党成立新议员联盟:右翼力量集结或加速国家右倾化
    市场监管部门将抽查173种重点产品 网售领域覆盖所有头部平台
    13573983238230782026-11-22 10:59:16
  • 台湾连续10年未能参与世卫大会 国台办回应 世卫组织:汉坦病毒疫情已趋于稳定 大衣哥“10万出场费干出100万诚意”
    浙江举办药膳创新创意大赛 呈现“舌尖上的中药养生盛宴”
    陈丽君说两岸同胞之情从没被切断
    359914998706699032026-11-22 10:59:16
  • 专家学者共探武医融合发展 助力健康中国建设 “特朗普:中国是一个令人惊叹的国家 阿联酋称针对巴拉卡核电站的无人机均来自伊拉克境内
    外交部:中美双方就保持经贸关系的稳定达成了重要共识
    逾两千人次逐梦赛场 陕西省跆拳道大众公开赛聚力群众体育发展
    127479998668612026-11-22 10:59:16
  • 河水变清 黄河壶口现“碧流飞瀑” 数看4月新能源汽车产业成绩单 世卫组织:涉疫邮轮7人确诊,另有2例疑似病例
    江西宜黄:大山“猪倌”显担当 乡村振兴展“新”颜
    现场视频!苏林和夫人抵达昆明 现场响起云南民歌 欢迎人员手持中越两国国旗迎客
    848646561341862026-11-22 10:59:16
  • 外交部发言人就东京审判开庭80周年答记者问 伊朗高官:美国在霍尔木兹海峡任何干涉行动都将被视为违反停火协议 【文脉华章】赓续草原文脉 共筑文化华章
    河南高速客车与货车追尾致13死3伤
    速领!五一电影消费券来了
    57975671681704612026-11-22 10:59:16
  • 第一观察|引领中美关系这艘大船穿越风浪、平稳前行 人民日报评“画地为牢”爆火出圈 不出校门看世界!在高校国际青年文化节开启沉浸式环球之旅
    三分之一进口榴莲来自磨憨口岸
    以科创、湖湾、乡野“破圈” 无锡高新区构筑文旅新范式
    618924918176542026-11-22 10:59:16
友情链接
  • 中国国民党副主席萧旭岑:两岸重在民族认同和政治互信
    2026-11-22 10:59:16
  • 从“三个问题”出发 21国驻澳(港)领事在云南解码中国发展活力
    2026-11-22 10:59:16
  • 外交部回应日方最新表态
    2026-11-22 10:59:16
安卓手机网上最贴心的Android软件应用平台!版权所有:全球首次单机降服万亿巨模DeepSeek-V4!RL后训练框架Orbit开源!有限公司备案号:京ICP备17065190号-1