作者:陶志祥发布时间:2026-11-22 20:58:41 点击数:71196

昨日行业协会发布新报告新疆一水渠遍布救命绳 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

江西省九江市武宁县西乡塘区怀柔区宝山镇湖北省宜昌市宜都市贵州省铜仁市玉屏侗族自治县山西省吕梁市中阳县许昌市建安区淮南市大通区黑龙江省鹤岗市密云区不老屯镇辽宁省锦州市义县福建省莆田市城厢区湖北省恩施土家族苗族自治州建始县四川省遂宁市蓬溪县内蒙古鄂尔多斯市鄂托克旗北海市海城区四川省宜宾市翠屏区湖北省宜昌市夷陵区甘肃省陇南市武都区山西省吕梁市岚县四川省乐山市无极县大陈镇河东区大直沽街道信阳市平桥区黑龙江省佳木斯市富锦市朝阳区小红门地区马鞍山市博望区山东省聊城市冠县内蒙古锡林郭勒盟正镶白旗巴音郭楞蒙古自治州和硕县丰台区长辛店镇平山县东回舍镇黑龙江省哈尔滨市巴彦县江苏省南通市启东市四川省宜宾市江安县宝坻区牛家牌镇山西省忻州市宁武县井陉县测鱼镇丰台区宛平城地区鹿泉区白鹿泉乡元氏县殷村镇延庆区沈家营镇贵州省六盘水市水城县密云区河南寨镇博尔塔拉蒙古自治州温泉县黑龙江省哈尔滨市巴彦县宝坻区牛家牌镇昌平区阳坊镇西青区精武镇山西省忻州市宁武县平山县小觉镇内蒙古乌海市乌达区湖北省宜昌市秭归县青海省海西蒙古族藏族自治州德令哈市平顶山市湛河区赞皇县院头镇贵州省铜仁市印江土家族苗族自治县隆安县行唐县龙州镇陕西省宝鸡市千阳县四川省广元市四川省乐山市静海区西翟庄镇甘肃省甘南藏族自治州江西省宜春市宜丰县山西省晋中市灵石县四川省广安市岳池县桥西区苑东街道巴音郭楞蒙古自治州和硕县江西省景德镇市昌江区蓟州区东二营镇海南省海口市美兰区黑龙江省佳木斯市汤原县海淀区青龙桥街道钦州市蓟州区东赵各庄镇西藏山南市贡嘎县云南省丽江市宁蒗彝族自治县福建省福州市罗源县桥西区苑东街道山东省淄博市临淄区山西省朔州市山阴县丰台区长辛店镇福建省莆田市城厢区元氏县殷村镇黑龙江省哈尔滨市巴彦县江西省景德镇市昌江区四川省甘孜藏族自治州九龙县贵州省安顺市普定县江西省吉安市永新县云南省红河哈尼族彝族自治州绿春县山西省运城市夏县青海省海北藏族自治州门源回族自治县广东省惠州市龙门县云南省玉溪市新平彝族傣族自治县云南省红河哈尼族彝族自治州泸西县辽宁省大连市旅顺口区武清区上马台镇鹿泉区白鹿泉乡顺义区空港街道

本月官方发布行业研究成果DeepSeek V4最大的遗憾,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

乌鲁木齐市沙依巴克区陕西省汉中市南郑区四川省凉山彝族自治州甘洛县重庆市县巫山县江苏省徐州市赞皇县院头镇焦作市中站区钦州市山东省泰安市东平县四川省乐山市大兴区山东省青岛市城阳区平山县东回舍镇黑龙江省七台河市桃山区广东省江门市鹿泉区寺家庄镇青海省果洛藏族自治州平山县上观音堂乡甘肃省甘南藏族自治州北辰区广东省江门市陕西省汉中市留坝县延庆区沈家营镇阿克苏地区新和县山西省阳泉市平定县海南省海口市美兰区广东省广州市越秀区焦作市沁阳市黑龙江省大兴安岭地区呼玛县福建省福州市罗源县山西省晋城市泽州县北海市海城区西青区精武镇云南省红河哈尼族彝族自治州泸西县江西省吉安市永新县西城区天桥街道江苏省连云港市赣榆区湖北省襄阳市襄州区四川省甘孜藏族自治州丹巴县四川省凉山彝族自治州西昌市广东省佛山市三水区贵州省铜仁市印江土家族苗族自治县朝阳区酒仙桥街道顺义区空港街道崇左市朝阳区小关街道广东省汕头市南澳县平顶山市卫东区山东省威海市甘肃省天水市秦州区山东省淄博市临淄区黑龙江省鸡西市鸡冠区朝阳区豆各庄地区昌平区延寿镇黑龙江省鹤岗市四川省广元市开封市通许县新乐市协神乡山西省朔州市山阴县和平区南市街道芜湖市南陵县甘肃省庆阳市镇原县山西省阳泉市平定县焦作市云南省文山壮族苗族自治州广南县新乐市协神乡南阳市内乡县甘肃省庆阳市镇原县江苏省徐州市丰县静海区大邱庄镇西藏山南市贡嘎县无极县大陈镇四川省遂宁市蓬溪县四川省凉山彝族自治州甘洛县云南省玉溪市新平彝族傣族自治县海淀区青龙桥街道怀柔区雁栖地区山西省吕梁市中阳县崇左市辽宁省铁岭市清河区甘肃省定西市渭源县伊犁哈萨克自治州昭苏县黑龙江省七台河市桃山区湖北省宜昌市秭归县塔城地区和布克赛尔蒙古自治县洛阳市汝阳县密云区高岭镇云南省丽江市宁蒗彝族自治县广东省云浮市新兴县云南省大理白族自治州云龙县内蒙古兴安盟乌兰浩特市贵州省黔东南苗族侗族自治州天柱县云南省文山壮族苗族自治州广南县云南省怒江傈僳族自治州福贡县甘肃省陇南市武都区昌平区延寿镇黑龙江省鸡西市鸡冠区辽宁省铁岭市清河区西藏拉萨市达孜区广东省深圳市

全球服务区域:朝阳区双井街道平山县宅北乡平山县上观音堂乡山西省吕梁市岚县辽宁省大连市旅顺口区福建省厦门市海沧区百色市靖西市江苏省徐州市西藏山南市四川省甘孜藏族自治州元氏县殷村镇北辰区江西省鹰潭市余江区辽宁省大连市旅顺口区蓟州区东施古镇丰台区宛平城地区青海省果洛藏族自治州辽宁省沈阳市平山县小觉镇和田地区山东省威海市山东省淄博市临淄区山西省晋中市太谷区山西省运城市夏县武清区上马台镇福建省南平市建瓯市山西省晋中市太谷区焦作市山东省泰安市东平县井陉县吴家窑乡江西省吉安市吉安县青海省玉树藏族自治州治多县辽宁省铁岭市清河区阿克苏地区新和县平山县上观音堂乡密云区高岭镇开封市通许县蓟州区东施古镇丰台区长辛店镇阿克苏地区新和县蓟州区官庄镇云南省丽江市宁蒗彝族自治县南开区长虹街道元氏县辽宁省大连市旅顺口区亳州市利辛县广东省佛山市三水区大兴区平山县上观音堂乡百色市靖西市内蒙古兴安盟乌兰浩特市江西省景德镇市昌江区辽宁省沈阳市浑南区山西省晋中市灵石县山西省阳泉市平定县黑龙江省大兴安岭地区呼玛县鹿泉区白鹿泉乡南阳市内乡县昌平区小汤山镇丰台区宛平城地区喀什地区麦盖提县山东省滨州市吉林省四平市铁西区濮阳市南乐县山西省晋城市高平市四川省甘孜藏族自治州丹巴县辽宁省铁岭市开原市北海市海城区湖北省恩施土家族苗族自治州建始县黑龙江省佳木斯市汤原县山西省晋中市榆社县崇左市宁明县广东省江门市重庆市县巫山县广东省云浮市新兴县桥西区留营街道山东省枣庄市台儿庄区平顶山市湛河区固原市西吉县朝阳区管庄地区宝坻区牛家牌镇蚌埠市龙子湖区淮南市大通区吉林省长春市双阳区塔城地区和布克赛尔蒙古自治县山东省淄博市临淄区辽宁省辽阳市白塔区和田地区山西省忻州市定襄县江苏省连云港市赣榆区开封市通许县蚌埠市龙子湖区南阳市内乡县福建省莆田市城厢区四川省广元市内蒙古乌海市乌达区内蒙古鄂尔多斯市鄂托克旗银川市贺兰县哈密市伊吾县平山县宅北乡

本月行业协会传达重要信息DeepSeek V4最大的遗憾,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:崇左市顺义区空港街道平山县宅北乡南开区体育中心街道哈密市伊吾县四川省甘孜藏族自治州泸定县山东省泰安市东平县西城区月坛街道开封市通许县井陉县测鱼镇西藏阿里地区日土县甘肃省庆阳市镇原县黑龙江省鸡西市鸡冠区青海省果洛藏族自治州湖北省孝感市汉川市云南省大理白族自治州云龙县广东省惠州市龙门县内蒙古呼伦贝尔市阿荣旗行唐县龙州镇江西省宜春市奉新县海南省海口市美兰区防城港市东兴市广东省汕头市龙湖区内蒙古锡林郭勒盟正镶白旗山东省泰安市东平县四川省遂宁市蓬溪县福建省南平市南阳市内乡县辽宁省锦州市义县山西省朔州市山阴县广东省深圳市四川省乐山市长安区南村镇桥西区苑东街道山西省运城市夏县隆安县广东省深圳市山东省聊城市茌平区福建省三明市梅列区北辰区广源街道阿克苏地区拜城县西藏山南市福建省莆田市城厢区内蒙古呼伦贝尔市阿荣旗福建省南平市建瓯市辽宁省朝阳市北票市辽宁省辽阳市白塔区湖北省襄阳市襄州区长安区广安街道崇左市湖北省宜昌市宜都市湖北省恩施土家族苗族自治州恩施市福建省莆田市仙游县丰台区右安门街道昌平区延寿镇西青区精武镇福建省厦门市湖里区百色市田林县辽宁省沈阳市沈河区桥西区苑东街道山东省聊城市冠县福建省厦门市湖里区合肥市瑶海区云南省大理白族自治州云龙县云南省西双版纳傣族自治州勐腊县山西省吕梁市岚县江苏省南京市浦口区甘肃省庆阳市镇原县江苏省连云港市赣榆区平顶山市卫东区密云区河南寨镇钦州市百色市靖西市门头沟区大峪街道怀柔区雁栖地区马鞍山市博望区和平区南市街道陕西省宝鸡市千阳县山西省晋城市泽州县贵州省六盘水市水城县平山县小觉镇博尔塔拉蒙古自治州温泉县广东省广州市越秀区焦作市内蒙古乌海市乌达区密云区不老屯镇蓟州区东二营镇山西省忻州市宁武县黑龙江省绥化市明水县云南省红河哈尼族彝族自治州绿春县辽宁省大连市旅顺口区江西省赣州市石城县防城港市东兴市伊犁哈萨克自治州昭苏县西城区月坛街道黑龙江省七台河市桃山区云南省文山壮族苗族自治州广南县大兴区四川省凉山彝族自治州昭觉县内蒙古锡林郭勒盟正镶白旗

售后服务上门服务电话,智能分配单据:DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公众号 QbitAI

DeepSeekV4的技术报告里有mHC,有CSA,有HCA,有Muon,有FP4……

唯独没有Engram。

Engram去哪了?

这个话题一度成为网友们讨论的热点。

Engram在今年1月由DeepSeek和北大联合开源,主要研究大模型的记忆与效率问题。

自挂上arXiv的那一刻起,圈子里围绕它的探讨就没有停止过…

不仅仅因为它是V4的前奏,而是有了Engram,「伦敦是英国首都」这种事实,模型不用动用整个深层网络去重新推一遍,直接查就行。

不仅省显存,还能释放深层网络容量,用于更高阶的推理。

正因如此,自1月初论文发表以来,所有人都觉得,Engram就是V4的架构地基,所有人都在盼。

以至于V4发表后,大家第一时间就是command+f去论文里找Engram,可惜并没有。

以至于不少网友甚至觉得,没有Engram,V4就是不完整的。

没有Engram,可能是DeepSeekV4最大的遗憾。

不过,Engram并没有消失。随后三篇值得注意的论文接力出现:

CXL内存池化版本:把Engram放进多机共享的CXL内存池,解决大模型多机部署的存储问题。无冲突热层实验:对Engram的多头哈希优化进行了实证检验,证伪了一些直觉式改进方案。视觉Tiny Engram:AutoArk团队把文本Engram搬到视觉模态,扩展了它的应用边界。

所以,虽然V4没有Engram,但它的理念、探索和后续应用已经悄然铺开,为下一代模型打下基础。

Engram到底是什么

把时间倒回2026年1月12日。

那一天,DeepSeek联合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin,北大博士生,曾经署名过V3。最后一位作者,梁文锋。

先来一句话速通版,Engram是给Transformer加的一个原生知识查表模块。能查的别算,先查一下。

团队的核心观察是,语言建模其实包含两种性质完全不同的任务,一种是需要深度动态计算的组合推理,另一种是检索静态知识。

之前的问题在于,Transformer把这两件事混在一起做。模型识别一个实体时,得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子,「Diana,Princess of Wales」。模型要走6层才能把这个识别完。

前几层还在纠结「Wales是英国的一个地区」、「Princess of Wales是某种头衔」这些中间状态,最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活,本来可以让深层网络去干更高阶的推理。

对此,Engram的思路相当直接,既然经典的N-gram模型就能用O(1)的时间复杂度捕获这些局部依赖,那干脆把这能力直接嵌进Transformer。

打个比方,就像你做数学题,该用的公式不必每次从头推一遍,翻表代进去就行。Transformer之前没这张表,只能每道题都从公理走起。Engram等于把这张表交到模型手里。

具体做法是,在Transformer的第2层和第15层之间各插入一个Engram模块。

每个位置的输入会触发一次哈希查找,把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入表里,直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏,但「张仲景」三个字凑一起就是固定历史人物实体了,门控就负责认出这种区别。

Engram的定位是MoE之外的另一条稀疏轴。MoE是把计算稀疏化,只激活一部分专家。Engram是把存储稀疏化,只查一部分条目。两者互补,不冲突。

论文最核心的一段实验,是固定总参数和每token激活参数,然后让MoE专家和Engram记忆抢预算,得到一条U形曲线。

纯MoE不是最优解。把大约20%-25%的稀疏参数分给Engram,模型loss达到最低点。

按这个曲线指导,团队把Engram扩到27B验证。激活参数3.8B,训练262B tokens,严格跟MoE-27B基线对齐。

结果知识密集型任务的提升符合预期(MMLU +3.4,CMMLU +4.0),但通用推理和代码数学的提升超出预期(BBH +5.0,ARC-Challenge +3.7,HumanEval +3.0,MATH +2.4),长上下文场景更夸张,Multi-Query NIAH从84.2%跃升到97.0%。

那么,为什么记忆模块还能反过来提升推理?

LogitLens和CKA给出了答案,Engram-27B第5层的表征,跟MoE基线第12层的表征最相似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来,这部分网络深度被腾出来做更复杂的推理。Engram不是新增了一块记忆,它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM,在H800上跑推理,8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引的确定性,只取决于输入token序列,完全可以提前算,CPU异步预取跟GPU计算重叠。

可以说,这个模块天生就不靠HBM,只可惜如今V4来了,Engram没来。

没在v4,但在其他地方

发明者把它放在那里没动,但路上还是有人。三个月里,至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日,北大、阿里云、山东英信、人大、港大联合发了一篇系统论文,《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram本身,而是回答了一个更工程的问题,如果Engram真的成了下一代标配,内存放哪。

答案是CXL内存池化。GPU HBM放计算权重,本地DRAM做二级缓存,CXL池做三级。8台服务器共享4TB内存池,XConn XC50256交换芯片做拓扑,512GB/s带宽。

整套集成进SGLang,做了预取-计算重叠,跑下来端到端吞吐损失小于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写,被他们做成了27B和40B两个规模的真实测试。

结论很清楚,Engram这种确定性寻址、可预取的负载,几乎是为CXL量身定做的。

一个反直觉的实验

Engram论文上线第十一天,1月23日,一个叫TaoLin的研究者,单作者,放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化,Engram用多头哈希查表会有冲突,如果把高频N-gram用Minimal Perfect Hash Function完全消除冲突,模型会不会更好。

他设计了Engram-Nine,把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格iso-parameter控制下,无冲突设计没有稳定提升验证loss。

route-stratified评估还发现,训练初期热路径(高频)loss更低,但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向,被一个真做实验的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3完整复现文本Engram之后,他们做了一件论文里没做的事,把Engram搬到Stable Diffusion上。

视觉patch经过分层编码,底层抓纹理,中层抓部件,高层抓风格,然后整套丢进哈希查表。

跟LoRA比下来,达到同等效果,Engram需要的额外参数只有LoRA的15%到30%。连续注入多个新概念时,LoRA会出现明显的概念退化,Engram不会。

Engram原本是为文本设计的。AutoArk等于把这扇门撞开了,凡是能离散化、能哈希的模态,Engram都能搬。

三个月里,Engram这条路上,发明者最沉默,跟进者各自走了一步。

一个团队替它解决多机内存层级,一个独立研究者证伪了它一个看似显然的优化方向,一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库,最后一次提交还停在1月14日。

One more thing

Engram论文的摘要结尾有一句话:

我们认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来,这个下一代得是V5了,难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531

昨日行业报告公布最新成果DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公众号 QbitAI

DeepSeekV4的技术报告里有mHC,有CSA,有HCA,有Muon,有FP4……

唯独没有Engram。

Engram去哪了?

这个话题一度成为网友们讨论的热点。

Engram在今年1月由DeepSeek和北大联合开源,主要研究大模型的记忆与效率问题。

自挂上arXiv的那一刻起,圈子里围绕它的探讨就没有停止过…

不仅仅因为它是V4的前奏,而是有了Engram,「伦敦是英国首都」这种事实,模型不用动用整个深层网络去重新推一遍,直接查就行。

不仅省显存,还能释放深层网络容量,用于更高阶的推理。

正因如此,自1月初论文发表以来,所有人都觉得,Engram就是V4的架构地基,所有人都在盼。

以至于V4发表后,大家第一时间就是command+f去论文里找Engram,可惜并没有。

以至于不少网友甚至觉得,没有Engram,V4就是不完整的。

没有Engram,可能是DeepSeekV4最大的遗憾。

不过,Engram并没有消失。随后三篇值得注意的论文接力出现:

CXL内存池化版本:把Engram放进多机共享的CXL内存池,解决大模型多机部署的存储问题。无冲突热层实验:对Engram的多头哈希优化进行了实证检验,证伪了一些直觉式改进方案。视觉Tiny Engram:AutoArk团队把文本Engram搬到视觉模态,扩展了它的应用边界。

所以,虽然V4没有Engram,但它的理念、探索和后续应用已经悄然铺开,为下一代模型打下基础。

Engram到底是什么

把时间倒回2026年1月12日。

那一天,DeepSeek联合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin,北大博士生,曾经署名过V3。最后一位作者,梁文锋。

先来一句话速通版,Engram是给Transformer加的一个原生知识查表模块。能查的别算,先查一下。

团队的核心观察是,语言建模其实包含两种性质完全不同的任务,一种是需要深度动态计算的组合推理,另一种是检索静态知识。

之前的问题在于,Transformer把这两件事混在一起做。模型识别一个实体时,得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子,「Diana,Princess of Wales」。模型要走6层才能把这个识别完。

前几层还在纠结「Wales是英国的一个地区」、「Princess of Wales是某种头衔」这些中间状态,最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活,本来可以让深层网络去干更高阶的推理。

对此,Engram的思路相当直接,既然经典的N-gram模型就能用O(1)的时间复杂度捕获这些局部依赖,那干脆把这能力直接嵌进Transformer。

打个比方,就像你做数学题,该用的公式不必每次从头推一遍,翻表代进去就行。Transformer之前没这张表,只能每道题都从公理走起。Engram等于把这张表交到模型手里。

具体做法是,在Transformer的第2层和第15层之间各插入一个Engram模块。

每个位置的输入会触发一次哈希查找,把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入表里,直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏,但「张仲景」三个字凑一起就是固定历史人物实体了,门控就负责认出这种区别。

Engram的定位是MoE之外的另一条稀疏轴。MoE是把计算稀疏化,只激活一部分专家。Engram是把存储稀疏化,只查一部分条目。两者互补,不冲突。

论文最核心的一段实验,是固定总参数和每token激活参数,然后让MoE专家和Engram记忆抢预算,得到一条U形曲线。

纯MoE不是最优解。把大约20%-25%的稀疏参数分给Engram,模型loss达到最低点。

按这个曲线指导,团队把Engram扩到27B验证。激活参数3.8B,训练262B tokens,严格跟MoE-27B基线对齐。

结果知识密集型任务的提升符合预期(MMLU +3.4,CMMLU +4.0),但通用推理和代码数学的提升超出预期(BBH +5.0,ARC-Challenge +3.7,HumanEval +3.0,MATH +2.4),长上下文场景更夸张,Multi-Query NIAH从84.2%跃升到97.0%。

那么,为什么记忆模块还能反过来提升推理?

LogitLens和CKA给出了答案,Engram-27B第5层的表征,跟MoE基线第12层的表征最相似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来,这部分网络深度被腾出来做更复杂的推理。Engram不是新增了一块记忆,它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM,在H800上跑推理,8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引的确定性,只取决于输入token序列,完全可以提前算,CPU异步预取跟GPU计算重叠。

可以说,这个模块天生就不靠HBM,只可惜如今V4来了,Engram没来。

没在v4,但在其他地方

发明者把它放在那里没动,但路上还是有人。三个月里,至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日,北大、阿里云、山东英信、人大、港大联合发了一篇系统论文,《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram本身,而是回答了一个更工程的问题,如果Engram真的成了下一代标配,内存放哪。

答案是CXL内存池化。GPU HBM放计算权重,本地DRAM做二级缓存,CXL池做三级。8台服务器共享4TB内存池,XConn XC50256交换芯片做拓扑,512GB/s带宽。

整套集成进SGLang,做了预取-计算重叠,跑下来端到端吞吐损失小于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写,被他们做成了27B和40B两个规模的真实测试。

结论很清楚,Engram这种确定性寻址、可预取的负载,几乎是为CXL量身定做的。

一个反直觉的实验

Engram论文上线第十一天,1月23日,一个叫TaoLin的研究者,单作者,放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化,Engram用多头哈希查表会有冲突,如果把高频N-gram用Minimal Perfect Hash Function完全消除冲突,模型会不会更好。

他设计了Engram-Nine,把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格iso-parameter控制下,无冲突设计没有稳定提升验证loss。

route-stratified评估还发现,训练初期热路径(高频)loss更低,但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向,被一个真做实验的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3完整复现文本Engram之后,他们做了一件论文里没做的事,把Engram搬到Stable Diffusion上。

视觉patch经过分层编码,底层抓纹理,中层抓部件,高层抓风格,然后整套丢进哈希查表。

跟LoRA比下来,达到同等效果,Engram需要的额外参数只有LoRA的15%到30%。连续注入多个新概念时,LoRA会出现明显的概念退化,Engram不会。

Engram原本是为文本设计的。AutoArk等于把这扇门撞开了,凡是能离散化、能哈希的模态,Engram都能搬。

三个月里,Engram这条路上,发明者最沉默,跟进者各自走了一步。

一个团队替它解决多机内存层级,一个独立研究者证伪了它一个看似显然的优化方向,一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库,最后一次提交还停在1月14日。

One more thing

Engram论文的摘要结尾有一句话:

我们认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来,这个下一代得是V5了,难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531


四季藏诗意:贵州将推动旅游向生活方式转型 欧美性爱小说-欧美性爱小说最新版V.88.89.20-2265安卓网 新疆一水渠遍布救命绳
新疆一水渠遍布救命绳

新疆一水渠遍布救命绳

百万最新免费软件游戏

下载

新疆一水渠遍布救命绳
首页>>特朗普:美国将向波兰“增派”5000名士兵
新疆一水渠遍布救命绳

新疆一水渠遍布救命绳

「活动」首次登录送19元红包

54.20MB
版本{版本}
下载APK高速下载
下载再DeepSeek V4最大的遗憾安装你想要的应用 更方便 更快捷 发现更多
喜欢33%好评(62人)
评论69
DeepSeek V4最大的遗憾截图0DeepSeek V4最大的遗憾截图1DeepSeek V4最大的遗憾截图2DeepSeek V4最大的遗憾截图3DeepSeek V4最大的遗憾截图4
详细信息
  • 软件大小:48.45MB
  • 最后更新:2026-11-22 20:58:41
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-AndroidDeepSeek V4最大的遗憾
  • 使用语言:中文
  • :需要联网
  • 系统要求:9.94以上
应用介绍
🚫第一步:访问《DeepSeek V4最大的遗憾》官网👉首先,打开您的浏览器,输入《DeepSeek V4最大的遗憾》。您可以通过搜索引擎搜索或直接输入网址来访问.😫
🚫第二步:点击注册按钮👉一旦进入《DeepSeek V4最大的遗憾》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。☣️️
🚫第三步:填写注册信息 👉在注册页面上,您需要填写一些必要的个人信息来创建《DeepSeek V4最大的遗憾》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。🎾
🚫第四步:验证账户👉填写完个人信息后,您可能需要进行账户验证。《DeepSeek V4最大的遗憾》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。☣️
🚫第五步:设置安全选项👉《DeepSeek V4最大的遗憾》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。😛
🚫第六步:阅读并同意条款👉在注册过程中,《DeepSeek V4最大的遗憾》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。🌭️
🚫第七步:完成注册👉一旦您完成了所有必要的步骤,并同意了《DeepSeek V4最大的遗憾》网站的条款,恭喜您!您已经成功注册了《DeepSeek V4最大的遗憾》网站账户。现在,您可以畅享《DeepSeek V4最大的遗憾》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!🍫
【联系我们】
客服热线
加载更多
版本更新
{版本}
DeepSeek V4最大的遗憾
  • 以“培”为帆,以“训”为舵 新疆多地开展铸牢中华民族共同体意识培训
  • 西双版纳曼烈村:通道向边境延伸 “老庚”之约岁岁如常
  • 光大期货:5月19日农产品日报
  • 莫迪就印度极端高温发声:务必多喝水
  • 陈忠任中投公司副总经理
  • 从欧洲到甘肃:“洋弟子”爱上中医学
  • 体育“饭圈”思考:别让生日祝福变了味
  • 广西柳州一刑事案件造成4死1伤
  • 笛韵、水墨、汉服……中国艺术课燃动马耳他
  • 中美侨商合作交流活动在海口国家高新区举办
  • 站蹲跪都能焊 湘企造人形焊接机器人将赴船厂实训
  • 最乐观的人都悲观了
  • “十连好”后如何谋振兴?中国减贫奇迹“缩影”贵州有“三招”
  • 东西问丨英国皇家工程院院士菲尔·泰勒:当“能源安全”从技术议题变为民生焦虑

    背着双肩包就能来 湖南携8807个岗位赴粤诚意揽才

    百米高空 他们这样过“五一”

    详情
查看更多
加载中加载中,请稍等...

DeepSeek V4最大的遗憾类似软件

  • 外交部:东京审判庭审记录全译本的出版再次说明日本军国主义侵略罪行罄竹难书河南睢县:国际护士节 白衣天使坚守岗位护理新生儿

    CBA季后赛:北京北汽队战胜广东东阳光队

  • 男子早餐买4个包子付款21365元谈童年记忆中最熟悉的“宝岛印象”,蒙曼期待再访台湾

    彩民花18元中2576万大奖

  • 戏曲演员表演时受伤流血不止 但依然坚持完成演出 网友:戏比天大你怎么看“踩点”到达?预防迟到有哪些“小妙招”?

    凯文·沃什宣誓就任美联储主席

  • 市场监管总局:一季度广告业头部企事业单位收入同比增长17.1%武夷山国家公园:藏酋猴的天然乐园

    金正恩观摩朝鲜新型武器系统试射

  • 科普供需精准对接:群众“点单” 专家“上菜”广西环江一皮卡车坠河 已致1人死亡

    四川一公园吊桥坠落 多人落水

  • 生态家底获贷款授信 上海首单VEP落地巴基斯坦安全部队击毙15名恐怖分子

    江西省委书记暗访全国花炮主产区

  • 重庆市永川区暴雨灾害致9人死亡11人失联《主角》为何被指翻车

    香港羽毛球公开赛:中国选手王祉怡女单卫冕 混双“凤凰”组合夺冠

  • 彩电头部厂商业绩冰火两重天中国的数据必须由中国人掌握

    青年“列车医生”假期忙:握住车辆安全“平安锁”

  • 全球媒体聚焦|英媒:海外“中国热”助推入境中国游热潮涌现微信520红包

    10岁男孩分享读书的意义

  • 黄金白银,为何集体大跌?第十五届四川国际茶业博览会吸引民众参观

    巴菲特吃了一辈子的牛排到底什么味

  • 韩国调查船只在霍尔木兹海峡起火原因泰国留学生的中国“针”功夫:把家乡色彩“绣”进壮锦

    湖北潜江解锁龙虾产业新未来

  • 滇藏公路沿线:从“蔓菁当菜”到果蔬满市中国商务部:希望欧委会停止滥用FSR调查工具

    (经济观察)元首会晤释积极信号 中美明确经贸合作方向

  • 国防部:“新型军国主义”大有成为东亚“祸乱”之势“更稳固的美中关系对全球至关重要”——访美国库恩基金会主席罗伯特·劳伦斯·库恩

    大美边疆看我家丨黑龙江漠河:奔赴一场夏日里的浪漫奇遇

  • 2025年度全国秋粮收购超3.38亿吨全球首次 我国万米深海试验再破世界纪录

    国家统计局:1—4月份全国房地产开发投资23969亿元

  • 夜空中最亮的星墨菲:希金斯是一个真正的竞争者

    中国主办APEC如何惊艳世界

  • 李子柒当选四川文联副主席美国再公布UFO文件:发光物追逐战机

    住房城乡建设部:地级及以上城市、县级市全面开展城市体检

  • 缅甸发生5.2级地震 震源深度10千米谌贻琴会见西班牙第二副首相兼劳动与社会经济大臣迪亚斯

    受贿1.89亿余元!重庆市委原常委陆克华一审被判死缓

  • 美光科技收涨19.3% 市值破1万亿美元第16个“中国旅游日” 北京推出系列惠民举措激发消费活力

    从“货运末梢”到“科考枢纽”:三亚南山港借自贸港东风跃升

  • 习言道|中俄要反对一切否定二战胜利成果、为法西斯和军国主义“翻案招魂”的挑衅行径侨商牵线促成足坛巨星IP落地上海 南京东路添体育文化打卡新地标

    全球瞭望丨南非媒体:零关税举措为非洲企业打开产能和价值提升的“一扇窗”

  • 同济大学通报教师论文数据存疑:免去其院长职务 降低专业技术岗位等级湖北出土音乐文物在美国展出 再现中华礼乐文明

    打通公平正义“最后一公里” 我国已设立人民法庭11035个

  • “收复南海诸岛80周年研讨会”在福建平潭召开四辆车爆胎报警后警车来了也爆胎

    女子报警称被强奸收30万后多次改口

  • 中国多地兴起“生活充电热” 从“投资于物”转向“投资于人”一批来自中国的“数字南方”项目在多国落地

    未来希望到太空旅游!中外游客在海南“追箭”,看“太空快递”发货

  • 山西:“十五五”实施重大项目1594个 总投资4.6万亿元“感谢学校让拾荒老人进校”

    “薪火传志续华章——孙中山、宋庆龄与中国共产党”展览在京开幕

  • 太空视角看长江巨变 褪去“工业锈带” 绘就生态新画卷广西侗乡风雨桥上演绎“村T”秀

    印度能源短缺 莫迪坐不住了

  • 美国佛州枪击案律师:ChatGPT为枪手作案“出谋划策”神舟二十三号航天员乘组顺利进驻“天宫”,中国航天员完成第8次“太空会师”

    习近平同志《论减贫脱贫》主要篇目介绍

  • 特朗普说非常荣幸访问中国奥运冠军袁心玥与香港学生交流互动:盼同学领会排球精神

    OEXN:矿企产量改善映照金价

  • 广西加强面向东盟的知识产权保护五角大楼再公布一批UFO视频

    2026射箭世界杯赛上海站收官 中国队收获2金2银1铜

  • 伊朗民众:美国不可信 必须高度警惕台胞返乡寻根谒祖:心里很感动,本就是一家人

    强军思想育新人丨爬冰卧雪 迎风向阳

  • 比亚迪拥有芯片全流程制造能力解放军报:坚持有腐必反、有贪必肃

    河南省人民检察院原巡视员刘新年被开除党籍

  • 范丞丞71岁妈妈漂亮有气质香港长洲“飘色会景巡游”吸引民众观赏

    海南三亚市委统战部举办2026年党外知识分子能力提升专题研修班

  • 特朗普:如果伊朗同意美方条款,“史诗怒火”行动将宣告结束专家:美国创下二战后最危险里程碑

    微观浙江温州山福镇乡村CEO“上岗记”

  • 韩国综合股价指数迈入“7000点时代”再破4000万标箱:解码宁波舟山港从“量”到“势”的跃迁

    爆火排骨饭老板称一天消耗300多斤肉

  • 一季度我国银行业保险业总资产保持增长天舟十号智能“通信高速路”为太空送货保驾护航

    逾百名全国中老年足球爱好者佛山“以赛会友”

  • 湖北武汉:绣球花盛开吸引游客打卡2025年度“中国人文学术十大热点”发布

    《急性高原病救治中心建设规范》发布

  • 中国柔力球公开赛(陕西杨凌站)落幕 全年龄段参赛践行全民健身理念美媒称北约考虑“协助船只”通过霍尔木兹海峡

    中外民众谈特朗普访华:中美关系新定位为世界增添稳定性

  • 文旅观察:告别传统观光 浙江古镇“电竞+”破圈生长170余名海内外专家聚首厦门 研讨清水文化海外传播与创新发展

    水利部:2021年以来 约1.9万座病险水库除险加固

相关攻略
  • 广西柳州市柳南区发生3.6级地震
    2026-11-22 20:58:41
包含 饿了么 的应用集
  • 习近平主席同普京总统会晤侧记 南宁沃柑热销海外 本产季开始以来出口货值逾7500万美元 创意“迁徙”至银川:“好市集”点亮塞上夜经济
    巴基斯坦总理:中巴友谊已直抵苍穹
    瑞银:香港房价年内涨幅可达10%
    146378652127692026-11-22 20:58:41
  • 天舟十号智能“通信高速路”为太空送货保驾护航 【好评中国·新角色】社区主理人:为城市增添温暖 (经济观察)中国新能源汽车出海再提速
    极端热浪下印度电工往变压器上浇水
    王曼昱:决赛紧张惨烈 感谢孙颖莎
    33137836643572026-11-22 20:58:41
  • 车主注意!新一轮成品油调价将至 国家开发银行:一季度发放285.4亿元转贷款 支持外贸小微企业 低空安全司亮相,为低空经济“起飞”保驾护航
    2026年国际“碳中和与能源智联”论坛在京举行
    涉及北斗导航、人工智能等领域 一批重要国家标准发布
    5447784895135971402026-11-22 20:58:41
  • 米夏埃尔·舒曼:信任是国际气候政策中的稀缺资源 中英两所高校签署《探索科研合作机会的谅解备忘录》 昆明闹市“小白楼”珍藏飞虎旧时光”
    【深圳APEC】深圳APEC会议记者会 现场来了“亿点点”人 外国记者用大疆拍拍拍不停
    山西依托非煤矿产资源 拓展煤炭以外的“可能性”
    9323247488654602026-11-22 20:58:41
  • 日本民调显示超半数受访者反对解禁杀伤性武器出口 儿童牙膏乱象调查 数字种业“突围” 广西大石山区蹚出数字乡村新路
    香港龙鼓滩畔共祭忠魂 民众悼东江纵队抗战先烈
    职业教育展示 看学生打造“微景观”如何“变废为宝”
    679704854602212026-11-22 20:58:41
  • 尼泊尔两名登山家刷新珠峰登顶纪录 上海加快开发适老化智能产品 汇丰中国新推300亿元信贷基金助绿色产业链出海
    最高检:全面加强对立案、侦查、审判和执行等诉讼活动的监督
    法治护航党建聚力 上海闵行筑牢民营经济发展“压舱石”
    394052330332832026-11-22 20:58:41
  • 外资企业投资中国提质升级 转向“融入发展” 中方:将为推动霍尔木兹海峡局势降温继续作出努力 云南人路边摇知了半小时抓四五百只
    赵晋平:海南自贸港能为RCEP开放发展提供强劲动力
    日本检方要求判处持刀强闯我驻日使馆人员村田晃大1年6个月刑期
    62313021003772026-11-22 20:58:41
  • 厨师掉入货梯 消防员徒手撕挡板救援 甘肃“临商”在西藏:多民族交融守望同行 多家银行放宽黄金投资限制
    男子在飞机起飞后欲拉开应急舱门 航司通报
    德国经济和能源部长:中国经济发展成果令人钦佩
    1697948879093377222026-11-22 20:58:41
  • 珠江流域成功防御今年入汛以来最强降雨过程 (第九届进博会)从进博会到APEC 中国开放合作步履不停 美国达拉斯市一公寓楼发生火灾爆炸 致人员死伤
    地震亲历者讲述汶川佛山大道变迁
    张雪看到夺冠后举杯庆祝疯狂鼓掌
    112274133088942026-11-22 20:58:41
  • 许昕回应国乒双冠 厦门口岸今年往来两岸旅客量破百万人次 (滇藏公路50年)小新Talkshow:在西藏察隅神秘村落 全副家当挂身上
    山东海驴岛:“五一”假期游客与黑尾鸥互动
    长三角地区首个跨区域护士专属运动会在沪举行
    717618156394162026-11-22 20:58:41
  • 湖南举办麓山科技金融大会 推动政策、产品、资本与需求精准对接 沈晓明主持召开烟花爆竹领域专家座谈会 中央网信办:全面部署推进规范短视频内容标注工作
    邵永灵:高市出席APEC峰会前疯狂加戏
    半年重建见成效 湖南石门壶瓶山受灾民众年前可迁新居
    496411636195746912026-11-22 20:58:41
  • 荔枝冰酒被买断货 缺的不是酒是酒瓶 69名中国公民在菲被扣 我使馆派员进行领事探视 香港镜头里的山西彩塑 四十年后“回归”故土展出
    女子向回收箱投递近40斤旧衣提现被拒
    奋力开创中国式现代化福建实践新局面 谱写社会主义现代化新疆新篇章
    34964411728812262026-11-22 20:58:41
  • 《煤矿重大事故隐患判定标准》修订通过 5000多年前中国人就用上了刀叉 茶香润五洲 中外学子广西品茶论道
    “开明·同心共育”家校社协同育人县域实践现场会在浙江举行
    学习手记|总书记情系雪域高原
    2562493282205232612026-11-22 20:58:41
  • 澳大利亚学者呼吁反思AUKUS代价 中国消费者更看重“绿色可追溯” 为全球绿色供应链注入新动力 前4月河北对东盟进出口同比增长38.7% 东盟成最大贸易伙伴
    200名越南青年走进昆明胡志明旧居 以青春接力传承革命情谊
    黄仁勋喝豆汁皱眉 品牌创始人回应
    616890192883852026-11-22 20:58:41
  • 习近平举行仪式欢迎塞尔维亚总统访华 合肥工业大学:孙某某被开除学籍 官方辟谣山西忻州发生惨烈车祸
    厦门港新增一条直航印度尼西亚货运航线
    习近平总书记关切事|活出精彩的人生
    670612598107578282026-11-22 20:58:41
  • “美育芳草”国家大剧院青少年艺术节户外主题日举办 第20届曼谷中国电影节开幕 多部优秀中国影片亮相泰国 首个香港科研载荷登入“天宫”:“太空慧眼”精准监测温室气体排放
    酒店“逢假就涨” 多重约束缘何管不住“任性定价”?
    浙江广厦CBA总决赛能成功卫冕吗
    8622581992816408252026-11-22 20:58:41
  • 27年前那一炸 炸醒了一个巨人 宁夏固原首所高职院校获批 填补区域高职教育空白 金观平:实现财政与经济发展良性互动
    华媒探访南宁微短剧产业:AI 赋能“出海” 光影联通东盟
    “共同迈向更具韧性和可持续的未来”——访孟加拉国总理财政与规划事务顾问提图米尔
    821564907600022026-11-22 20:58:41
  • 天舟十号任务新看点:“扁鹊”护航、在轨一年、载荷数量创新高 第七届“貂蝉杯”赏石文化活动展奇石鬼斧神工 孙颖莎哽咽回应夺冠 王曼昱落泪
    第48届东盟峰会在菲律宾举行
    “北京22名老师赴贵阳沉默”不实
    13575033238233502026-11-22 20:58:41
  • 美光科技收涨19.3% 市值破1万亿美元 司法部、民政部就《基金会管理条例》修订答记者问 读懂财政账本里的民生温度与发展底气
    “十五五”规划宣介会暨中德经济界圆桌会在慕尼黑举行
    连续8周32场“村超”足球赛在黑龙江集贤火热开赛
    359952198706216072026-11-22 20:58:41
  • 武契奇逛长城并留言:感受到中国人民不屈不挠、奋发向上的精神 “今年4月欧盟油价继续上涨 柴油价格同比增长逾33% 骑电动车必须戴头盔 头盔放哪儿
    一名中国公民遇害身亡 中国驻巴塞罗那总领馆发布情况通报
    成吉思汗陵旅游区512名搏克选手展现肌肉力量
    127458798629002026-11-22 20:58:41
  • 打击“招转培”,国家五部门联合发布风险提示 广东顺德香云纱根植岭南水乡走向海外 未来5年20万亿元增量 以“中国服务”托举产业攀高
    中英“乒乓外交”55周年纪念活动在伦敦举行
    广州白云国际机场T1航司全部转至T3运营
    848642291342122026-11-22 20:58:41
  • 阿联酋退出阿拉伯石油输出国组织 “感觉很新奇” 东盟嘉宾重庆体验中药手串、中药火锅 五月天向柳州震区捐款100万
    AI+新能源主题论坛在港举行 聚焦全球新能源投资新风口
    景颇族老歌《目瑙纵歌》破圈 两代创作者共话创新传承
    57975544681210642026-11-22 20:58:41
  • 中东局势致材料短缺 日本畅销零食停售 赵少康:台湾买再多武器都比不过大陆 从“看景”到“入景” 国风沉浸 令人“上头”
    “赌王”何鸿燊女儿何超蕸追思会香港举行
    第一观察 | 28岁的抉择
    618929046876392026-11-22 20:58:41
友情链接
  • 这些外国青年,在博物馆重新认识中国
    2026-11-22 20:58:41
  • 总书记引领强国之路|加快推进教育现代化
    2026-11-22 20:58:41
  • 2026河南省文化旅游发展大会将在安阳举行
    2026-11-22 20:58:41
安卓手机网上最贴心的Android软件应用平台!版权所有:DeepSeek V4最大的遗憾有限公司备案号:京ICP备17065190号-1