作者:戴佳琪发布时间:2026-11-20 18:12:27 点击数:61373

今日研究机构发布新成果俄罗斯乌克兰公布最新战报 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

江苏省徐州市山东省东营市垦利区新乐市协神乡朝阳区双井街道黑龙江省大兴安岭地区呼玛县四川省广安市岳池县陕西省汉中市南郑区井陉县测鱼镇黑龙江省鹤岗市山东省德州市齐河县四川省凉山彝族自治州昭觉县哈密市伊吾县赞皇县西龙门乡朝阳区小关街道蚌埠市蚌山区丰台区长辛店镇山西省晋城市泽州县丰台区右安门街道吉林省长春市双阳区福建省莆田市城厢区青海省果洛藏族自治州福建省漳州市龙海市云南省丽江市宁蒗彝族自治县塔城地区和布克赛尔蒙古自治县江苏省南通市启东市焦作市中站区青海省玉树藏族自治州治多县武清区上马台镇青海省海西蒙古族藏族自治州德令哈市辽宁省沈阳市浑南区延庆区康庄镇朝阳区小红门地区青海省海南藏族自治州贵德县元氏县湖北省宜昌市宜都市江苏省徐州市丰县百色市靖西市喀什地区叶城县崇左市宁明县开封市通许县朝阳区小红门地区江西省鹰潭市余江区山西省运城市夏县山西省长治市襄垣县亳州市利辛县陕西省西安市未央区甘肃省陇南市武都区怀柔区龙山街道赞皇县西龙门乡密云区古北口镇四川省成都市双流区北辰区广源街道昌平区阳坊镇朝阳区小关街道江西省吉安市吉安县桥西区东华街道广东省珠海市斗门区辽宁省铁岭市开原市湖北省恩施土家族苗族自治州恩施市重庆市县巫山县南阳市内乡县福建省厦门市海沧区云南省玉溪市新平彝族傣族自治县内蒙古呼伦贝尔市阿荣旗湖北省宜昌市秭归县朝阳区双井街道广东省佛山市三水区湖北省恩施土家族苗族自治州建始县北辰区广源街道崇左市甘肃省陇南市密云区不老屯镇四川省成都市金牛区信阳市平桥区鹿泉区白鹿泉乡江苏省徐州市新沂市广东省广州市越秀区蓟州区官庄镇江西省宜春市宜丰县广东省汕头市龙湖区门头沟区大峪街道江西省赣州市石城县四川省甘孜藏族自治州九龙县西青区精武镇西乡塘区和平区南市街道内蒙古兴安盟乌兰浩特市甘肃省兰州市蓟州区官庄镇山东省威海市内蒙古乌海市乌达区甘肃省定西市渭源县钦州市青海省玉树藏族自治州治多县朝阳区小关街道蓟州区官庄镇西藏山南市贡嘎县广东省汕头市南澳县平顶山市湛河区江西省萍乡市上栗县

本周监管部门公布行业动态DeepSeek V4最大的遗憾,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

朝阳区双井街道湖北省宜昌市夷陵区塔城地区和布克赛尔蒙古自治县赞皇县西龙门乡四川省成都市双流区贵州省铜仁市印江土家族苗族自治县云南省红河哈尼族彝族自治州绿春县朝阳区管庄地区黑龙江省绥化市明水县平山县上观音堂乡南开区长虹街道四川省广安市岳池县江西省宜春市宜丰县四川省宜宾市翠屏区焦作市信阳市平桥区甘肃省定西市渭源县湖北省宜昌市宜都市山西省吕梁市岚县辽宁省沈阳市浑南区山西省阳泉市平定县山东省德州市齐河县辽宁省铁岭市开原市桂林市兴安县湖北省宜昌市秭归县辽宁省锦州市义县平顶山市湛河区武清区上马台镇黑龙江省大兴安岭地区呼玛县蓟州区东二营镇四川省宜宾市珙县北辰区密云区不老屯镇昌平区回龙观街道开封市通许县开封市通许县四川省遂宁市蓬溪县朝阳区豆各庄地区四川省宜宾市江安县青海省海北藏族自治州门源回族自治县平顶山市湛河区四川省成都市双流区昌平区延寿镇四川省宜宾市翠屏区内蒙古鄂尔多斯市康巴什区陕西省宝鸡市眉县濮阳市南乐县湖北省孝感市汉川市山东省淄博市临淄区静海区大邱庄镇云南省普洱市景东彝族自治县合肥市瑶海区湖北省宜昌市夷陵区湖北省襄阳市襄州区桂林市秀峰区海南省儋州市山东省烟台市牟平区崇左市宁明县平山县岗南镇元氏县苏村乡四川省乐山市内蒙古兴安盟乌兰浩特市甘肃省定西市渭源县陕西省西安市未央区辽宁省铁岭市清河区山西省晋城市泽州县山东省泰安市东平县长安区广安街道甘肃省庆阳市镇原县吉林省长春市双阳区蓟州区东施古镇武清区汊沽港镇四川省凉山彝族自治州甘洛县桥西区东华街道博尔塔拉蒙古自治州温泉县桂林市秀峰区江西省萍乡市上栗县平山县宅北乡陕西省咸阳市兴平市青海省果洛藏族自治州许昌市建安区塔城地区和布克赛尔蒙古自治县黑龙江省佳木斯市汤原县焦作市吉林省四平市铁西区昌平区回龙观街道江苏省南通市启东市江西省九江市武宁县重庆市市辖区北碚区江苏省徐州市山西省阳泉市平定县崇左市广东省佛山市三水区四川省德阳市广汉市山西省吕梁市中阳县湖北省宜昌市西陵区赞皇县院头镇和平区南市街道朝阳区小红门地区内蒙古兴安盟乌兰浩特市

全球服务区域:洛阳市汝阳县许昌市建安区四川省凉山彝族自治州昭觉县青海省海北藏族自治州门源回族自治县辽宁省大连市旅顺口区四川省宜宾市珙县银川市贺兰县辽宁省朝阳市北票市山西省吕梁市中阳县合肥市瑶海区江西省宜春市奉新县百色市靖西市江苏省苏州市相城区福建省莆田市仙游县贵州省安顺市普定县河东区东新街道海淀区青龙桥街道陕西省宝鸡市眉县山东省烟台市龙口市丰台区和义街道崇左市无极县大陈镇马鞍山市博望区云南省普洱市景东彝族自治县丰台区和义街道内蒙古呼伦贝尔市阿荣旗四川省德阳市广汉市广东省广州市越秀区蓟州区官庄镇江苏省苏州市相城区朝阳区小关街道云南省红河哈尼族彝族自治州泸西县丰台区右安门街道云南省玉溪市新平彝族傣族自治县怀柔区雁栖地区门头沟区大峪街道西藏拉萨市达孜区黑龙江省鹤岗市西藏山南市西城区天桥街道元氏县湖北省宜昌市秭归县蓟州区东二营镇山东省淄博市临淄区和平区南市街道贵州省黔南布依族苗族自治州惠水县山西省晋城市泽州县元氏县殷村镇蓟州区东赵各庄镇四川省宜宾市珙县赞皇县西龙门乡山东省泰安市泰山区海南省三沙市西沙区马鞍山市博望区平顶山市湛河区黑龙江省佳木斯市富锦市广东省汕头市南澳县山东省聊城市茌平区上海市市辖区嘉定区湖北省宜昌市西陵区江苏省徐州市新沂市大兴区山西省阳泉市平定县银川市贺兰县吉林省四平市铁西区四川省凉山彝族自治州甘洛县山西省晋城市高平市山东省滨州市黑龙江省佳木斯市富锦市隆安县广东省珠海市斗门区山东省潍坊市青州市延庆区沈家营镇江西省吉安市吉安县焦作市中站区江西省宜春市宜丰县吉林省四平市铁西区许昌市建安区固原市西吉县广东省江门市河东区大直沽街道焦作市中站区焦作市中站区山东省泰安市东平县鹿泉区寺家庄镇山西省吕梁市岚县百色市靖西市濮阳市南乐县云南省玉溪市新平彝族傣族自治县云南省红河哈尼族彝族自治州泸西县福建省厦门市海沧区淮南市大通区西藏山南市昌平区回龙观街道山东省青岛市城阳区上海市市辖区嘉定区崇左市宁明县山西省晋中市太谷区甘肃省定西市渭源县陕西省宝鸡市千阳县

昨日官方渠道传递新研究成果DeepSeek V4最大的遗憾,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:陕西省汉中市留坝县黑龙江省鹤岗市江西省赣州市石城县河东区大直沽街道广东省汕头市龙湖区江西省景德镇市昌江区山西省晋城市高平市顺义区空港街道山西省晋中市太谷区辽宁省沈阳市丰台区长辛店镇鹿泉区寺家庄镇辽宁省沈阳市浑南区隆安县湖北省孝感市汉川市辽宁省沈阳市浑南区蓟州区官庄镇隆安县江西省吉安市吉安县延庆区康庄镇崇左市宁明县海南省三沙市西沙区江西省九江市武宁县辽宁省本溪市溪湖区山东省泰安市东平县黑龙江省哈尔滨市巴彦县贵州省安顺市普定县西藏拉萨市达孜区福建省厦门市海沧区贵州省铜仁市玉屏侗族自治县山西省朔州市山阴县四川省德阳市广汉市湖北省宜昌市秭归县山东省烟台市龙口市青秀区朝阳区小红门地区山西省晋中市灵石县黑龙江省佳木斯市汤原县蓟州区官庄镇四川省宜宾市翠屏区辽宁省沈阳市山西省忻州市宁武县江苏省徐州市丰县吉林省长春市双阳区江西省九江市武宁县黑龙江省伊春市金林区西藏山南市江西省赣州市石城县陕西省汉中市西乡县贵州省六盘水市水城县黑龙江省哈尔滨市巴彦县山西省忻州市宁武县朝阳区豆各庄地区辽宁省沈阳市浑南区门头沟区大峪街道广东省云浮市新兴县贵州省铜仁市印江土家族苗族自治县江苏省徐州市江西省吉安市永新县马鞍山市博望区南开区长虹街道江西省景德镇市昌江区蚌埠市龙子湖区河东区东新街道乌鲁木齐市沙依巴克区平山县岗南镇海南省儋州市青海省海北藏族自治州门源回族自治县固原市西吉县青秀区贵州省铜仁市印江土家族苗族自治县焦作市贵州省黔南布依族苗族自治州惠水县喀什地区麦盖提县顺义区空港街道江苏省连云港市赣榆区平山县东回舍镇青海省果洛藏族自治州江西省吉安市吉安县芜湖市南陵县贵州省黔南布依族苗族自治州惠水县辽宁省铁岭市开原市山东省威海市云南省玉溪市新平彝族傣族自治县许昌市建安区湖北省宜昌市宜都市山西省晋中市灵石县重庆市县巫山县江苏省苏州市相城区阿克苏地区拜城县静海区西翟庄镇云南省红河哈尼族彝族自治州泸西县四川省广安市岳池县江苏省苏州市相城区四川省遂宁市蓬溪县福建省南平市上海市市辖区嘉定区湖北省宜昌市秭归县静海区西翟庄镇甘肃省庆阳市镇原县

售后服务上门服务电话,智能分配单据:DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公众号 QbitAI

DeepSeekV4的技术报告里有mHC,有CSA,有HCA,有Muon,有FP4……

唯独没有Engram。

Engram去哪了?

这个话题一度成为网友们讨论的热点。

Engram在今年1月由DeepSeek和北大联合开源,主要研究大模型的记忆与效率问题。

自挂上arXiv的那一刻起,圈子里围绕它的探讨就没有停止过…

不仅仅因为它是V4的前奏,而是有了Engram,「伦敦是英国首都」这种事实,模型不用动用整个深层网络去重新推一遍,直接查就行。

不仅省显存,还能释放深层网络容量,用于更高阶的推理。

正因如此,自1月初论文发表以来,所有人都觉得,Engram就是V4的架构地基,所有人都在盼。

以至于V4发表后,大家第一时间就是command+f去论文里找Engram,可惜并没有。

以至于不少网友甚至觉得,没有Engram,V4就是不完整的。

没有Engram,可能是DeepSeekV4最大的遗憾。

不过,Engram并没有消失。随后三篇值得注意的论文接力出现:

CXL内存池化版本:把Engram放进多机共享的CXL内存池,解决大模型多机部署的存储问题。无冲突热层实验:对Engram的多头哈希优化进行了实证检验,证伪了一些直觉式改进方案。视觉Tiny Engram:AutoArk团队把文本Engram搬到视觉模态,扩展了它的应用边界。

所以,虽然V4没有Engram,但它的理念、探索和后续应用已经悄然铺开,为下一代模型打下基础。

Engram到底是什么

把时间倒回2026年1月12日。

那一天,DeepSeek联合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin,北大博士生,曾经署名过V3。最后一位作者,梁文锋。

先来一句话速通版,Engram是给Transformer加的一个原生知识查表模块。能查的别算,先查一下。

团队的核心观察是,语言建模其实包含两种性质完全不同的任务,一种是需要深度动态计算的组合推理,另一种是检索静态知识。

之前的问题在于,Transformer把这两件事混在一起做。模型识别一个实体时,得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子,「Diana,Princess of Wales」。模型要走6层才能把这个识别完。

前几层还在纠结「Wales是英国的一个地区」、「Princess of Wales是某种头衔」这些中间状态,最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活,本来可以让深层网络去干更高阶的推理。

对此,Engram的思路相当直接,既然经典的N-gram模型就能用O(1)的时间复杂度捕获这些局部依赖,那干脆把这能力直接嵌进Transformer。

打个比方,就像你做数学题,该用的公式不必每次从头推一遍,翻表代进去就行。Transformer之前没这张表,只能每道题都从公理走起。Engram等于把这张表交到模型手里。

具体做法是,在Transformer的第2层和第15层之间各插入一个Engram模块。

每个位置的输入会触发一次哈希查找,把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入表里,直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏,但「张仲景」三个字凑一起就是固定历史人物实体了,门控就负责认出这种区别。

Engram的定位是MoE之外的另一条稀疏轴。MoE是把计算稀疏化,只激活一部分专家。Engram是把存储稀疏化,只查一部分条目。两者互补,不冲突。

论文最核心的一段实验,是固定总参数和每token激活参数,然后让MoE专家和Engram记忆抢预算,得到一条U形曲线。

纯MoE不是最优解。把大约20%-25%的稀疏参数分给Engram,模型loss达到最低点。

按这个曲线指导,团队把Engram扩到27B验证。激活参数3.8B,训练262B tokens,严格跟MoE-27B基线对齐。

结果知识密集型任务的提升符合预期(MMLU +3.4,CMMLU +4.0),但通用推理和代码数学的提升超出预期(BBH +5.0,ARC-Challenge +3.7,HumanEval +3.0,MATH +2.4),长上下文场景更夸张,Multi-Query NIAH从84.2%跃升到97.0%。

那么,为什么记忆模块还能反过来提升推理?

LogitLens和CKA给出了答案,Engram-27B第5层的表征,跟MoE基线第12层的表征最相似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来,这部分网络深度被腾出来做更复杂的推理。Engram不是新增了一块记忆,它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM,在H800上跑推理,8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引的确定性,只取决于输入token序列,完全可以提前算,CPU异步预取跟GPU计算重叠。

可以说,这个模块天生就不靠HBM,只可惜如今V4来了,Engram没来。

没在v4,但在其他地方

发明者把它放在那里没动,但路上还是有人。三个月里,至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日,北大、阿里云、山东英信、人大、港大联合发了一篇系统论文,《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram本身,而是回答了一个更工程的问题,如果Engram真的成了下一代标配,内存放哪。

答案是CXL内存池化。GPU HBM放计算权重,本地DRAM做二级缓存,CXL池做三级。8台服务器共享4TB内存池,XConn XC50256交换芯片做拓扑,512GB/s带宽。

整套集成进SGLang,做了预取-计算重叠,跑下来端到端吞吐损失小于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写,被他们做成了27B和40B两个规模的真实测试。

结论很清楚,Engram这种确定性寻址、可预取的负载,几乎是为CXL量身定做的。

一个反直觉的实验

Engram论文上线第十一天,1月23日,一个叫TaoLin的研究者,单作者,放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化,Engram用多头哈希查表会有冲突,如果把高频N-gram用Minimal Perfect Hash Function完全消除冲突,模型会不会更好。

他设计了Engram-Nine,把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格iso-parameter控制下,无冲突设计没有稳定提升验证loss。

route-stratified评估还发现,训练初期热路径(高频)loss更低,但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向,被一个真做实验的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3完整复现文本Engram之后,他们做了一件论文里没做的事,把Engram搬到Stable Diffusion上。

视觉patch经过分层编码,底层抓纹理,中层抓部件,高层抓风格,然后整套丢进哈希查表。

跟LoRA比下来,达到同等效果,Engram需要的额外参数只有LoRA的15%到30%。连续注入多个新概念时,LoRA会出现明显的概念退化,Engram不会。

Engram原本是为文本设计的。AutoArk等于把这扇门撞开了,凡是能离散化、能哈希的模态,Engram都能搬。

三个月里,Engram这条路上,发明者最沉默,跟进者各自走了一步。

一个团队替它解决多机内存层级,一个独立研究者证伪了它一个看似显然的优化方向,一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库,最后一次提交还停在1月14日。

One more thing

Engram论文的摘要结尾有一句话:

我们认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来,这个下一代得是V5了,难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531

本周官方更新行业研究成果DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公众号 QbitAI

DeepSeekV4的技术报告里有mHC,有CSA,有HCA,有Muon,有FP4……

唯独没有Engram。

Engram去哪了?

这个话题一度成为网友们讨论的热点。

Engram在今年1月由DeepSeek和北大联合开源,主要研究大模型的记忆与效率问题。

自挂上arXiv的那一刻起,圈子里围绕它的探讨就没有停止过…

不仅仅因为它是V4的前奏,而是有了Engram,「伦敦是英国首都」这种事实,模型不用动用整个深层网络去重新推一遍,直接查就行。

不仅省显存,还能释放深层网络容量,用于更高阶的推理。

正因如此,自1月初论文发表以来,所有人都觉得,Engram就是V4的架构地基,所有人都在盼。

以至于V4发表后,大家第一时间就是command+f去论文里找Engram,可惜并没有。

以至于不少网友甚至觉得,没有Engram,V4就是不完整的。

没有Engram,可能是DeepSeekV4最大的遗憾。

不过,Engram并没有消失。随后三篇值得注意的论文接力出现:

CXL内存池化版本:把Engram放进多机共享的CXL内存池,解决大模型多机部署的存储问题。无冲突热层实验:对Engram的多头哈希优化进行了实证检验,证伪了一些直觉式改进方案。视觉Tiny Engram:AutoArk团队把文本Engram搬到视觉模态,扩展了它的应用边界。

所以,虽然V4没有Engram,但它的理念、探索和后续应用已经悄然铺开,为下一代模型打下基础。

Engram到底是什么

把时间倒回2026年1月12日。

那一天,DeepSeek联合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin,北大博士生,曾经署名过V3。最后一位作者,梁文锋。

先来一句话速通版,Engram是给Transformer加的一个原生知识查表模块。能查的别算,先查一下。

团队的核心观察是,语言建模其实包含两种性质完全不同的任务,一种是需要深度动态计算的组合推理,另一种是检索静态知识。

之前的问题在于,Transformer把这两件事混在一起做。模型识别一个实体时,得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子,「Diana,Princess of Wales」。模型要走6层才能把这个识别完。

前几层还在纠结「Wales是英国的一个地区」、「Princess of Wales是某种头衔」这些中间状态,最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活,本来可以让深层网络去干更高阶的推理。

对此,Engram的思路相当直接,既然经典的N-gram模型就能用O(1)的时间复杂度捕获这些局部依赖,那干脆把这能力直接嵌进Transformer。

打个比方,就像你做数学题,该用的公式不必每次从头推一遍,翻表代进去就行。Transformer之前没这张表,只能每道题都从公理走起。Engram等于把这张表交到模型手里。

具体做法是,在Transformer的第2层和第15层之间各插入一个Engram模块。

每个位置的输入会触发一次哈希查找,把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入表里,直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏,但「张仲景」三个字凑一起就是固定历史人物实体了,门控就负责认出这种区别。

Engram的定位是MoE之外的另一条稀疏轴。MoE是把计算稀疏化,只激活一部分专家。Engram是把存储稀疏化,只查一部分条目。两者互补,不冲突。

论文最核心的一段实验,是固定总参数和每token激活参数,然后让MoE专家和Engram记忆抢预算,得到一条U形曲线。

纯MoE不是最优解。把大约20%-25%的稀疏参数分给Engram,模型loss达到最低点。

按这个曲线指导,团队把Engram扩到27B验证。激活参数3.8B,训练262B tokens,严格跟MoE-27B基线对齐。

结果知识密集型任务的提升符合预期(MMLU +3.4,CMMLU +4.0),但通用推理和代码数学的提升超出预期(BBH +5.0,ARC-Challenge +3.7,HumanEval +3.0,MATH +2.4),长上下文场景更夸张,Multi-Query NIAH从84.2%跃升到97.0%。

那么,为什么记忆模块还能反过来提升推理?

LogitLens和CKA给出了答案,Engram-27B第5层的表征,跟MoE基线第12层的表征最相似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来,这部分网络深度被腾出来做更复杂的推理。Engram不是新增了一块记忆,它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM,在H800上跑推理,8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引的确定性,只取决于输入token序列,完全可以提前算,CPU异步预取跟GPU计算重叠。

可以说,这个模块天生就不靠HBM,只可惜如今V4来了,Engram没来。

没在v4,但在其他地方

发明者把它放在那里没动,但路上还是有人。三个月里,至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日,北大、阿里云、山东英信、人大、港大联合发了一篇系统论文,《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram本身,而是回答了一个更工程的问题,如果Engram真的成了下一代标配,内存放哪。

答案是CXL内存池化。GPU HBM放计算权重,本地DRAM做二级缓存,CXL池做三级。8台服务器共享4TB内存池,XConn XC50256交换芯片做拓扑,512GB/s带宽。

整套集成进SGLang,做了预取-计算重叠,跑下来端到端吞吐损失小于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写,被他们做成了27B和40B两个规模的真实测试。

结论很清楚,Engram这种确定性寻址、可预取的负载,几乎是为CXL量身定做的。

一个反直觉的实验

Engram论文上线第十一天,1月23日,一个叫TaoLin的研究者,单作者,放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化,Engram用多头哈希查表会有冲突,如果把高频N-gram用Minimal Perfect Hash Function完全消除冲突,模型会不会更好。

他设计了Engram-Nine,把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格iso-parameter控制下,无冲突设计没有稳定提升验证loss。

route-stratified评估还发现,训练初期热路径(高频)loss更低,但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向,被一个真做实验的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3完整复现文本Engram之后,他们做了一件论文里没做的事,把Engram搬到Stable Diffusion上。

视觉patch经过分层编码,底层抓纹理,中层抓部件,高层抓风格,然后整套丢进哈希查表。

跟LoRA比下来,达到同等效果,Engram需要的额外参数只有LoRA的15%到30%。连续注入多个新概念时,LoRA会出现明显的概念退化,Engram不会。

Engram原本是为文本设计的。AutoArk等于把这扇门撞开了,凡是能离散化、能哈希的模态,Engram都能搬。

三个月里,Engram这条路上,发明者最沉默,跟进者各自走了一步。

一个团队替它解决多机内存层级,一个独立研究者证伪了它一个看似显然的优化方向,一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库,最后一次提交还停在1月14日。

One more thing

Engram论文的摘要结尾有一句话:

我们认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来,这个下一代得是V5了,难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531


国家发改委近期发布的一批低空经济典型应用场景印证了这一点——在物流运输、医疗救护、城市治理、农林作业、测绘巡检等诸多领域,低空经济不再是悬浮于云端的概念,而是已经抵达田间地头、街头巷尾的民生力量。 维挽李的视频 | vVK,手势操作便捷滑动即可完成常用功能 俄罗斯乌克兰公布最新战报
俄罗斯乌克兰公布最新战报

俄罗斯乌克兰公布最新战报

百万最新免费软件游戏

下载

俄罗斯乌克兰公布最新战报
首页>>002493,控股股东拟大手笔增持!
俄罗斯乌克兰公布最新战报

俄罗斯乌克兰公布最新战报

「活动」首次登录送19元红包

47.44MB
版本{版本}
下载APK高速下载
下载再DeepSeek V4最大的遗憾安装你想要的应用 更方便 更快捷 发现更多
喜欢82%好评(32人)
评论81
DeepSeek V4最大的遗憾截图0DeepSeek V4最大的遗憾截图1DeepSeek V4最大的遗憾截图2DeepSeek V4最大的遗憾截图3DeepSeek V4最大的遗憾截图4
详细信息
  • 软件大小:89.81MB
  • 最后更新:2026-11-20 18:12:27
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-AndroidDeepSeek V4最大的遗憾
  • 使用语言:中文
  • :需要联网
  • 系统要求:4.34以上
应用介绍
🚫第一步:访问《DeepSeek V4最大的遗憾》官网👉首先,打开您的浏览器,输入《DeepSeek V4最大的遗憾》。您可以通过搜索引擎搜索或直接输入网址来访问.🔱
🚫第二步:点击注册按钮👉一旦进入《DeepSeek V4最大的遗憾》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。🏉️
🚫第三步:填写注册信息 👉在注册页面上,您需要填写一些必要的个人信息来创建《DeepSeek V4最大的遗憾》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。🈴
🚫第四步:验证账户👉填写完个人信息后,您可能需要进行账户验证。《DeepSeek V4最大的遗憾》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。🐏
🚫第五步:设置安全选项👉《DeepSeek V4最大的遗憾》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。🚭
🚫第六步:阅读并同意条款👉在注册过程中,《DeepSeek V4最大的遗憾》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。🌦️
🚫第七步:完成注册👉一旦您完成了所有必要的步骤,并同意了《DeepSeek V4最大的遗憾》网站的条款,恭喜您!您已经成功注册了《DeepSeek V4最大的遗憾》网站账户。现在,您可以畅享《DeepSeek V4最大的遗憾》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!🤤
【联系我们】
客服热线
加载更多
版本更新
{版本}
DeepSeek V4最大的遗憾
  • “全球治理 青年新思·2026北京国际模拟联合国大会”在北京开幕
  • 算力网、物流网——“六张网”何以成扩大内需发力点
  • 百廿华诞将至 暨南大学获赠一批珍贵侨批与校史史料
  • 2026年云南省社会科学普及宣传周启动 341项重点活动惠及基层
  • 虚假事业编招聘背后
  • 一纸侨批中,藏着哪些家国故事?
  • 广州开启城市消费嘉年华活动 民众一站式叹享大湾区风情
  • 人民锐评:物业停电停不出“自觉交费”
  • “村超”全国赛黑龙江省集贤赛区举行开幕式
  • HICOOL2026全球创业大赛参赛项目破万 AI领域增长近四成
  • 600599、600696,终止上市!
  • 南水北调东中线一期工程 已累计向北方调水880亿立方米
  • 航标工赛项首次纳入全国交通运输行业职业技能大赛
  • 外交部回应日本在海外发射进攻型导弹

    “人造太阳”技术等亮相!海内外名企齐聚大连工博会

    日本核心CPI连续62个月上涨 民调显示高市应对通胀措施遭质疑

    详情
查看更多
加载中加载中,请稍等...

DeepSeek V4最大的遗憾类似软件

  • 提质幸福龙江 黑龙江绘就共同富裕民生新图景“第一高楼”为啥都成了半拉子工程

    二十载深耕 温州肯恩大学打造中美教育合作“活样板”

  • 山东省政府原副秘书长、办公厅原党组成员卢杰被“双开”维修人员失误致宝马车发动机拉缸报废

    国产103号赛级汽油来了

  • 拐点要来了!(经济观察)重庆江津:通江达海畅通道 聚产兴贸向全球

    2026“诗约四海”全球中文诗友会走进莫斯科

  • 厦门“小巨人”企业全链条发力 推动福建打印机出口强劲增长“人工智能+”走向智能经济新形态

    日本自民党总体通过修订“安保三文件”提案意欲何为?

  • 广西柳州5.2级地震:“提前布防”抢出黄金时间司美格鲁肽的好日子到头了吗

    国务院常务会议解读|国务院常务会议研究推进全国统一大市场建设有关工作

  • 广西龙胜千年传统“耦耕”再现龙脊梯田开耕节北京稻香村涉事门店回应“反向抹零”

    中国光纤行业进入疯狂时刻了吗

  • 追光的你丨这就是中国青年一场“锁电”风波,撕开新能源OTA的隐秘角落

    “五一”假期全社会跨区域人员流动量创历史同期新高

  • 刘平云谈“大湾鸡”创作与新大众文艺发展“开明·同心共育”家校社协同育人县域实践现场会在浙江举行

    今年前4个月约1850万人次旅客访港 同比增长约15%

  • 探访澳华历史博物馆:寻文化归属 守华人记忆(深圳APEC)烟火气和安全感,是深圳最高级的“素颜”

    客车追尾货车致13死 公安部派工作组

  • 重庆对8个区县启动地质灾害四级应急响应黑龙江400余款森林好物闪耀“哈洽会”

    为什么北方一下就热起来了

  • 5月20日人民币对美元中间价报6.8397 下调22个基点“十五五”蓄力赋能 吉林做强现代农业端稳“中国饭碗”

    湖南浏阳华盛烟花厂爆炸事故已有35名伤员出院

  • 俄罗斯百岁老战士:“非常感谢习主席的关心”2026中国·十堰茅箭体育舞蹈公开赛举行

    退役5年后 被授予中尉军衔

  • (深圳APEC)习近平会见新加坡总理黄循财直击徐州非法排污事件现场:清淤仍在继续

    交通更有序 出行更从容——从三个场景看“五一”出行服务新升级

  • 出现红斑揉一揉,再用气圈垫一垫? 这些“好心护理法”正在加重压疮金门:今年已有近六万陆客赴金,99%为个人游

    拿捏麻将“摸牌”? 探寻机器人“最后一毫米”的“秘密”

  • 中国外交部亚洲司司长会见巴基斯坦驻华大使长三角会展将迎新枢纽 杭州国际博览中心二期5月启幕

    四川优化企业研发投入补助政策 扩大政策受益面

  • 中央气象台:贵州重庆仍有强降雨 东北地区和内蒙古有阵雨宁波舟山港六横公路大桥青龙门特大桥进入钢箱梁架设关键阶段

    发生地震后,哪些保险能理赔?

  • 哈萨克斯坦今年前4个月抓获76名外籍涉毒人员大西洋一邮轮出现汉坦病毒感染事件 世卫:不必恐慌或实施旅行限制

    中芯国际发行股份购买资产获上交所重组委会议通过

  • 极端热浪下印度电工往变压器上浇水2026年广州科技活动周开幕 精彩活动让民众沉浸感受科技魅力

    员工离职“顺走”“老东家”商业秘密

  • “丝路光影”走进南非 中国高票房电影亮相约堡青年与城市共成长 第七届上海创新创业青年50人论坛将启

    特朗普称霍尔木兹海峡不归任何人管辖 警告阿曼守规矩

  • 承诺“增高”构成欺诈 商家被判退一赔三(文化中国行)为一个馆赴一座城,河北小众博物馆频“出圈”

    人形机器人与上海创新创业青年对话“谈科创”

  • 央行今天将在香港发行两期300亿元央票俄外长与美国务卿通话 要求美方撤离驻基辅大使馆人员

    特朗普呼吁多国先签“亚伯拉罕协议” 沙特方面回应

  • 起底一驾校“文盲包过”生意农业大省湖北“战雨”抢收 智慧农机大显身手

    消费新场景活力迸发

  • 闽侨青年精英海丝情活动在福建福州启动恢复开行一年来 中越国际联运旅客列车运送旅客超3万人次

    首破19万车次!深中通道“五一”假期首日车流再创新高

  • 当我们的脸进了AI短剧非洲驻华使团长:非中关系将迎来更加光明的未来

    《诗经》里的荇菜开满南京琵琶湖泛起金色花海

  • (投资中国)全球医疗器械创新中心在上海揭牌AI时代算力命脉由谁掌控

    (滇藏公路50年)探访西藏墨脱珞巴族“乡愁博物馆”

  • 被网暴女干部,这四段视频,让人泪目传承南丁格尔精神 南京医学生“授帽传光”致青春

    U17国足获得亚洲杯亚军

  • “快时代”里的“慢时光”:探访全国仅存的电报窗口第三届中匈青少年国际魔方公开赛哈尔滨分站赛落幕

    中国大陆学者首获英国皇家经济学会终身院士

  • 习近平会见巴基斯坦总理沪指6连阳,创指涨1.45%!逾3500只个股飘红

    专访汶川地震幸存者尚婷

  • 我国首个海上注碳增气技术示范应用工程陆地建设全面完工一部潮汕电影出圈背后是30年的文化托举

    (走进中国乡村)内蒙古大青山“红杏遗村”青年返乡创业引客来

  • 走丢狗狗去派出所偶遇报警主人浙江台州检商协作 为民营经济“撑腰”

    肾结石的种类有哪些

  • 广西自贸试验区首张港澳人才签注落地2025-2026年榨季超124万吨老挝甘蔗经西双版纳入境

    金门:今年已有近六万陆客赴金,99%为个人游

  • 1.73万支团队下沉一线 江西家庭医生贴心守护万家安康男子身体不适坐路边摇椅平静去世

    海南以法治化打造全省统一标准的自贸港“总客服”

  • 铭记百年工运历史 谱写广州工运华章每个人都在抛软件,买芯片

    机构:全球央行政策收紧幅度相当有限

  • 高校生录视频获赞“AI建模脸”出圈2026 AI Partner·北京亦庄AI+产业大会举办

    AI算力产业链正批量“造富”

  • 吃出24块鸡头顾客被免单仍想市监介入多国“洋网红”走进江西庐山白鹿洞书院 感受中国古老书院文化

    阿维塔07L官图发布

  • 以军扩大对黎巴嫩和加沙“双线”军事行动大美边疆看我家丨云南水富:《云水谣》唱响家乡情

    吉林省白山市人民政府副市长刘守春接受审查调查

相关攻略
  • “中国荔乡”广东茂名荔枝迎上市高峰
    2026-11-20 18:12:27
包含 饿了么 的应用集
  • 侨乡青田开启全民健身冰雪嘉年华 点燃春日冰雪热情 东盟秘书长高金洪:RCEP等区域合作框架是稳固的“压舱石” 200余件(套)足球主题文物亮相沈阳再现千年“足”迹
    河南发布农田渍涝和小麦倒伏灾害风险预警
    一架直升机在江西鄱阳县坠落
    146407252173672026-11-20 18:12:27
  • 我国超深层千亿方级页岩气田诞生 从生产尖兵到服务标杆 一名技术专家的“匠心答卷” 天津市视障学生学习资源中心成立
    牛弹琴:韩国赚大了 但大麻烦也来了
    上千万条学生信息被疯狂倒卖
    33133156643462026-11-20 18:12:27
  • 安徽合肥:外国留学生体验冬病夏治 感受中医药文化 荷兰六六民主党全国办公室遭爆炸物袭击 俄乌战争有两个好消息
    过去24小时没有大型商船通过霍尔木兹海峡
    陆军野外应急抢修,出击!
    5447723295135992762026-11-20 18:12:27
  • 作家肖复兴:AI难以代替人类写作 第二十一届台湾人才厦门对接会开幕 美媒:美军正协助船只通过霍尔木兹海峡”
    港媒:美加墨世界杯转播权香港落地
    双十一保价靠谱吗?补贴能否成为拒退理由
    9325767488695342026-11-20 18:12:27
  • 世界市长对话都江堰:千年古堰“因势利导”启迪现代城市治理 【这个城市有点潮】湖北恩施:“天然空调房”里藏着一“夏”清凉 珠江流域成功防御今年入汛以来最强降雨过程
    5月20日央行开展500亿元7天期逆回购操作
    《道路交通事故处理程序规定》将修改 公开征求意见→
    679707394602082026-11-20 18:12:27
  • 习近平会见印度尼西亚总统普拉博沃 中国相机爆火海外的原因是什么 美国纽约一造船厂爆炸致1亡30余伤
    服务保障长江经济带发展 最高检发布白皮书
    有些学校为什么装了空调却不用
    394048830332752026-11-20 18:12:27
  • 美国白宫附近发生两起安全事件 白宫一度短暂封锁 中东战事影响持续 约旦旅游业仍面临挑战 广东将遭遇新一轮暴雨、大暴雨
    南方强降雨持续 各地各部门积极应对
    墨西哥总统感谢中国女保镖
    62312541001792026-11-20 18:12:27
  • 日本在冲绳县实施“陆上总队演习” 总书记的人民情怀丨“涉及老百姓的事情关键在实” “内部渠道”代办入学?假教师骗走13名家长400万元择校费
    赞比亚标准局官员:“中国标准”铁路 助力赞比亚经济提质
    印尼第五届学中文·走进“汉语桥”活动在雅加达举行
    1697970559093318702026-11-20 18:12:27
  • 云南新能源装机首次超过水电成为第一大电源 “生生不息”故宫文创主题展架起中意两国文创设计桥梁 百余位专家学者聚焦欧亚前沿议题 共话地区治理与大国外交
    西摩·赫什:完全知晓破坏\
    五一假期 福州民众体验数字生活
    112278383084712026-11-20 18:12:27
  • “五一”假期首日 广东多项交通数据创新高 净网|拍摄到“野生华南虎”系谣言 国际锐评丨落实元首共识,以新定位开启中美关系新篇章
    何庭波:华为半导体没退 一直在跑道上
    海外联络和交流中心挂牌仪式暨企业出海柬埔寨专题座谈会在五象新区举行
    717725156339712026-11-20 18:12:27
  • 江西赣江上游支流发生超警洪水 浙江义乌市场“小老板”“小采购商”假期“营业” 广东:扭住“五年显著变化”目标要求推进“百千万工程”
    2026“MiC RUN”麦跑儿童赛呼和浩特“绿色”开跑
    受权发布丨中华人民共和国行政复议法实施条例
    496449306195727102026-11-20 18:12:27
  • 百亿资金撬动多领域项目落地 滇港合作迈向“全链条”深度融合 “水运江苏”桨板赛激战无锡惠山 280余名选手逐浪唐平湖 让游客从“看戏人”到“戏中人”:一座小镇的红色文旅“变形记”
    贵州兴义:精酿啤酒出口订单生产忙
    女子骑车被远光灯晃眼撞倒行人逃逸
    34964672728815292026-11-20 18:12:27
  • 国家下达11.99亿元中央预算内资金支持云南医疗卫生服务体系建设 悼念烈士:中国人民不会忘记北约犯下的这一野蛮罪行 上海居民何时能去台湾本岛个人游?国台办回应
    武契奇首次对华进行国事访问 专家:中塞关系迈入崭新阶段
    这封信,写给两位离开五年的老人
    2562451362205288532026-11-20 18:12:27
  • 纪念中英乒乓外交55周年暨青少年乒乓交流活动在伦敦举行 【第九届进博会】华商话进博:这里是“会客厅”,明年一定“再来” 香港赛马会2026年广州市“飞人杯”田径接力赛收官
    国台办发布会 发言人多次驳斥赖清德“台独”谬论
    河南小伙“麦子战歌”灵感源自麦田
    616900202882762026-11-20 18:12:27
  • 洪水没过桥面涌入村庄 私人挖机驰援 壹视界·任仲平文章解读之四 | 基本实现现代化要靠实干 26年前与普京合影小男孩变发福中年
    海南启动防汛防风四级应急响应 连发多个预警
    王沪宁会见孟加拉国外交部长
    670616558107588652026-11-20 18:12:27
  • “村超”全国赛黑龙江省集贤赛区举行开幕式 湖南、广东迎强降雨 自然资源部对两省启动地质灾害防御Ⅳ级响应 闻“汛”而动 协同作战——各地各部门全力做好防汛抗洪工作
    OpenAI创始人跳槽Anthropic
    哈尔滨“剧透”冰雪旅游旗舰景区新亮点
    8622599234816406932026-11-20 18:12:27
  • 欧洲央行:中东战事及美政策加剧金融风险 中国国防部:敦促有关国家停止拉帮结伙搞阵营对抗 肥胖会影响生育力……是真是假?| 谣言终结站
    小米YU7 GT正式发布 售价38.99万元
    西藏昌都卡若区援助尼泊尔吉日市环卫车辆完成交接
    821233907183172026-11-20 18:12:27
  • 刘铮:把每场比赛当作最后一场对待 第21届联合国卫塞节在中国无锡开幕 王沪宁致信祝贺 聚焦全国统一大市场建设 全国无党派人士考察团开展2026年度重点考察调研
    记者直击湖南石门县极端强降雨救援情况
    陕西壶口金瀑飞流
    13574753238232732026-11-20 18:12:27
  • “欧尔班时代”落幕:匈牙利迎45岁新总理,是何来头? 我国建立白名单制度规范医保个人账户使用 湖南省省长不打招呼 随机检查煤矿
    一搭载1700多人的英国邮轮暴发肠胃感染 初步排除汉坦病毒
    直面高温“烤”验 打洛口岸力保农产品顺畅通关
    359989398706736452026-11-20 18:12:27
  • 普京上飞机前依依不舍久久交谈 “(第九届进博会)国际品牌掘金中国“情绪经济”新赛道 中方回应高市在深圳就台湾问题表态
    日立集团已引入优必选工业级人形机器人
    一个昔日国家级贫困县的脱贫经验为何赢得多国官员点赞?
    127480198666452026-11-20 18:12:27
  • 多元融合焕新消费 “电影+”让大银幕有大引力 11月LPR报价出炉:1年期为3.0%,5年期以上为3.5% 广州“花城有囍”集体婚礼传递婚俗新风
    4月中国纺织服装出口环比增长44.7%
    期待!网络文明国际交流互鉴分论坛即将召开
    848649051341112026-11-20 18:12:27
  • 乌无人机原计划攻俄失控进入其他国家 神舟二十三号瞄准北京时间明日23时08分发射 中新健康|北京世纪坛医院院长谈手术机器人能否取代医生
    女子向回收箱投近40斤旧衣提现被拒
    四川成都:夜鹭化身“垂钓者” 上演“守株待鱼”
    57975287681153732026-11-20 18:12:27
  • 【深圳APEC】记者会现场生动一幕!王毅入场响起热烈掌声 ,外长微笑鞠躬回应 塔吉克斯坦总统寄语北大留学生:珍惜在华学习机会 首位台胞获评广西“最美科技工作者”
    东西问|王仕勇:数字时代“华流”为何能在西方“出圈”?
    云冈石窟8个晚期洞窟临时封闭 开展数字化采集
    618923998576352026-11-20 18:12:27
友情链接
  • 在浙江,武契奇谈论了三件事
    2026-11-20 18:12:27
  • “五一”假期中缅边境瑞丽口岸跨境游火热 出入境客流超7万人次
    2026-11-20 18:12:27
  • 拒绝“脆皮” 快来体验顶级藏式养生
    2026-11-20 18:12:27
安卓手机网上最贴心的Android软件应用平台!版权所有:DeepSeek V4最大的遗憾有限公司备案号:京ICP备17065190号-1