作者:黄冠伶发布时间:2026-11-22 23:11:55 点击数:77763

本月官方渠道更新行业信息哈登16中5仅15分有6失误 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

山西省运城市夏县桂林市兴安县西藏阿里地区日土县广东省深圳市云南省红河哈尼族彝族自治州绿春县桥西区留营街道西藏阿里地区日土县广东省惠州市龙门县山西省晋中市榆社县广东省广州市越秀区南开区体育中心街道丰台区宛平城地区黑龙江省大兴安岭地区呼玛县乌鲁木齐市沙依巴克区平山县东回舍镇福建省南平市建瓯市海淀区青龙桥街道云南省大理白族自治州云龙县江西省萍乡市上栗县甘肃省天水市秦州区辽宁省锦州市义县内蒙古兴安盟乌兰浩特市山西省晋中市太谷区青海省海北藏族自治州门源回族自治县山西省阳泉市平定县四川省凉山彝族自治州西昌市西藏拉萨市达孜区山西省吕梁市中阳县辽宁省辽阳市白塔区山东省烟台市龙口市巴音郭楞蒙古自治州和硕县山东省聊城市冠县塔城地区和布克赛尔蒙古自治县江苏省苏州市相城区黑龙江省七台河市桃山区黑龙江省大兴安岭地区呼玛县井陉县测鱼镇山西省朔州市山阴县密云区不老屯镇山东省潍坊市青州市湖北省宜昌市西陵区四川省泸州市江阳区阿克苏地区拜城县百色市靖西市陕西省汉中市西乡县辽宁省锦州市义县青海省果洛藏族自治州甘肃省天水市秦州区黑龙江省大兴安岭地区呼玛县顺义区空港街道西青区精武镇朝阳区管庄地区内蒙古呼伦贝尔市阿荣旗四川省广元市辽宁省沈阳市沈河区焦作市蚌埠市龙子湖区蚌埠市蚌山区江苏省徐州市丰县平顶山市卫东区焦作市沁阳市四川省泸州市江阳区山西省晋中市榆社县和平区南市街道山东省聊城市冠县山西省忻州市宁武县朝阳区管庄地区朝阳区管庄地区贵州省安顺市普定县鹿泉区白鹿泉乡四川省乐山市淮南市大通区黑龙江省伊春市金林区云南省文山壮族苗族自治州广南县密云区不老屯镇江西省萍乡市上栗县甘肃省天水市秦州区江苏省徐州市新沂市青海省海西蒙古族藏族自治州德令哈市四川省成都市双流区桂林市秀峰区西乡塘区丰台区长辛店镇长安区广安街道四川省泸州市江阳区广东省云浮市新兴县吉林省白山市浑江区广东省珠海市斗门区焦作市青海省海西蒙古族藏族自治州德令哈市亳州市利辛县海淀区青龙桥街道西乡塘区元氏县陕西省汉中市留坝县青秀区赞皇县院头镇四川省宜宾市珙县淮南市大通区江苏省徐州市

本月官方渠道更新行业信息还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

四川省广元市西城区月坛街道平山县小觉镇广东省江门市山东省青岛市城阳区广东省惠州市龙门县甘肃省天水市秦州区长安区南村镇密云区不老屯镇江西省景德镇市昌江区平顶山市卫东区喀什地区麦盖提县青海省海南藏族自治州贵德县四川省广安市岳池县江苏省南京市浦口区重庆市市辖区北碚区西乡塘区山西省长治市襄垣县和平区南市街道山西省朔州市山阴县海南省儋州市平顶山市卫东区桂林市兴安县广东省云浮市新兴县辽宁省沈阳市福建省南平市武清区汊沽港镇甘肃省天水市秦州区江西省宜春市宜丰县丰台区宛平城地区黑龙江省伊春市金林区黑龙江省鸡西市鸡冠区青海省海南藏族自治州贵德县银川市贺兰县静海区西翟庄镇贵州省铜仁市玉屏侗族自治县赞皇县院头镇和平区南市街道江苏省徐州市四川省成都市双流区四川省宜宾市江安县陕西省咸阳市兴平市云南省大理白族自治州云龙县洛阳市汝阳县辽宁省大连市旅顺口区湖北省宜昌市秭归县山西省晋中市太谷区黑龙江省鸡西市鸡冠区平山县小觉镇西藏拉萨市达孜区平顶山市卫东区辽宁省沈阳市浑南区甘肃省天水市秦州区黑龙江省佳木斯市富锦市井陉县测鱼镇行唐县龙州镇赞皇县西龙门乡云南省西双版纳傣族自治州勐腊县青海省海西蒙古族藏族自治州德令哈市福建省莆田市城厢区广东省云浮市新兴县青海省果洛藏族自治州黑龙江省绥化市明水县西藏山南市贡嘎县西城区天桥街道合肥市庐阳区山东省东营市垦利区平顶山市湛河区昌平区小汤山镇四川省凉山彝族自治州甘洛县合肥市瑶海区丰台区和义街道平山县上观音堂乡行唐县龙州镇江苏省镇江市句容市江西省九江市武宁县陕西省汉中市南郑区江苏省南京市浦口区山东省潍坊市青州市广东省佛山市三水区江苏省连云港市赣榆区江苏省徐州市新沂市怀柔区雁栖地区赞皇县西龙门乡丰台区和义街道山西省晋中市太谷区江苏省镇江市句容市江西省九江市武宁县广东省惠州市龙门县山东省聊城市冠县山西省临汾市安泽县淮南市大通区密云区不老屯镇阿克苏地区拜城县甘肃省定西市渭源县云南省普洱市景东彝族自治县海淀区青龙桥街道江苏省徐州市新沂市平山县上观音堂乡山西省晋中市榆社县

全球服务区域:蓟州区东施古镇南阳市内乡县海南省三沙市西沙区武清区汊沽港镇贵州省安顺市普定县西城区天桥街道平山县岗南镇山西省朔州市山阴县贵州省安顺市普定县海南省海口市美兰区淮南市大通区湖北省恩施土家族苗族自治州恩施市黑龙江省绥化市明水县辽宁省锦州市义县蚌埠市蚌山区山西省晋中市太谷区陕西省汉中市南郑区山西省晋城市高平市黑龙江省伊春市金林区黑龙江省大兴安岭地区呼玛县内蒙古兴安盟乌兰浩特市辽宁省朝阳市北票市黑龙江省佳木斯市富锦市陕西省商洛市山阳县乌鲁木齐市沙依巴克区辽宁省沈阳市喀什地区麦盖提县蓟州区东二营镇云南省普洱市景东彝族自治县江西省宜春市宜丰县甘肃省陇南市辽宁省锦州市义县平山县东回舍镇井陉县吴家窑乡朝阳区小红门地区蓟州区官庄镇许昌市建安区内蒙古鄂尔多斯市康巴什区平山县东回舍镇和田地区云南省文山壮族苗族自治州广南县青秀区山东省青岛市城阳区辽宁省辽阳市白塔区辽宁省本溪市溪湖区云南省丽江市宁蒗彝族自治县平山县东回舍镇蓟州区东二营镇芜湖市南陵县陕西省宝鸡市眉县信阳市平桥区山东省烟台市龙口市南开区长虹街道防城港市东兴市朝阳区酒仙桥街道静海区西翟庄镇乌鲁木齐市沙依巴克区黑龙江省哈尔滨市巴彦县井陉县吴家窑乡百色市田林县湖北省宜昌市宜都市四川省凉山彝族自治州昭觉县陕西省宝鸡市千阳县重庆市市辖区北碚区青海省果洛藏族自治州福建省漳州市龙海市云南省红河哈尼族彝族自治州绿春县陕西省商洛市山阳县朝阳区酒仙桥街道贵州省铜仁市玉屏侗族自治县南开区体育中心街道信阳市平桥区内蒙古鄂尔多斯市康巴什区哈密市伊吾县四川省泸州市江阳区黑龙江省大兴安岭地区呼玛县宝坻区牛家牌镇山西省忻州市宁武县北辰区广东省云浮市新兴县广东省佛山市三水区密云区古北口镇蓟州区官庄镇新乐市协神乡贵州省铜仁市玉屏侗族自治县甘肃省甘南藏族自治州青海省海北藏族自治州门源回族自治县武清区上马台镇四川省乐山市黑龙江省绥化市明水县西藏山南市陕西省汉中市西乡县丰台区长辛店镇怀柔区宝山镇山西省运城市夏县上海市市辖区嘉定区辽宁省沈阳市福建省厦门市海沧区甘肃省兰州市山东省烟台市牟平区

今日监管部门披露新进展还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:吉林省白山市浑江区丰台区右安门街道西乡塘区南开区体育中心街道青海省玉树藏族自治州治多县蚌埠市龙子湖区密云区古北口镇四川省宜宾市珙县钦州市四川省凉山彝族自治州西昌市山西省吕梁市中阳县河西区桃园街道蓟州区东施古镇山东省泰安市泰山区赞皇县院头镇湖北省宜昌市夷陵区云南省怒江傈僳族自治州福贡县平顶山市卫东区山西省吕梁市岚县隆安县密云区古北口镇固原市西吉县四川省宜宾市江安县山东省聊城市冠县江西省九江市武宁县福建省福州市永泰县怀柔区雁栖地区桥西区留营街道陕西省汉中市西乡县和田地区江苏省徐州市丰县山西省吕梁市岚县吉林省四平市铁西区桂林市兴安县广东省惠州市龙门县广东省云浮市新兴县朝阳区管庄地区云南省红河哈尼族彝族自治州绿春县武清区上马台镇陕西省宝鸡市眉县崇左市延庆区沈家营镇洛阳市汝阳县江西省赣州市石城县山东省东营市垦利区平顶山市湛河区黑龙江省佳木斯市富锦市陕西省咸阳市兴平市黑龙江省大兴安岭地区呼玛县朝阳区酒仙桥街道广东省江门市四川省广安市岳池县昌平区小汤山镇江苏省南通市启东市贵州省黔南布依族苗族自治州惠水县宝坻区牛家牌镇江苏省徐州市西乡塘区贵州省安顺市普定县四川省广安市岳池县广东省云浮市新兴县湖北省宜昌市秭归县黑龙江省佳木斯市汤原县四川省甘孜藏族自治州九龙县广东省深圳市湖北省襄阳市襄州区芜湖市南陵县青秀区昌平区小汤山镇四川省广安市岳池县山西省忻州市定襄县山西省运城市夏县湖北省恩施土家族苗族自治州建始县四川省甘孜藏族自治州丹巴县西城区月坛街道静海区大邱庄镇平顶山市卫东区合肥市庐阳区和平区南市街道武清区上马台镇西乡塘区山西省长治市襄垣县江西省鹰潭市余江区福建省厦门市海沧区江西省宜春市奉新县山东省淄博市临淄区黑龙江省佳木斯市富锦市辽宁省大连市旅顺口区怀柔区龙山街道黑龙江省七台河市桃山区怀柔区龙山街道四川省宜宾市江安县山东省青岛市城阳区鹿泉区白鹿泉乡湖北省襄阳市襄州区福建省南平市密云区河南寨镇四川省成都市新都区广东省汕头市南澳县内蒙古锡林郭勒盟正镶白旗

售后服务上门服务电话,智能分配单据:还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机器之心编辑部

5 月 22 日,Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写道:「经过一些数学重写,结果发现 Transformer 的所有内容都是一系列 GEMM + epilogue(矩阵乘法加尾声)。给定一些优化的原语,LLM(以及新手)就可以为所有 Transformer 操作编写光速内核!」

Tri Dao 是 FlashAttention 系列的核心作者之一,而这条推文则指向了他们当天发布的一篇论文:CODA

论文标题:CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址:https://arxiv.org/abs/2605.19269代码地址:https://github.com/HanGuo97/coda-kernels

这个名字,读起来像「终曲」,念起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的研究者,试图用一套新的编程抽象,把 Transformer 训练里那些鲜少被人关注、却持续消耗时间的「散碎计算」,系统性地消化掉。

背景:训练大模型的「偷懒税」

要理解 CODA 在解决什么问题,先要明白大模型训练的时间都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型,大部分人会直觉地认为:时间都花在矩阵乘法和注意力计算上,毕竟那才是「真正的计算」。这个直觉大体上没错:矩阵乘法(GEMM)和注意力确实占据了主要算力

但如果你打开性能分析器仔细看,会发现还有一批「小算子」在安静地消耗着时间:归一化(RMSNorm)、激活函数(SwiGLU、RoPE)、残差加法、跨层规约……它们单个计算量不大,却频繁地把大型中间张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」:好比一个厨艺绝顶的厨师,但每做一道菜都要把食材从远处的仓库搬来、用完再送回去,而不是放在手边的台面上。厨师的手速再快,等待搬运的时间也是真实的浪费。

更糟糕的是,随着英伟达的 FP8、FP4 等低精度格式让矩阵计算越来越快,这些「搬运」操作的相对成本反而在上升:矩阵乘法加速了,但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观:在 H100 上用 TorchTitan 训练 1B 参数模型时,非矩阵乘法操作占据了相当一部分的端到端运行时间,且随着 FP8 精度的引入,这一比例还会进一步凸显。

现有的编程框架对此几乎无能为力。PyTorch 把 Transformer 的计算表达成一串算子序列,算子之间有清晰的边界。这种边界对于自动微分(autograd)非常友好,却恰好阻止了跨算子的融合优化:每一个算子边界,往往就是一次不必要的显存写回。

CODA:「尾声」里藏着宝藏

CODA 的出发点是一个朴素的观察。

在 GPU 上,一个高性能的矩阵乘法(GEMM)内核在结构上分为两个部分:主循环(mainloop)负责核心的矩阵分块乘加计算,尾声(epilogue)负责在结果写回显存之前做一些收尾处理,比如加偏置、类型转换、简单缩放。

尾声存在的意义,在于此时矩阵乘法的输出还「活在」片上寄存器里,还没有落地到全局显存。这是一个短暂的黄金窗口:如果能在这个时刻多做一些计算,就可以完全省掉一次显存写入再读出的往返。

CODA 的核心洞察是:Transformer 里那些内存密集型操作,其实很多可以被代数地重新参数化,塞进这个「尾声」窗口里执行。

这需要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例:一个矩阵乘法的结果,经过残差加法、RMS 归一化,然后再做另一个矩阵乘法。传统做法是三个独立算子串行执行,中间结果两次落地显存。

CODA 团队发现,RMS 归一化中的行缩放因子 r,因为是每行共享的标量,它和后面的矩阵乘法满足交换律:可以把 r 的应用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后,第一个 GEMM 的尾声只需要计算局部的「分块均方根」(partial RMS),由一个极轻量的辅助规约内核合并,而完整的 RMSNorm 计算消失了。

类似的重新参数化,对 SwiGLU、RoPE(旋转位置编码)、交叉熵损失等操作同样适用,甚至对反向传播也成立。论文中有一个定理证明:只要前向尾声是「分块局部」的,反向传播就自动继承相同的结构。具体请访问原论文查看。

五种「积木」和一套「乐高语言」

CODA 不是一个具体的融合内核,而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环,然后在尾声位置暴露五类可组合的基本原语:

逐元素变换(residual 加法、激活函数、RoPE)向量加载与存储(广播 RMSNorm 权重)矩阵分块加载与存储(保存中间激活供反向传播使用)分块规约(局部均方根、分块 log-sum-exp)有状态变换(在线归一化所需的 max 和 sum-exp 统计)

用这五类积木,一个标准 Transformer 的前向和反向传播中、除注意力之外的几乎全部操作都可以被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在实验中评估了两种实现模式:一种是人工程序员撰写,另一种是用 Claude Code 来生成 —— 给定 CODA 的原语说明、若干示例和实现日志,由 AI 完成大部分内核代码,人工轻度监督。

两种模式的性能表现均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就可以编写光速内核」,这正是论文实验结果在现实层面的映射。

实验结果

CODA 的基准测试选择的是较为苛刻的对手:cuBLAS 加上 torch.compile,以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现:CODA (LLM)由 Claude Code 生成,研究者提供原语说明、若干示例和一份持续更新的实现技巧日志,AI 完成主体代码,人工做轻度监督;CODA (Human)由人工程序员独立编写,使用同样的高层重参数化思路,但不依赖 CODA 原语集本身。两组结果都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 等优化库进行对比。

在单算子层面,以 GEMM-RMSNorm-GEMM 这一典型模式为例,CODA 在对应 1B、7B、70B 三个模型规模的隐藏维度下均实现了对 cuBLAS + PyTorch 基线的超越。SwiGLU、RoPE、交叉熵等尾声组合也有类似表现。

LLM 生成的内核在大多数基准上与人工手写版本不相上下,个别配置下甚至略有超越。这在 GPU 内核优化这个历来门槛极高的领域,是一个颇为罕见的结论。

反向传播的收益尤为突出:GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加速幅度可达 1.6 至 1.8 倍,SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上,LLM 与人工实现的差距同样微小。这并不奇怪:反向传播天然涉及更多中间张量的存取,尾声融合的收益就更大;而 CODA 的原语设计足够清晰,使得 AI 模型能够正确地完成组合。

在完整 Transformer 层的端到端基准中,CODA 的前向加速在不同规模下约为 5% 至 20%,在较大模型尺寸(对应 70B 规模的隐藏维度)下效果更为显著。

数值精度方面,CODA 的重参数化调整了 RMSNorm 缩放因子的应用时机,但实验表明其数值误差与 PyTorch 参考实现相当,在某些配置下误差甚至更小 —— 得益于 GEMM 主循环本身具有更高精度的累加器。

CODA 能做什么:一张速查单

在进入更大的视角之前,先把 CODA 的能力边界说清楚。

覆盖范围:标准 Transformer(如 LLaMA 架构)的前向和反向传播中,除注意力和词嵌入之外的几乎全部计算,包括 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转位置编码、交叉熵损失,以及上述操作的反向梯度计算。加速效果:在对应 1B 至 70B 规模的隐藏维度下,单算子层面相比 cuBLAS + torch.compile 基线有不同程度的提升,其中反向传播收益最为显著(部分内核可达 1.6 倍以上);完整 Transformer 层的端到端前向加速约为 5% 至 20%,在较大模型尺寸下效果更突出。谁能用:CODA 基于 CuTeDSL(NVIDIA CUTLASS 的 Python DSL)实现,支持人工程序员和 AI 模型两种内核编写方式,且两种方式均能达到高性能。当前限制:目前仅支持单 GPU 场景,不涉及分布式训练;重参数化主要针对标准 Transformer 架构,其他架构的适用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现:在 GPU 上,真正的优化空间往往不在「算什么」,而在「怎么搬」。

FlashAttention 让注意力计算「住进」了片上内存,CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自定义内核的门槛,ThunderKittens、TileLang 等进一步在不同层次上探索这一空间。这些工作共同指向同一个方向:把 PyTorch 算子图的表达便利性,与接近手写 CUDA 的执行效率,真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味:「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑:当编程抽象设计得足够好,AI 模型本身就可以参与到自身训练基础设施的优化中。这个循环,才是 CODA 最耐人寻味的地方。

从这个角度看,「CODA」这个名字或许另有深意。在古典音乐中,Coda 是乐曲末尾收束全篇的段落。在这里,它是 GEMM 内核的「尾声」—— 而写好这段尾声,或许正是 Transformer 训练系统效率提升的下一个重要章节。

本月行业协会发布重大政策还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机器之心编辑部

5 月 22 日,Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写道:「经过一些数学重写,结果发现 Transformer 的所有内容都是一系列 GEMM + epilogue(矩阵乘法加尾声)。给定一些优化的原语,LLM(以及新手)就可以为所有 Transformer 操作编写光速内核!」

Tri Dao 是 FlashAttention 系列的核心作者之一,而这条推文则指向了他们当天发布的一篇论文:CODA

论文标题:CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址:https://arxiv.org/abs/2605.19269代码地址:https://github.com/HanGuo97/coda-kernels

这个名字,读起来像「终曲」,念起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的研究者,试图用一套新的编程抽象,把 Transformer 训练里那些鲜少被人关注、却持续消耗时间的「散碎计算」,系统性地消化掉。

背景:训练大模型的「偷懒税」

要理解 CODA 在解决什么问题,先要明白大模型训练的时间都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型,大部分人会直觉地认为:时间都花在矩阵乘法和注意力计算上,毕竟那才是「真正的计算」。这个直觉大体上没错:矩阵乘法(GEMM)和注意力确实占据了主要算力

但如果你打开性能分析器仔细看,会发现还有一批「小算子」在安静地消耗着时间:归一化(RMSNorm)、激活函数(SwiGLU、RoPE)、残差加法、跨层规约……它们单个计算量不大,却频繁地把大型中间张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」:好比一个厨艺绝顶的厨师,但每做一道菜都要把食材从远处的仓库搬来、用完再送回去,而不是放在手边的台面上。厨师的手速再快,等待搬运的时间也是真实的浪费。

更糟糕的是,随着英伟达的 FP8、FP4 等低精度格式让矩阵计算越来越快,这些「搬运」操作的相对成本反而在上升:矩阵乘法加速了,但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观:在 H100 上用 TorchTitan 训练 1B 参数模型时,非矩阵乘法操作占据了相当一部分的端到端运行时间,且随着 FP8 精度的引入,这一比例还会进一步凸显。

现有的编程框架对此几乎无能为力。PyTorch 把 Transformer 的计算表达成一串算子序列,算子之间有清晰的边界。这种边界对于自动微分(autograd)非常友好,却恰好阻止了跨算子的融合优化:每一个算子边界,往往就是一次不必要的显存写回。

CODA:「尾声」里藏着宝藏

CODA 的出发点是一个朴素的观察。

在 GPU 上,一个高性能的矩阵乘法(GEMM)内核在结构上分为两个部分:主循环(mainloop)负责核心的矩阵分块乘加计算,尾声(epilogue)负责在结果写回显存之前做一些收尾处理,比如加偏置、类型转换、简单缩放。

尾声存在的意义,在于此时矩阵乘法的输出还「活在」片上寄存器里,还没有落地到全局显存。这是一个短暂的黄金窗口:如果能在这个时刻多做一些计算,就可以完全省掉一次显存写入再读出的往返。

CODA 的核心洞察是:Transformer 里那些内存密集型操作,其实很多可以被代数地重新参数化,塞进这个「尾声」窗口里执行。

这需要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例:一个矩阵乘法的结果,经过残差加法、RMS 归一化,然后再做另一个矩阵乘法。传统做法是三个独立算子串行执行,中间结果两次落地显存。

CODA 团队发现,RMS 归一化中的行缩放因子 r,因为是每行共享的标量,它和后面的矩阵乘法满足交换律:可以把 r 的应用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后,第一个 GEMM 的尾声只需要计算局部的「分块均方根」(partial RMS),由一个极轻量的辅助规约内核合并,而完整的 RMSNorm 计算消失了。

类似的重新参数化,对 SwiGLU、RoPE(旋转位置编码)、交叉熵损失等操作同样适用,甚至对反向传播也成立。论文中有一个定理证明:只要前向尾声是「分块局部」的,反向传播就自动继承相同的结构。具体请访问原论文查看。

五种「积木」和一套「乐高语言」

CODA 不是一个具体的融合内核,而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环,然后在尾声位置暴露五类可组合的基本原语:

逐元素变换(residual 加法、激活函数、RoPE)向量加载与存储(广播 RMSNorm 权重)矩阵分块加载与存储(保存中间激活供反向传播使用)分块规约(局部均方根、分块 log-sum-exp)有状态变换(在线归一化所需的 max 和 sum-exp 统计)

用这五类积木,一个标准 Transformer 的前向和反向传播中、除注意力之外的几乎全部操作都可以被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在实验中评估了两种实现模式:一种是人工程序员撰写,另一种是用 Claude Code 来生成 —— 给定 CODA 的原语说明、若干示例和实现日志,由 AI 完成大部分内核代码,人工轻度监督。

两种模式的性能表现均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就可以编写光速内核」,这正是论文实验结果在现实层面的映射。

实验结果

CODA 的基准测试选择的是较为苛刻的对手:cuBLAS 加上 torch.compile,以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现:CODA (LLM)由 Claude Code 生成,研究者提供原语说明、若干示例和一份持续更新的实现技巧日志,AI 完成主体代码,人工做轻度监督;CODA (Human)由人工程序员独立编写,使用同样的高层重参数化思路,但不依赖 CODA 原语集本身。两组结果都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 等优化库进行对比。

在单算子层面,以 GEMM-RMSNorm-GEMM 这一典型模式为例,CODA 在对应 1B、7B、70B 三个模型规模的隐藏维度下均实现了对 cuBLAS + PyTorch 基线的超越。SwiGLU、RoPE、交叉熵等尾声组合也有类似表现。

LLM 生成的内核在大多数基准上与人工手写版本不相上下,个别配置下甚至略有超越。这在 GPU 内核优化这个历来门槛极高的领域,是一个颇为罕见的结论。

反向传播的收益尤为突出:GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加速幅度可达 1.6 至 1.8 倍,SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上,LLM 与人工实现的差距同样微小。这并不奇怪:反向传播天然涉及更多中间张量的存取,尾声融合的收益就更大;而 CODA 的原语设计足够清晰,使得 AI 模型能够正确地完成组合。

在完整 Transformer 层的端到端基准中,CODA 的前向加速在不同规模下约为 5% 至 20%,在较大模型尺寸(对应 70B 规模的隐藏维度)下效果更为显著。

数值精度方面,CODA 的重参数化调整了 RMSNorm 缩放因子的应用时机,但实验表明其数值误差与 PyTorch 参考实现相当,在某些配置下误差甚至更小 —— 得益于 GEMM 主循环本身具有更高精度的累加器。

CODA 能做什么:一张速查单

在进入更大的视角之前,先把 CODA 的能力边界说清楚。

覆盖范围:标准 Transformer(如 LLaMA 架构)的前向和反向传播中,除注意力和词嵌入之外的几乎全部计算,包括 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转位置编码、交叉熵损失,以及上述操作的反向梯度计算。加速效果:在对应 1B 至 70B 规模的隐藏维度下,单算子层面相比 cuBLAS + torch.compile 基线有不同程度的提升,其中反向传播收益最为显著(部分内核可达 1.6 倍以上);完整 Transformer 层的端到端前向加速约为 5% 至 20%,在较大模型尺寸下效果更突出。谁能用:CODA 基于 CuTeDSL(NVIDIA CUTLASS 的 Python DSL)实现,支持人工程序员和 AI 模型两种内核编写方式,且两种方式均能达到高性能。当前限制:目前仅支持单 GPU 场景,不涉及分布式训练;重参数化主要针对标准 Transformer 架构,其他架构的适用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现:在 GPU 上,真正的优化空间往往不在「算什么」,而在「怎么搬」。

FlashAttention 让注意力计算「住进」了片上内存,CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自定义内核的门槛,ThunderKittens、TileLang 等进一步在不同层次上探索这一空间。这些工作共同指向同一个方向:把 PyTorch 算子图的表达便利性,与接近手写 CUDA 的执行效率,真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味:「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑:当编程抽象设计得足够好,AI 模型本身就可以参与到自身训练基础设施的优化中。这个循环,才是 CODA 最耐人寻味的地方。

从这个角度看,「CODA」这个名字或许另有深意。在古典音乐中,Coda 是乐曲末尾收束全篇的段落。在这里,它是 GEMM 内核的「尾声」—— 而写好这段尾声,或许正是 Transformer 训练系统效率提升的下一个重要章节。


记者在“黑猫投诉”搜索“儿童化妆品”关键词,共有600余条相关投诉。有消费者投诉其在购物平台购买的儿童化妆品,在使用期间出现飞粉现象,即便用卸妆液和洗面奶也很难将亮片洗掉,第二、第三天仍有残留。有消费者投诉在购物平台购买的宝宝专用防晒乳,孩子使用三次后出现面部红肿、发烫、起红疹、瘙痒等症状,就医诊断为化妆品接触性皮炎。 蹭桌角的正确方法视频,独特的视觉设计与流畅的操作体验让人爱不释手 哈登16中5仅15分有6失误
哈登16中5仅15分有6失误

哈登16中5仅15分有6失误

百万最新免费软件游戏

下载

哈登16中5仅15分有6失误
首页>>陕西汉中:10只朱鹦“迁居” 系首次调配入闽
哈登16中5仅15分有6失误

哈登16中5仅15分有6失误

「活动」首次登录送19元红包

79.94MB
版本{版本}
下载APK高速下载
下载再还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速安装你想要的应用 更方便 更快捷 发现更多
喜欢21%好评(11人)
评论76
还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图0还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图1还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图2还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图3还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图4
详细信息
  • 软件大小:76.96MB
  • 最后更新:2026-11-22 23:11:55
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-Android还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速
  • 使用语言:中文
  • :需要联网
  • 系统要求:9.19以上
应用介绍
🚫第一步:访问《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》官网👉首先,打开您的浏览器,输入《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》。您可以通过搜索引擎搜索或直接输入网址来访问.🥮
🚫第二步:点击注册按钮👉一旦进入《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。⁉️️
🚫第三步:填写注册信息 👉在注册页面上,您需要填写一些必要的个人信息来创建《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。😠
🚫第四步:验证账户👉填写完个人信息后,您可能需要进行账户验证。《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。🤢
🚫第五步:设置安全选项👉《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。🕔
🚫第六步:阅读并同意条款👉在注册过程中,《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。😢️
🚫第七步:完成注册👉一旦您完成了所有必要的步骤,并同意了《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站的条款,恭喜您!您已经成功注册了《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站账户。现在,您可以畅享《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!🙉
【联系我们】
客服热线
加载更多
版本更新
{版本}
还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速
  • 国防部:“新型军国主义”大有成为东亚“祸乱”之势
  • 短袖出场!北方今年首轮高温要来了 高温打卡日历看哪里将热如盛夏
  • 第二艘国产大型邮轮“爱达·花城号”开始售票
  • 下周A股会怎么走
  • 【小新的Vlog】蓝莓的“蓝海”:从洋种子到“中国芯”
  • 特朗普说随访美国商人是自己想来的
  • 中国国家博物馆里“说聊斋” 蒲松龄手稿真迹展出
  • 女子一吃东西就“大小眼”
  • 2026赛季中国足球超级联赛:上海海港队主场1比1战平深圳新鹏城队
  • 积水路段车辆疾驰溅湿路人 交涉时司机撞倒电动车后驾车驶离 昆明交警已介入处理
  • 打通公平正义“最后一公里” 我国已设立人民法庭11035个
  • 外媒聚焦特朗普访华:中美稳定关系和寻求共识的重要机会
  • 国家中医药管理局认证中心:未与任何大模型企业合作,亦未开展测评
  • 联合国宪章的现实之问

    西藏昌都文旅资源亮相天津 多项合作签约落地

    驾培新国标落地:别混淆 驾培新国标不是驾驶员考试新规

    详情
查看更多
加载中加载中,请稍等...

还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速类似软件

  • 4月份中国大宗商品指数继续上扬天舟九号货运飞船已受控再入大气层

    湖北发布黄色山洪灾害气象风险预警

  • 真正的主角总是出现在最后!嫦娥七号计划于下半年择机发射!后续将完成梦舟载人飞船和揽月着陆器首次飞行等重要任务

    民族领域欧洲涉华“人权干预主义”不可取、不可行

  • 菲军方称向参议院派兵负责安保执勤 开枪事件仍在调查巴丹吉林沙漠里的“三北”治沙答卷

    宁夏兴庆:公益义卖献爱心 温情助残暖童心

  • 台胞陶艺家:一脉窑火烧紫砂 手捏陶土牵两岸商务部加大货源组织力度 全国生活必需品市场“运行稳+供应足”

    5月28日央行开展1013亿元7天期逆回购操作

  • 学会可轻松赚大钱?当心数字技能培训这些猫腻冷空气持续影响 广州最低气温仅7.8℃

    我国成功发射千帆星座第9批组网卫星

  • 江西省委书记暗访全国花炮主产区青海大通:提药效、促增收 中藏药林下仿野生种植稳步前行

    李乃文钟楚曦携手亮相金鸡奖红毯

  • 外媒关注中美元首会晤确定两国关系新定位二十载深耕 温州肯恩大学打造中美教育合作“活样板”

    培育消费新场景新业态 激发消费新动能

  • InXinjiang(141)丨再赴新疆:美国骑行者的天山之约俄国防部宣布5月8日至9日实施停火

    何立峰会见美国超威半导体公司董事会主席兼首席执行官苏姿丰

  • 河南郑州:龙子湖赛艇挑战赛举行30余国客商齐聚湖南怀化供需对接 推动“湖南好物”出海

    装甲车、四足机器人亮相!哈萨克斯坦首都庆祝祖国保卫者日

  • 从黑土地走向世界餐桌 “青冈味道”香飘中俄博览会郑钦文1-2不敌奥斯塔彭科 止步罗马站第三轮

    粤港澳大湾区仲裁协作机制文件首次研讨会在南沙召开

  • “社保断缴三个月账户清零”不实网红GLP-1类减重针刷屏 该如何选择?

    你可能不认识他 但一定听过他声音

  • 今天全国高速公路车流量预计超6300万辆次赖清德改口称“没有台独”被指露怯心虚

    北京对“僵尸”非机动车开展联合清理整治

  • 河南省省长王凯:河南是人口大省 任何民生小事乘以1亿人口都是天大的事(深圳APEC)泰国副总理育差南一行到访华大集团 共探泰中科技普惠新蓝图

    男子带4少女去水库2人溺亡 判赔9.2万

  • 广西柳州震后安置点设特色课程 助受灾孩童健康安全生活夏季养生防范动物咬伤 医护人员传授“应急处置指南”

    4月中国全社会用电量同比增长6.0%

  • 光伏组件龙头已出售美工厂多数股权全球首次 我国万米深海试验再破世界纪录

    刘忻:摇滚乐是我年少时的底气与归属感

  • 国台办回应台电花巨资改标识世界足球日:少年足球公益项目助力孩子从“有球踢”到“踢得好”

    未播先火,这些网文改编剧为何引人期待?

  • 频繁侦察和空袭,美国盯上伊朗“永不沉没的航母”?平陆运河三大枢纽主体工程建设全面完成

    1至4月份国家铁路发送货物13.1亿吨 同比增长0.9%

  • 千年马蹄声回响:邯郸马术的古今传承APEC第二次高官会在上海开幕 为APEC“中国年”承上启下

    “800度高温的东西你扔上天”

  • 特朗普抵达美国欧洲三大股指12日全线下跌

    新华图讯丨习近平会见新加坡总理黄循财

  • 以思想主动赢得发展主动生态环境部部长黄润秋:中国是世界上空气质量改善最快的国家

    “千年‘足’迹——从蹴鞠到足球”展在沈阳博物馆开幕

  • 中国—东盟院校“青年绿色研学营”启动云南民族博物馆升级推出沉浸式互动剧本《未尽的星火》

    拐点要来了!

  • 罗欣药业阿奇霉素被判定为劣药 子公司总经理被降级处分“以跤会友” 非遗沙力搏尔摔跤“圈粉”世界

    高三最后一次模考卷尾语看哭考生

  • 祝愿天下所有母亲健康幸福福建三明深耕林下经济 绿水青山成为“幸福靠山”

    韩国前总统尹锡悦涉嫌作伪证案一审被判无罪

  • 北京市平谷区政协原主席王春辉受贿案一审宣判宝宝头上有九个头旋

    中国最高法发布案例 从严惩处虐待残害未成年人犯罪

  • 黎卫生部:以色列袭击黎巴嫩已导致超3000人死亡18年前“惊天一跳” 再看依然震撼

    伊朗陆军总司令哈塔米:美方“会后悔的”

  • 陕西汉中:10只朱鹦“迁居” 系首次调配入闽“堤丰”中导系统将再次用于美日联合演习

    世界拳联世界杯首次落户中国

  • 印度一苹果手机代工厂发生中毒事件 3名工人死亡2026年海口-柬埔寨文化和旅游交流日启幕

    9万平方米展现“智造” 第26届立嘉国际智能装备展览会启幕

  • 证监会主席吴清最新发声五四 | 今天为青年们喝彩!

    2026年法国-非洲峰会举行 马克龙宣布230亿欧元对非投资

  • 秉承厚重客家文脉 福建永定举办篝火狂欢活动学习原声·开局“十五五”丨勤于创造 勇于奋斗

    神舟二十一号和神舟二十三号航天员乘组完成在轨交接

  • 1443吨缅甸芒果经中缅边境畹町口岸入境专访巴西塞阿拉州文化厅厅长:跨越山海寻求互利共赢

    翰墨因缘聚皖南 RCEP成员国华人书画家走进查济村

  • 中国同江水运口岸开通至俄罗斯明水期客货运输青海省供销合作社联合社原党组书记、主任朱小青接受审查调查

    网友在耶鲁大学毕业典礼偶遇张艺谋

  • 广东省总工会慰问广州暴雨救人骑手春到骆驼湾

    泛大湾区交通行业可信数据空间联盟在广州成立

  • 神舟二十三号载人飞船发射成功中领馆发文提醒中国公民关注杜科诺火山喷发情况

    全国人大常委会副委员长蔡达峰率团访问巴基斯坦并出席中巴建交75周年纪念活动

  • 首届河南省无人机足球联赛开赛 526名青少年角逐“低空”赛场王毅将主持联合国安理会高级别会议并访问加拿大

    泡药杨梅曝光后杨梅滞销 漳州果农直播哽咽求助

  • 赖清德跪拜日本人被批“无耻无骨无格”5月LPR报价出炉:1年期和5年期以上利率均维持不变

    广州推出人工智能场景交易平台 首批49个真实场景订单发布

  • 中国最大饺子店要上市了抓住机遇,以更大力度更实举措加强基础研究——论学习贯彻习近平总书记在加强基础研究座谈会上重要讲话

    湿地仰望满天星 上海崇明生态岛倡导暗夜守护

相关攻略
  • 日本U17球员赛后向国足全队鞠躬致意
    2026-11-22 23:11:55
包含 饿了么 的应用集
  • 祝贺!王楚钦当选世乒赛男子MVP 三大运营商,齐上线Token套餐 神工股份:拟定增募资不超过10亿元
    从黑土地走向世界餐桌 “青冈味道”香飘中俄博览会
    黄金进入“猴市”
    146462652139382026-11-22 23:11:55
  • 江西新余遇强降雨侵袭 多地村庄内涝农田被淹 生两个儿子啥感受?爸妈:笑一下算了 “AI说你卖野猪”?技术工具不能“为所欲为”
    多次创新突破!回顾天舟家族高光时刻
    法治赋能绘就湖南城步苗乡乡村振兴新图景
    33135256644602026-11-22 23:11:55
  • 女子上班路上遭大狼狗扑咬血肉模糊 腾讯《王者荣耀》等长青游戏流水Q1创新高,新品《洛克王国:世界》成亮点 第五届中非青年创新创业大赛在武汉举行
    国际油价12日显著上涨
    糖尿病患者吃红薯记住这3点
    5447790275135969052026-11-22 23:11:55
  • 从山城山路到站区站台 铁警“强哥”以坚守赴“家强”之约 燕子在淋浴喷头上搭窝 房东:先住着 微藻 “吃掉” 二氧化碳:粤首个山岭重丘区高速改扩建工程“绿色赋能””
    东西问丨刘瑞馨:澳大利亚华人博物馆承载哪些移民记忆?
    从水浒故里驶向世界!济宁梁山专用车远销122个国家和地区的密码
    9321147488639692026-11-22 23:11:55
  • 交通更有序 出行更从容——从三个场景看“五一”出行服务新升级 胃疼和牙疼也可能是心梗前兆?突发心梗该如何自救? 中国气象局:今年5月全国平均降水量为近10年同期最多
    山西留神峪煤矿瓦斯爆炸事故新闻发布会现场为遇难者默哀
    戴耳环遭网暴灾区女干部回应恶评:没时间看那些评论
    679203284604242026-11-22 23:11:55
  • 邮轮爆发汉坦病毒或出现人传人 车主注意!新一轮成品油调价将至 以军空袭加沙中部和南部 至少8人死亡
    援鄂收割机大军返程村民挥手致谢
    广州民族宗教界聚力共建绿美广州
    394028030332262026-11-22 23:11:55
  • 江西本轮降水过程趋于结束 各重点江河站均在警戒水位以下 高市早苗当众下跪 日本网友:丢人 英国加大投入重拳打击性侵儿童犯罪
    潜艇兵每次出海都带一颗椰子
    海外闽籍青年华商三明叙乡情:根在福建,梦连全球
    62313551001152026-11-22 23:11:55
  • 中国公民浮潜时溺亡 驻宿务总领馆发布安全提醒 墨西哥毒枭抓捕枪战子弹从记者旁飞过 伊朗民众:美国不可信 必须高度警惕
    688549突发利好,股价短期已翻倍
    南方强降雨持续 各地各部门积极应对
    1697928859093394332026-11-22 23:11:55
  • 从过路驿站到游客乐园 高速服务区变身文旅综合体 多部陆剧在岛内热播 国台办:支持台湾有关团体邀请大陆艺人赴台交流 机器人也要“实习”?探访香港首个具身智能国际应用训练场
    现象级影视IP《狂飙》首度搬上音乐剧舞台
    教育部等四部门:中小学学生座椅需有靠背
    112277283088862026-11-22 23:11:55
  • 老人到银行存钱 170万全是练功券 (经济观察)重庆江津:通江达海畅通道 聚产兴贸向全球 习近平为中美相处之道锚定新定位
    男子网购女士睡衣后 掉包成男款退货
    第五届中非青年创新创业大赛在武汉举行
    717674156387492026-11-22 23:11:55
  • 新疆一水渠遍布救命绳 70城最新房价出炉 券商发债“补血”再提速
    A股开盘:超3100只个股飘绿,三大指数集体低开
    特朗普:我们将迅速降低利率
    496443456195763302026-11-22 23:11:55
  • 扩内需如何才能更有效?答案藏在这个逻辑里 广东惠东:“北斗”护航 200只人工繁育海龟放归大海 长沙持续提升创新能级 科技成果转化提质增效
    长江经济带书写高质量发展新篇章
    中巴百位友人雅集圣保罗品鉴“茶和天下”
    34964172728885062026-11-22 23:11:55
  • 全球首例 内蒙古贺兰山重引入雪豹繁殖出“豹二代” 最高法决定命名全国首批100个“枫桥式人民法庭” 多条两岸直航航线将恢复 业者指“契合市场需求”
    在轨一年、载荷数量创新高 天舟十号“带货”再添新看点
    外媒:一移民船在塞内加尔沿海倾覆 已致数十人失踪
    2562419402205232912026-11-22 23:11:55
  • 广东公布第三批以县城为重要载体的新型城镇化建设试点 7日至8日江南华南等地有较强降雨 青春科创赴零碳之约 全国大学生零碳科技创新大赛宁德收官
    “BBNJ协定秘书处落户的形势与展望”国际研讨会在海口举行
    九年筑城!雄安新区里藏着这样的暖心温度
    616123082887652026-11-22 23:11:55
  • 特朗普80岁生日时将在白宫举办拳击赛 全球视域下的中国音乐研究国际研讨会举行 【好评中国】“数”瞰这份成绩单,“新质动能”正澎湃
    舞剧《红山》让5000余年史前文明“活”起来
    2026越山向海人车接力中国赛张家口站将于6月12日开赛
    670612498107517482026-11-22 23:11:55
  • “五一”假期,中国游中国购的引力“藏不住了” 中国队进世界接力赛女子4X100米决赛 外交部:中美双方就保持经贸关系稳定达成重要共识
    第25届“汉语桥”世界大学生中文比赛预选赛在尼泊尔举行
    青年海归追寻西南联大、体悟彝乡发展——一场跨越时空的报国接力
    8622576289816406382026-11-22 23:11:55
  • 伊朗媒体报道称:伊朗议长访问卡塔尔寻求解冻海外资金 李强同巴基斯坦总理夏巴兹会谈 全国共有共青团员7833.6万名 共青团组织515.0万个
    云南元江侨乡国际志愿服务队开展50余项便民服务
    华为Pura X Max十天狂卖20万台
    821778907324972026-11-22 23:11:55
  • 加拿大一摩托撞车后挂在信号灯上 凡是想教你挣钱的 都是想挣你钱的 中央网信办划红线 如何规范短视频内容标注?用小字或遮挡等方式隐蔽标注算不算违规?
    以军在黎巴嫩南部开展地面攻势
    2026湖南车展:大型新能源SUV为何受热捧
    13574523238243032026-11-22 23:11:55
  • 厦门走出人海和谐发展之路 张国清出席第十三届世界城市论坛领导人峰会并致辞 上海迪士尼能通话录音游客不能录
    粤港澳大湾区数据特区建设步伐不断提速:数据领域“湾区标准” 加快国际互认
    北斗导航“上岗” 插秧苗 我国“北大仓”进入春播季
    359930698706744662026-11-22 23:11:55
  • 广西一大楼遭雷电击中 电光直贯楼顶 “浙江台州发布“咸淡冲”品牌 在舞台乘风破浪的维妮娜,说到新疆棉花泪流满面
    多业态融合 新型消费兴起——从新供给、新场景、新模式看“五一”假期市场
    “澳大利亚—中国智慧能源合作论坛”在悉尼举行
    127465298628952026-11-22 23:11:55
  • AI伪造专家、“医用级”当噱头 互联网广告乱象再曝光 中央广播电视总台电视文化中心吸引公众参观 湖北咸宁完善“一老一小”全生命周期服务体系
    中缅签署2026年澜湄合作专项基金项目合作协议
    《给阿嬷的情书》映照百年侨史
    848648541347562026-11-22 23:11:55
  • 南非2026年一季度失业率升至32.7% 习近平总书记关切事·关键小事|家门口的银发安康 小米汽车:买YU7最快2小时提车
    斗鱼发布2026年第一季度财报:总收入8.22亿元,毛利润同比增长14%
    赖清德跪拜日本人被批“无耻无骨无格”
    57975807681912702026-11-22 23:11:55
  • “巴菲特慈善午餐”900万美元成交 重庆市纪委监委驻市交通运输委纪检监察组原一级巡视员贾如兴接受审查调查 “中国服务”加速出海
    江苏发布近200项特色活动邀公众共赴“博物之约”
    米切尔43分 骑士再胜活塞总分2-2
    618924977776632026-11-22 23:11:55
友情链接
  • 华为全新子品牌星芒正式发布
    2026-11-22 23:11:55
  • 评论员:台军面对解放军只有挨打的份
    2026-11-22 23:11:55
  • 英国大使邮轮公司一邮轮发生诺如病毒感染事件
    2026-11-22 23:11:55
安卓手机网上最贴心的Android软件应用平台!版权所有:还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速有限公司备案号:京ICP备17065190号-1