猫眼电影记者 石小群 报道w3u7903ejky2ywls

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。

对于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。

并且可直接应用于现有模型（如Qwen-2.5），无需从头训练。

这就是阿里通义团队提出的PARSCALE。

目前LLMs的优化主要有两种思路：参数扩展（如GPT-4）和推理时间扩展（如DeepSeek-R1），但会增加内存和时间成本。

阿里通义团队提出的新范式受CFG（无分类器引导）双路径推理机制的启发。

他们将CFG的并行思想从 “生成阶段的推理优化” 扩展为 “训练和推理全流程的「计算缩放」”。

让我们来扒一扒技术细节。

将CFG的并行思想扩展到计算缩放PARSCALE对于CFG双路径的灵感迁移

CFG 通过同时运行有条件生成（输入提示词）和无条件生成（不输入提示词）两条路径，再通过加权平均融合结果，提升生成质量（如文本相关性、图像细节精准度）。

其核心在于利用并行计算（两次前向传播）增强模型决策的多样性和准确性，而无需增加模型参数。

研究人员观察到CFG的有效性可能源于计算量的增加（两次前向传播），而非单纯的条件引导。

由此提出假设：并行计算的规模（如路径数量）可能是提升模型能力的关键因素，而非仅依赖参数规模或推理时间的串行扩展（如生成更多token）。

CFG用2条并行路径提升性能，PARSCALE则将路径数量扩展为P条（如P=8），并通过可学习的输入变换和动态聚合，使并行计算成为一种可扩展的 “计算缩放” 范式。下图展示了PARSCALE方法。

PARSCALE改进的并行计算框架

1、输入层：可学习的多路径输入变换

核心改进是将CFG的固定双路径扩展为P条可学习的并行路径，每条路径通过可训练的前缀嵌入生成差异化输入。

前缀嵌入生成：为每个并行路径引入可训练的前缀向量（维度与输入嵌入一致），拼接在原始输入前，形成路径专属输入。KV缓存区分：在Transformer的注意力层中，不同路径的键（K）和值（V）缓存相互独立，确保各路径的计算互不打扰，增强输出多样性。

2、计算层：并行前向传播

并行执行：将P个差异化输入同时输入模型，利用GPU的并行计算能力，一次性完成P路前向传播，生成P个输出流。效率优势：通过批量矩阵运算实现P路并行，计算效率随P线性增长，共享模型主体参数，仅增加前缀嵌入等少量可训练参数。

3、输出层：动态加权聚合

通过多层感知机（MLP）动态计算各路径输出的聚合权重，替代 CFG 的固定权重机制：若某路径输出与当前输入语义匹配度高，MLP 会为其分配更高权重。

PARSCALE更高效

PARSCALE vs. 参数扩展

当P=8时，1.6B参数模型在HumanEval的性能（Pass@1=39.1%）接近4.4B参数模型（Pass@1=45.4%），但内存占用仅为后者的1/22，延迟增加量为1/6。

在GSM8K数学推理任务中，P=8使1.8B模型性能提升34%（相对基准），显著高于参数扩展的增益。

两阶段训练策略

阶段1：用传统方法预训练模型至收敛（1Ttokens）。

阶段2：冻结主体参数，仅训练前缀嵌入和聚合权重（20Btokens，占总数据的 2%）。

P=8模型在GSM8K上提升34%，且与从头训练效果相当，证明少量数据即可激活并行路径的有效性。且该策略使训练成本降低约 98%

适配现有模型

研究团队在Qwen-2.5-3B模型上进行持续预训练和参数高效微调（PEFT），仅调整前缀和聚合权重。

结果显示，在代码生成任务（HumanEval+）中PEFT 方法使Pass@1提升15%，且冻结主体参数时仍有效，证明动态调整 P 的可行性。

PARSCALE通过可学习的多路径输入、动态聚合权重、全流程并行优化，将CFG的 “双路径启发” 升级为一种通用的计算缩放范式。

感兴趣的朋友可到官方查看更多细节～

论文链接：https://arxiv.org/abs/2505.10475代码地址：https://github.com/QwenLM/ParScale参考链接：https://x.com/iScienceLuvr/status/1923262107845525660

— 完 —

  时事1：㊙️ThePorn入囗

  06月04日,浙江队外援奥乌苏：中超风格多变 我找到了自己的节奏,

　　柳树新生，再次抽出来四根枝条，迅速成长，很快就达到了数米长，与早先那条一般无二了。

,冷艳高贵的阿姨怀孕小说最新章节。

  06月04日,上海“中华老字号”达197家 居中国各省份首位,

　　今年以来，乡党委、政府在县委的正确领导下，团结和带领广大干部群众以xx大和xx届四中全会精神为指导，深入贯彻落实科学发展观，结合我乡实际，紧紧围绕增加农民收入这一中心，突出结构调整、项目建设、基础设施和新农村建设等工作重点，积极构建和谐社会，全乡经济和社会各项事业呈现出又好又快发展的良好态势。总括起来主要有以下几个方面的进展：一是围绕学习贯彻党的xx大和xx届四中全会精神的要求，以科学发展观为统领，狠抓学习型党组织建设，深入开展创先争优活动，不断破除不适应、不符合科学发展的思想观念，进一步完善发展思路，以开拓创新的精神促进科学发展，在各个方面推出了新举措，取得了新成效。二是发挥资源和环境优势，项目建设工作成效明显。投资3000万元的洁云毛驴养殖及驴肉深加工项目，高台华盛化工有限公司投资500万元的节能环保项目，投资150万元的空心砖生产项目、万丰山煤矿勘探项目正在扎实推进。三是发挥地域优势，狠抓种植业结构调整，在经济作物种植上有了新的进展，四是加大政策引导和扶持力度，整合资源、重点突破，以奶肉牛、肉兔养殖为重点的草畜产业和水面养殖发展势头强劲;以危房改造为重点的新农村建设工作进展良好;以集镇路改造 、乡集贸市场建设为重点的基础设施建设力度大并进展顺利。五是重视解决民生问题，着力促进社会和谐，各项强农惠农政策全面落实，社会各项事业协调发展;坚持和完善“民情”、“法德进家”、“一庭三所联动”等行之有效的矛盾纠纷排查调处机制，群众反映的一些突出问题得到了较好解决，为经济社会发展创造了稳定和谐的社会环境。六是全面加强精神文明建设和党的建设，创先争优活动全面深入开展，党内激励关怀帮扶机制全面落实，公民思想道德教育和精神文明创建活动扎实有效，群众性文化体育活动丰富多彩。始终坚持“抓班子，带队伍，促发展”的思路，加强党的自身建设和队伍建设。继续深入开展了城乡党组织“1+1”结对互帮、积分制管理、承诺制等党性实践活动。建立健全农村干部现代远程教育站点管理制度，规范站点运行程序，达到了干部经常受教育，群众长期得实惠的目的，党建工作水平在创新中不断提高。七是全乡各级干部的精神状态和工作作风进一步提升，乡领导在解决难题，加强督查等方面加大了抓落实的力度，推动了各项工作的有效开展。

,原神同人18❌动漫裸体,kula同人本子,粗大猛烈撞击娇喘呻吟用力。

  时事2：JaPanese熟妇人妻HD

  06月04日,“二月二龙抬头” 来江西滕王阁“剃龙头”,

　　据中国青少年研究中心的全国性大型调查发现，安全事故已经成为青少年儿童的第一杀手。我国每年大约有1、6万名中小学生非正常死亡，平均每一天有40多人，也就是说每一天有将近一个班的学生在“消失”。

,军人被绑就连生殖被榨精,斗罗大陆❌18禁同人游戏,色黄婬乱短篇小说霍水小黄书视。

  06月04日,东西问｜夏冬波：包公文化为何情牵两岸远播四海？,

　　“好吧，既然是孩子的事，我们就旁观好了，不去参合。”云天宫的老人点头道，不再多说什么。

,masterpieces第1~3集,斯嘉丽大尺度无删减视频,国产高潮无码揉胸。

  时事3：美女ghfree黑料社区

  06月04日,韩国在野党向国会报告针对尹锡悦的弹劾动议案,

　　高等院校学生进行军事训练，是、国务院、国家教委做出的具有战略意义的决定，是高等院校教育改革的一项重要措施，是全面提高大学生素质，培养社会主义建设合格建设者和接班人的必修课，是对大学生进行国防教育，培养优良品德的一种重要形式。

,亚洲Av㊙️无码一区二区下载,女女蕾丝互慰吃奶高潮,七海千秋18禁本子。

  06月04日,常昊评汪顺等人模仿花游：给满分！,

　　我国宪法明确规定：“保卫祖国，抵抗侵略是中华人民共和国每一个公民的神圣职责，依照法律服兵役和参加民兵组织是中华人民共和国每个公民的光荣义务”。作为公民，履行国防义务是必须的。参加军训，学习必备的军事理论知识和基本的军事技能，就是履行一个公民的义务和责任。历史告诉我们：“勿忘国耻，强我中华”。我们应当强化国防义务观念和国防法制观念，增强国家利益高于一切的爱国意识，提高保卫祖国、抵御侵略的自觉性，积极参加军训和军事理论学习，一旦祖国需要，就能挺身而出、报效祖国。

,继女调教器材室轮,银狼裸体被❌黄漫,俄罗斯A级毛片BBBBB。

  时事4：我和jk美女❌了一夜视频

  06月04日,中国驻挪威大使馆提醒中国游客注意旅行安全,

　　开辟洞天，进入这个境界，等于是夺了天地造化，不断直接吸收这无尽外界的神之精，补充己身。

,班长露出🐻强行被男生揉动漫,原神❌18禁漫画网站免费,各种姿势顶弄呻吟H漫画视频。

  06月04日,2024年福州新春联欢晚会举行,

　　二要严肃纪律。这次学习安排的内容非常紧凑，大家要排除各种干扰，真正沉得下身，静得下心，把全部精力投入到学习中来。在培训期间，希望大家始终保持积极的精神状态和饱满的学习热情，严格遵守培训纪律和课堂纪律，确保完成学习任务。

,小莹好湿⋯好紧⋯太爽了,XXNX👙23,女同被❌到爆爽。