rio柚木提娜 微软出招！新模子数学超GPT-4o编程胜Llama3.3，检修新范式引热议：midtraining

OpenAI 谷歌天天刷流量，微软也坐不住了rio柚木提娜，推出最新小模子 Phi-4。

参数目仅 14B，MMLU 性能就和 Llama 3.3/ Qwen2.5 等 70B 级别大模子坐一桌。

数学智商上，Phi-4 在好意思国数学竞赛 AMC 10/12 上朝上了 GPT-4o 等一众大模子，分数冲上 90。

编程智商亦然开源模子一流，朝上了 70B 的 Llama 3.3 和 72B 的 Qwen 2.5。

更引起热议的是，微软在技能阐述中还提议了一个新的检修范式——midtraining。

这一举动让 Phi-4 领有了更强的长文本管明智商，窗口长度达到 16K 后，调回率依然保捏在 99%。

小模子挑战复杂推理

在常见基准测试中，Phi-4 获取了优异的文本顾问和复杂推理水平：

在 MMLU 上，Phi-4 以 84.8% 的准确率朝上了 GPT-4o-mini 的 81.8% 和 Llama-3.3 的 86.3%；

在有计划生水平 STEM 问答 GPQA 上，Phi-4 准确率达到 56.1%，高于同尺寸模子 Qwen-2.5 的 42.9%，以至朝上了 GPT-4o 的 50.6%；

在数学测试集 MATH 上，Phi-4 以 80.4% 的准确率朝上 GPT-4o-mini 的 73%，并接近 GPT-4o 的 74.6%；

编程智商方面，Phi-4 在 HumanEval 上以 82.6% 朝上了其他开源模子，以及 GPT-4o-mini。

在难度稍高的 MMLU 和 HumanEval+ 上，Phi-4 的通晓也朝上了其他开源模子；在 ArenaHard、LiveBench 和 IFEval 上则通晓欠佳。

淫乱电影

另外，微软还用里面的基准 PhiBench 对模子智商进行了更全面的评估，已毕 Phi-4 获取了 56.2% 的轮廓得分，展现出在推理、学问、编程等方面的全面智商，但比较于 Qwen 2.5-72B 等模子，如故显现了有待提高之处。

在 Phi-4 的宣传页中，微软还展示了其在一个具体的数学推理题目上的通晓。

Phi-4 相等有档次地琢磨了多样可能出现的情况，并策画出了正确谜底。

除了这些旧例智商，微软团队还有意在长文本上测试了 Phi-4 的通晓。

在 8K 和 16K 两种窗口长度中，有计划团队运用 HELMET 基准评估了 Pho-4 和其他模子在 RAG、QA 问答、长文本摘录等任务上的水平。

已毕，Phi-4 在多个任务上与同尺寸的 Qwen 2.5-14B 十分，部分标的还可与 70B 的 Llama 3.3 一决高下。

不外，Phi-4 在某些任务（如 RAG 和文档排序）上，仍有进一步普及的空间。

不同于一般大模子的预检修 + 后检修的两阶段形态，微软在两个阶段中间新加入了一个 midtraining 阶段。

在 10 万亿 tokens 规模的预检修完成后，Phi-4 不错顾问 4k 长度的高下文窗口，而 midtraining 的观点是在此基础上进一步将窗口长度普及到 16k。

有计划团队发现，自然的长高下文数据（如完好的学术论文）比东说念主工拼接短样本更有意于检修长高下文智商。

因此，团队从学术著作、竹帛、代码库等高质料非合成文本中筛选出长度大于 8K tokens 的样本行为检修集，而况对长度朝上 16K tokens 的样本进行加权，以匹配标的长度。

为进一步丰富长高下文检修数据，有计划团队有意生成了称心大于 4K 长度条目的新合成数据，与实在长文本数据共同构成了 midtraining 阶段的数据集。

最终，midtraining 阶段的数据包含 30% 新引入的长文本数据（筛选 + 合成）和 70% 预检修阶段的历史数据，规模为 2500 亿 tokens。

同期，为了相宜 16K 的长序列检修，有计划团队将 rope 位置编码的基频从预检修阶段的 2K 扩大到 250K；同期，为保证检修结识性，团队将学习率镌汰为预检修阶段的十分之一。

最终，Phi-4 在 HELMET 等长文本基准测试中通晓出色，证明了 midtraining 阶段的灵验性。

除此除外，在后检修阶段，有计划团队还提议了一种新颖的对比学习步伐——枢轴 tokens 搜索（PTS）。

通过识别对模子输出影响最大的要津 tokens，并围绕它们构造正负样本对，PTS 不错生成高信噪比的对比学习数据，显贵普及检修服从和成果。

除了 PTS 生成的对比学习数据，有计划团队还引入了东说念主类响应对比学习（Human Feedback DPO）。

他们招募了大批东说念主员对模子输出进行评判，并据此构造优质的正负样本对，使得模子愈加面对东说念主类偏好。

One More Thing

不外 midtraining 并不是微软初次提议，早在 7 月份，OpenAI 就如故启动为伦敦的 midtraining 团队招东说念主了。

论文地址：

https://arxiv.org/abs/2412.08905

—  完  —

点这里� � 宥恕我，谨记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~