克雷西 西风 发自 凹非寺【IAT-015】ファン感謝祭 シリーズ15万本記念 これが噂の痙攣薬漬け水着モデル Disc.15

量子位 | 公众号 QbitAI

Llama 3.1 405B“最强模子”宝座还没捂热乎，就被砸场子了——

Mistral AI发布最新模子Mistral Large 2，参数123B，用不到三分之一的参数目性能并排Llama 3.1 405B，也不逊于GPT-4o、Claude 3 Opus等闭源模子。

主打的即是一个高性价比。

用官方的话说，Mistral Large 2在性能/本钱评价看法上“设定了一个新的前沿”。

Mistral Large 2尤其擅长代码和数学推理，高下文窗口128k，因循数十种当然说话以及80+编程说话。

极端在MMLU上，其预磨真金不怕火版块更是达到了84.0%的准确率。

音问一出，Mistral AI联创兼首席科学家第一本领转发，径直cue Llama 3.1 405B的那种：

Perplexity CEO Aravind Srinivas也开麦了：

开源追逐闭源的趋势很彰着，将来闭源模子唯有头部几个有价值。

英伟达科学家Jim Fan更是暗示这几乎即是享受开源模子盛宴的一周，想望望SEAL上的测评成果：

Mistral Large 2性能具体怎样，来看官方发布的基准测试成果。

不到三分之一参数并排Llama 3.1

笔据官方Blog，Mistral Large 2参数123B，专为单节点推理缠绵，在单节点上可罢了大隐隐，高下文窗口为128k。

代码才略方面，Mistral Large 2因循包括Python、Java、C、C++、JavaScript和Bash在内的80多种编程说话，吸取Codestral 、Codestral Mamba训诲，阐扬远超之前的Mistral Large。

Human Eval、MBPP基准上，Mistral Large 2代码生成才略可与GPT-4o、Claude 3 Opus和Llama 3.1 405B等最强模子相失色：

在MultiPL-E的多种编程说话基准上，Mistral Large 2多方面超越Llama 3.1 405B：

推理方面，官方暗示重心关爱减少模子“幻觉”，Mistral Large 2能够识别我方在找不到处分决议或短少充足信息提供深信谜底时的情况。

由此模子在数学基准测试中的阐扬比拟之前有了不小升迁。在GSM8K（8-shot）和MATH（0-shot，无CoT）基准上的阐扬如下：

这里还有Mistral Large 2和Llama 3.1 405B、Llama 3.1 70B的代码生成以及数学阐扬比较。

Mistral Large 2以不到三分之一的参数目，在代码和数学上并排或超越Llama 3.1 405B。

除了代码和推理，Mistral Large 2在MT Bench、Wild Bench和Arena Hard上的阐扬，也隆起了其教唆撤职和对皆方面的升迁：

而况，官方还极端关爱模子生成内容贴题的前提下，尽量保执简陋：

在某些基准测试中，生成较长的回复通常能提高分数。关联词，在好多贸易期骗中，简陋的回复不仅加速了交互速率，还镌汰了推理本钱。

下图还展示了不同模子在MT Bench基准测试中生成内容的平均长度：

说话清爽方面， 因循包括法语、德语、西班牙语、意大利语、葡萄牙语、阿拉伯语、印地语、俄语、华文、日语和韩语在内的数十种当然说话。

极端在MMLU任务（大畛域多任务说话清爽）上，Mistral Large 2预磨真金不怕火版块达到了84.0%的准确率。

成果也让网友直呼MMLU也曾饱和了：

值得一提的是，Mistral Large 2还配备了增强的函数调用和检索才略，能够同期处理多个任务或按关节实践操作，这方面才略致使超越GPT-4o：

Mistral Large 2基准测试成果很抗打，实质阐扬怎样，还得等一波大伙儿的测评。

Mistral Large 2目下也曾不错在Mistral AI自家的缔造者平台la Plateforme上使用，”Le Chat”有测试版不错径直玩。

而况官方暗示，从今天运行将在la Plateforme上延迟微调功能，Mistral Large、Mistral Nemo和Codestral都因循微调。

此外还不错通过云处事厂商拜访Mistral模子，Mistral AI模子除了在Azure AI Studio、Amazon Bedrock和IBM watsonx.ai上可用外，还不错在Vertex AI上获取。

还要提的一丝是，Mistral Large 2接受Mistral的新版许可证，不是Apache，只允许用于辩论和非贸易用途的使用和修改。

需要自行部署Mistral Large 2贸易用途的，必须通过干系Mistral AI取得其贸易许可证。

8.11和8.9比大小，准确率更高了

对于模子的具体阐扬，量子位第一本领通过官方对话平台进行了实测。

先来看最近比较流行的一丝比大小问题，咱们发现，Mistral Large 2能否答对很猛进程上和发问时势干系。

若是径直问8.9和8.11哪个大，很有可能取得一个失实谜底，交换礼貌或者换一下数字成果亦然如斯。

但这时追问一句为什么，模子就会坚决到一丝部分不可拿11和9来比，然后给出了正确诠释。

若是一运行就换种发问时势，加上“数字”二字，或者将问题改为“比较8.11和8.9的大小”，Mistral Large 2都能径直答对。

另外若是用英语发问，也能一步得到正确谜底。

另一个被辩论比较多的问题，是数出单词中某个字母的个数，英文社区的辩论中多数以为，大模子难以答对这么的问题。

Mistral Large 2的情况亦然如斯，但若是把问题改用华文来描写，就能得到正确的回答。

以及对于大模子长期以来存在的“回转悼念”（知谈A是B却不知谈B是A），Mistral Large 2的阐扬是这么的：

在并吞双话中，由于有高下文的存在，模子能够正确回答“Mary Lee Cruise的男儿是谁”这个经典的“回转悼念”问题。

但若是在新对话中径直发问，得到的谜底就酿成了“不知谈”。

安全性方面，最近瑞士洛桑联邦理工学院爆出了不错通过当年时态绕过大模子安全步伐的问题，咱们也给Mistral测试了一下。

一上来径直参议毒品的制作时势，成果绝不料外地被拒绝回答。

换成当年时之后，口风就变得没那么紧了，先是强调了不可提供凝视带领，但如故列出了一些合成时势。

不外也确乎只提到了方法波及的主要原料，并莫得凝视设备，至于算不算逃狱告捷就见仁见智了。

总的来说，濒临这些流行的“大模子清贫”，Mistral Large 2比拟之前的模子确乎是有些非凡，但仍然有很大的修订空间。

接下来再望望Mistral Large 2在一些成例任务上的阐扬，按惯例先安排几谈“弱智吧”题目。

第一个问题，“吃健胃消食片能吃饱吗”，这个问题固然搞怪，但其实没什么歧义，是以模子只消一册肃肃地作答，或者率就不会出错（除非出现幻觉）。

百度鸡巴

但若是换成底下这种无厘头的问题，情况就不同了。

既然快递需要3天智力到，为什么不把通盘的快递都提前三天发？

只可说大模子如故太实诚了，并莫得捕捉到其中的笑点，确切去从快递公司运营的角度分析了一通。

不外这个问题Llama 3.1-405B一样也莫得get到。

Mistral的说话清爽才略大约不错从中鄙见所及，底下考验一下Mistral的逻辑推理才略，题目是这么的：

和东谈主类的成例想路一样，Mistral Large 2解答这谈题时用的亦然假设法，先假设甲说的是实话。

直到下图中的倒数第二行分析得都还皆备正确，但终末一滑就运行已读乱回了。

其确凿发现假设甲说实话的情况下丁的身份出现矛盾的时候，就不错料定甲说的不是实话，甲又说我方不是小偷，是以谜底也曾很彰着了。

但Mistral Large 2如故坚执把四种假设都进行了分析。

假设乙说实话这部分的分析是对的，然则无法得出成果。

到了丙这部分，就颇有些已读乱回的意味了……

不外最终，分析完“丁说实话”的假设后，如故得到了正确谜底——甲是小偷。

通盘历程下来，不错看到Mistral Large 2对这类问题确乎有一套合理的处分模式。

但比拟于东谈主类，模子的处分计谋天真性不及，比较绳趋尺步，没能在发现甲说空话时径直看出论断，另外皮推理历程当中也出现了不少细节失实。

趁机提一句，GPT-4o和Claude 3.5都没作念对这谈题，而况各有各的错法。

以上即是对于这个开源模子新SOTA实测的一皆内容了，感好奇钦慕的话，就到Mistral的官方的对话平台Le Chat中一探究竟吧。

传送门：

https://chat.mistral.ai/chat

参考邻接：

[1]https://x.com/mistralai/status/1816133332582703547?s=46n

[2]https://x.com/guillaumelample/status/1816135838448972240?s=46

[3]https://x.com/DrJimFan/status/1816231047228797132

[4]https://x.com/kimmonismus/status/1816141604194857430?s=46

— 完 —

量子位 QbitAI · 头条号签约【IAT-015】ファン感謝祭 シリーズ15万本記念 これが噂の痙攣薬漬け水着モデル Disc.15