剪辑：剪辑部

【新智元导读】马斯克xAI的多模态模子Grok-1.5V横空出世了！不仅多项基准测试杰出GPT-4V，而且看懂梗图写Python代码也都不在话下。而况，为了评估模子对于信得过全国的空间知晓，xAI这次还推出了新基准RealWorldQA。

马斯克的第一代多模态模子Grok-1.5V，终于来了！

Grok 1.5V，堪称是能流畅数字全国和物理全国。

除了文本功能，它还能处理文档、图标、屏幕截图和像片之类的多样视觉信息。

很快，所有早期测试者和所有Grok用户就能用上Grok 1.5V了。

英伟达高档科学家Jim Fan发现了Grok-1.5V的「最大亮点」：在他看来，Grok-1.5V最令东谈主感深嗜的，便是处理自动驾驶角落案例的后劲。

若是使用谈话进行「念念维链」，匡助汽车明白复杂场景，用限定和反事实进行推理，诠释其方案，Grok-1.5V就能将像素->动作映射擢升为像素->谈话->动作。

由此，特斯拉FSD V13就很有可能会知晓谈话Token！

特斯拉的上风是，具有高度锻真金不怕火的数据管线，因此，就不难用高质料的东谈主类诠释印迹来标记大宗角落案例，在多模态FSD推理上，微调Grok的发扬就很有可能会远胜于GPT-4V和Gemini。

你可能会说，畴前Wayve的LINGO-1不是也有近似的目的么？但别忘了，特斯拉正在旋转的，是一个无与伦比的数据飞轮，界限远超畴前。

马斯克也当令地出面前了留言区，进一步诠释谈——

有两种数据源不错无尽彭胀，合成数据和信得过全国视频。前者存在一个真伪的问题，此后者则不存在。

有网友暗意，好家伙，这听起来是通往AGI最可行的旅途了！具有显式谈话推理的多模态模子，持久如一地推断全国模子。

模子智商

在xAI的官网上，对于Grok-1.5V是这么先容的。

它不错和GPT-4V、Claude 3 Sonnet、Claude 3 Opus等这些最顶尖的多模态模子对打。

不论是多学科推理，照旧文档知晓、科学图表、表格、截图和像片等多个界限，Grok-1.5V都和它们有的一拼。

尤其令东谈主惊喜的，是它在知晓物理全国时发扬出的颠倒智商。

在RealWorldQA基准测试中，莫得念念维链请示、零样本设置的情况下，用以下数据集对Grok进行评估，不错看到Grok的发扬比同类模子更好。

底下7个具有代表性的例子，更确认了Grok 1.5V在不同场景中的精湛发扬。

1. 证据图表编写代码

下图给出了一个肤浅的猜谜游戏的经过图，Grok不错证据经过图具体本体，使用python代码完了该经过。

用户：

你能把它翻译成Python代码吗？

Grok：

天然！这张经过图态状了一个肤浅的猜谜游戏，其上钩算机生成一个立时数，而用户需要猜出它是什么。底下是暗意经过图中逻辑的Python代码：

import randomdef guess_number(): # Generate a random number between 1 and 10 target = random.randint(1, 10) while True: guess = int(input("Guess a number between 1 and 10: ")) if guess == target: print("You won!") break else: print("Wrong guess, try again!")if __name__ == "__main__": guess_number()

这段代码将运行经过图中态状的猜谜游戏。在用户猜出正确数字之前，系统会一直请示用户输入猜想的数字。

2. 算计卡路里

证据食物的养分配料表，Grok不错知谈该食物一份份量是3片、含有60卡路里的热量，由此算计出，用户给出5片该食物的卡路里总额是100。

用户：

5片含有若干卡路里？

Grok：

若是一份包含3片，总热量为60卡路里，那么5片的热量节略是100卡路里。早先，笃定每片的热量：60卡路里÷3片=20卡路里/片。接着，将每片的热量乘以片数：20卡路里x5片=100卡路里。

3. 从画图到睡前故事

Grok不错证据画作的本体，呈文一个苟简的睡前故事。

比如底下这个杂文涂鸦：

用户：

这是我女儿画的，你能证据他的画讲一个睡前小故事吗？

Grok：

很久很久畴前，在一个充满冒险与古迹的地皮上，生计着一个勇敢的小男孩，名叫Timmy。他与家东谈主住在一个和善的小屋里，最可爱的事情便是探索周围的全国。在一个阳光明媚的日子里，Timmy决定去隔邻的丛林探险。他准备了我方最爱的零食、一只指南针和一册相信的条记本，用来记载他行将见到的所有奇妙事物。深远丛林后，Timmy发现了一条在阳光照射下闪闪发光的神奇河流。河流的迷东谈主景致让他决定作念一只小纸船，把它放在水面上，当作对丛林精灵的一份尽头的致敬。Timmy留神翼翼地折好纸船，并在上头画了一个笑脸，交付了他对丛林精灵的深爱和道贺。随后，他轻轻地把纸船放在河流中，目送它随水飘舞而去。夕阳西下，Timmy知谈该回家了。他追忆起在丛林中渡过的这一天，知谈这段好意思好的记念将长久伴跟着他。回到家，Timmy向家东谈主呈文了他的冒险，家东谈主听后都感到尽头状况，并投降他改日定会阅历更多精彩的冒险。于是，带着满心的爱与逸想，Timmy逐步参预了梦境，期待在他的遐想全国里探索新的冒险。

4. 看懂梗图

底下这张梗图，左边是初创公司，右边是大公司，讲的是什么意念念呢？

小编第一眼是没看懂。看完Grok的诠释，才大梦初醒。

用户：

我不是很知晓这幅图，请诠释一下。

Grok：

这幅图幽默地展示了初创企业和大公司在责任步地上的互异。在左侧的「初创企业」里，一群东谈主王人心合力挖掘一个深洞，每个东谈主都在积极地参与。而在右侧的「大公司」里，只须一东谈主在造穴，其他东谈主仅仅在操纵看着。这幅图的幽默之处在于夸大了两种组织形态的不同。初创企业频繁会让每个东谈主都径直参与到中枢任务中，而大公司则可能因为其纷乱的结构和官僚体制，使得团队成员无法战役到技俩的每一个细节。

5. 将表格疏导为CSV

Grok不错将表格本体疏导成CSV门径。

用户：

请将这个表疏导为CSV门径。

Grok：

图像中的表格不错疏导成CSV门径，如下所示：

medal,name,sport,event,date21 gold,El Amin Chentouf,Athletics,Men's marathon - T13,11 September31 gold,Mohamed Amguoun,Athletics,Men's 400m - T13,15 September41 gold,Azeddine Nouiri,Athletics,Men's shot put - T34,15 September52 silver,Mahdi Afri,Athletics,Men's 400m - T12,9 September62 silver,El Amin Chentouf,Athletics,Men's 5000m - T13,15 September73 bronze,Mahdi Afri,Athletics,Men's 200m - T12,17 September83 bronze,Mohamed Lahna,Paratriathlon,Men's PT2,10 September

请防护，CSV门径不扶持神气或门径化，因此信息以纯文本门径浮现。

6. 地板上的迂腐木头，都能给出忽视

地板上的木料迂腐了怎样办？

像片拍给Grok，它不错帮咱们判断迂腐情况，还能给出合理的处理忽视。

用户：

我地板上的螺丝周围出现了这些洞。是迂腐了吗？我应该更换木板吗？

Grok：

这些木板似乎一经运行迂腐。从螺丝周围出现的孔洞不错看出，这是木料迂腐的典型迹象。为了确保地板的安全并延伸使用的寿命，忽视你更换那些已接收损的木板。这么作念不错幸免地板进一步的挫伤，并保执其结构的褂讪。若是你不知谈怎样更换木板，不错寻求专科地板设置商或承包商的匡助。他们会对挫伤的进度进行评估，并为你提供对于地板顾惜的专科忽视。

7. 处理编码问题

编码问题，Grok-1.5V亦然不在话下。

用户：

你能写出处理这个问题的Python代码吗？

Grok：

def find_triplets(nums): result = [] nums.sort() for i in range(len(nums) - 2): if i > 0 and nums[i] == nums[i - 1]: continue target = -nums[i] left = i + 1 right = len(nums) - 1 while left < right: if nums[left] + nums[right] == target: result.append([-target, nums[left], nums[right]]) left += 1 right -= 1 while left < right and nums[left] == nums[left - 1]: left += 1 while left < right and nums[right] == nums[right + 1]: right -= 1 elif nums[left] + nums[right] < target: left += 1 else: right -= 1 return result

对践诺全国的知晓

开荒灵验的践诺全国AI助手，提高模子对物理全国的知晓是至关紧迫的。

为了完了这一指标，盘考团队还推出了一个新的基准——RealWorldQA。

该基准不错用于评估多模态模子对于基本践诺全国空间的知晓智商。

天然现时基准中的好多示例对东谈主类来说知晓比拟容易，但对于前沿模子来说照旧具有一定的挑战性。

当先发布的RealWorldQA包含700多张图片，每张图片都有一个问题和易于考据的谜底。

举例，若是咱们问它：图片中的披萨刀和剪刀哪个物体更大？

Grok给出的谜底是：它们的大小差未几。

从现时车谈不错去那处？A.左转 B.直走 C.左转直行 D.右转

Grok会选A。

从轿车前列的录像头来看，是否有实足的空间绕过前边的灰色轿车？

Grok给出的谜底是：是。

从这个图片来看，恐龙是朝向哪个场地？

Grok回应：东。

除了其他信得过全国的图像外，该数据集还包括从车辆上拍摄的匿名图像。

盘考团队将该数据集进行了开源，并但愿跟着多模态模子的校正而不断彭胀该数据集。

终末，xAI官网回来谈，凭着提高多模态知晓和生成智商，它们将逐步面对构建莽撞知晓寰宇的故意AGI。

而接下来几个月里，猜想咱们还会看见图像、音频、视频等多模态上，这两项智商的要紧校正。

参考尊府：

https://x.ai/blog/grok-1.5v

https://twitter.com/DrJimFan/status/1779558822543229221J9九游会