AI 在用| GPT-4、Claude 3 带你看懂宜家安装说明书

今天，我们分享X用户@gabchuayz的案例——利用Claude3Opus（最贵的一款）视觉推理能力，读懂宜家家具安装说明书！

案例地址：

作者透过Workbech来接入Claude3Opus

首先，进入Claude3Opus，输入提示（Prompt）：

youareafrilyassistant

这也是OpenAI官方认可写好Prompt的重要策略之一，让模型充当某个角色，它往往会表现地更专业，回答也更明确。

然后，上传说明书图片并附上简单文字提示：

这位作者按顺序（步骤1—14）上传了七张说明书图片。这是其中一张图片的内容：

来自@gabchuayz

这是Claude3Opus返回的结果：

来自@gabchuayz

下面是翻译过来的内容。对于不善阅读图片说明的用户来说，这个回答显然大幅降低了安装门槛，它甚至识别出了螺丝的型号。

使用提供的工具（100092），将2颗螺丝（104521、104522）固定在圆形零件上，如图所示。

使用4颗螺丝将锤形零件（101339）连接到步骤1中组装的结构上。

使用4颗螺丝将另一个锤形零件（101339）连接到相反的一侧。

使用4颗螺丝连接两侧的零件。

将带箭头标记的零件插入组装结构的开口处，使用4颗螺丝（101339）固定。

使用提供的工具（101339），将带箭头标记的零件固定在组装的框架结构上。

使用4颗螺丝进一步固定框架结构的零件。

框架结构现在已经完全组装好了。

使用工具（101339）驱动另外四颗螺丝，以加固连接。

11、插入带箭头标记的零件，关闭盒子的一侧。

12、使用工具（101339）驱动16颗螺丝，将所有零件紧密固定。

13、附加的图示显示了组装框架结构内部创建的细分隔间。

14、最后的图示提供了组装完成的整体尺寸，包括六颗螺丝固定的手柄。

当然，结果绝非完美。例如划线部分所示，什么是“锤形零件”？什么又是“带箭头标记的零件”？前面一个问题源自模型无法清楚区分图片中的螺丝和锤子工具；后面一个问题在于系统搞不清楚箭头其实表示的是这个零部件的插入方向。

有人说宜家最酷的不是家具，而是家具说明书——没有文字，只有图，一些顾客常常在组装过程中陷入沮丧。现在，可以考虑找一个帮手了。

我们透过Poe调用Claude3Opus。输入提示“youareafrilyassistant”。

然后，直接上传了下面这张图片，没有任何文字提示作为补充，看看大模型能否提供安装说明：

这是我们得到的结果。虽然还是存在明显的问题，比如识别不了d（不是螺丝，而是会随商品赠送的扭螺丝简易工具），但并不妨碍我们对安装步骤有一个大体了解，并且知道这是一种比较典型的宜家家居安装风格。

如果是乐高安装说明书呢？我们按顺序（步骤1-5）输入了下面五张乐高安装说明书：

这是结果，非常清楚明白：

接着让模型推理一下咱拼的什么东西，结果也靠近答案（玩具小汽车）。

Claude3Optus可以做到，其他领先大模型是否也可以呢?还真未必。下面是GeminiPro的“答卷”，差强人意，已经“臆想”是飞机的搭建了。目前GPT-4不接受这么多张图的输入，微软Copliot也只允许上传一张。

同样是看图说话，Claude3Optus能否看懂漫画呢？输入提示：“请按顺序解释每幅图片的意思”：

结果确实读懂了这是一幅吐槽宜家家居很难安装的漫画。不过，从第9幅图开始，模型就开始出错——正确答案是，用户饮弹自尽后，抢救无效，葬礼上的工人开始安装说明建造棺材和十字架，结果呢，确实不好装，十字架都歪了.

Claude3Opus也有不灵光的时候。尤其是当输入只有一张说明书时，Opus并不能稳赢GPT-4。比如，这个茶几安装说明。

从返回结果来看，不仅文字识别存在问题（“层板”被识别为“房板”），拧螺丝的简易工具也识别不出来。解读安装步骤也有问题，比如步骤3、4其实是在固定腿部，但被识别为固定板子。

相比之下，如果使用GPT-4，结果要好很多：

这是宜家早期的Tune椅子说明书：

Claude3Opus返回的结果如下。椅子被识别为桌子，安装步骤也和图片内容不吻合。

同样的提示，GPT-4的效果要好得多：

本文地址：https://yjs.zzxfkm.com.cn/501935085351.html