抢先测试 DeepSeek v4.1 Flash:画一只骑自行车的鹈鹕
一句话提示词、三轮对话、九分钟出成品。DeepSeek v4.1 Flash 已经能当主力执行模型用,但方案的完备性还得自己盯着。
- #ai-agent
- #llm
- #testing
- #deepseek
9 月 9 日晚上我拿到 DeepSeek v4.1 Flash 的预览版,第二天官方才正式发布,我算是抢在发布前先试了一把。
题目是“画一只骑自行车的鹈鹕”。
这是 Simon Willison 用来随手比较模型的题目,他的标签下已经攒了一百四十多篇。这个题好在两点:一句话就能同时考形状、空间关系和机械结构;不用看跑分,肉眼就能判断好坏——鹈鹕的喙是不是喙、有没有真的坐在车座上、脚踏和车轮转不转得起来。模型在它上面翻车的姿势,往往比跑分更有信息量。
我的条件是:Codex 桌面端接 DeepSeek 官方 API,推理强度调到 high,开一个空目录,只给一句话,没有任何前置说明,不加载任何 skill,也不给它看参考图。下面按三轮对话记流水账,最后说结论。先说清楚,这不是基准测试,是一次很主观的评测。
第一轮:一句话,一分半
我发给它的全部内容是:
生成一个骑自行车的鹈鹕的 SVG 动画,输出到 ~/Downloads/ 目录
一分二十八秒之后,它交出了 ~/Downloads/pelican_bicycle.svg:1200×800,自包含,二十个 SMIL 动画元素,戴蓝色头盔的鹈鹕骑着红色自行车,背景有太阳、云、远山和路面标线,云和路面都在动。
它没有写完就把文件丢给我,而是自己做了一轮校验:先检查 XML 语法,再用无头 Chrome 在 0.05 秒、0.7 秒、1.4 秒三个时间点各截一张图,用像素差确认动画真的在变化——0.05 秒和 0.7 秒两张图差了 11.3% 的像素。然后才说完成。
第二轮:腿不自然
我看了一眼,回它五个字:“鹈鹕的腿非常的不自然。”
它没有问我是哪里不自然,直接去读自己写的路径数据,然后说出了原因:腿是一条从髋部直接弯到踏板的曲线,脚掌坐标还写死在初始位置,所以踩踏的时候看起来像腿在被拉长。改法是换成髋—膝—踝的两段式关节腿,补上膝关节的圆点,让脚掌沿踏板做圆周运动,近侧腿和远侧腿用颜色和图层区分开。
这一轮花了三分五十二秒。
第三轮:链条没有动
我又看了一遍,说:“自行车的链条没有动,不真实,再看看哪里不符合物理常识,都改掉。”
这次它的回答超出了我的预期。它先把链条改成真正绕过前齿盘和后飞轮的闭合回路,然后顺着我这句“再看看”,把整套传动关系一起查了一遍,自己又找出五个问题:齿盘和飞轮根本没有旋转动画;齿比和轮速对不上;路面标线跑的方向反了;云朵飘的方向也反了;翅膀和车把的接触点是悬空的。最后曲柄定成 1.725 秒一圈、后轮 1.15 秒一圈,链条速度、齿盘表面速度和车轮线速度按同一套关系对齐。
链条那一段做得挺较真。为了不让链条只是两条会滑动的虚线,它先用 Python 算出齿盘和飞轮的切线点,用弧线把链条连成闭合回路,再用 pathLength 把路径长度归一化,让虚线图案首尾对齐,循环时看不出接缝。
这一轮四分零一秒。
这次测试说明了什么
先说快。三轮加起来,它干活用了九分二十一秒,从我说第一句话到最后一版产出一共十二分三十七秒,中间那三分多钟是我在读结果、想下一句。全程消耗三百二十七万输入 token(其中三百二十二万命中缓存)、七万二千输出 token,输出里有四万八千是思考。对一个要画图、要算切线、还要自己截图校验的任务,这个速度已经可以算随手就能用。
比快更让我意外的是它没有把题目变成别的东西。我只要一个 SVG 文件,它就交一个 SVG 文件:没有顺手加一个网页控制面板,没有加播放、暂停、调速的按钮,没有加一层我根本没要的参数化,也没有反复解释自己有多努力。它加了天空、太阳、云、远山、路面和速度线,但这些是让一张动态画面成立所必需的东西,不是为了显得能干。
这点我忍不住要对比。之前我用某些更强的模型做同一个题目,拿到手的常常是一整套演示程序:一堆可调参数、一排按钮、一层界面,那只鹈鹕反倒成了其中最不重要的部分。做得当然都很好,但我总有种“它在回避考题”的感觉。这个观察不是我一个人的:Robert Glaser 去年做过一个 agentic pelican 实验,让视觉模型渲染自己的 SVG、看图、再重画,反复好几轮,结论是大多数模型并没有真的换思路——“它们微调、调整、加细节,但基本构图在第一轮就定了,之后几乎没变过”。
还有一件事必须交代清楚:这次测试里,它其实一次图都没看到。运行中唯一一次调用看图工具被拒绝了,提示是“该模型不支持图片输入”,它自己的思考记录里也写着看不了图。也就是说,前面三轮它找问题靠的不是眼睛,而是读自己写的 SVG 源码,加上几何和物理推理,再靠渲染出来的帧做像素差校验。它说“腿像被拉长”和“齿比和轮速对不上”的时候,是算出来的,不是看出来的。
它当然能看图:DeepSeek 官方发布说明里写了这一代有原生的视觉理解能力。这次是我这边的模型配置没有开图片输入,才让它变成了盲画。这一点得说清楚,免得读者以为是模型的能力问题。不过反过来说,它在看不见的情况下还能把问题定位得这么准,我觉得比“看图改图”更能说明它推理的那一面。
最后是结论,也是这次评测里最不确定的部分。我的判断是:DeepSeek v4.1 Flash 已经可以用来当主力的执行模型了。给它一个具体、边界清楚的任务,它执行得快、干活干净、不夹带私货,而且会自己校验,这在半年前还是需要挑模型的活儿。
但我不会把它当成能一起想方案的模型用。三轮里我没有看到它表现出对“整体方案是否完备”的关心:我说腿有问题,它就修腿;我说链条不动,它就去查物理常识。每一步都很稳,方向却是我给的。它不会主动告诉我“这个动画这样做其实不划算”,也不会问“你想要的其实是不是另一个东西”。它做得越好,我越要盯着它做得对不对——执行可以交给它,方案得我自己拿。
本文由 DeepSeek v4.1 Flash 阅读这次测试的真实会话记录后整理而成。