踩坑才是评价agent的唯一标准

书接上回，自从折腾OpenClaw感受到了Agent威力，自然想到为什么不寻找一下真正好用的适合自己Agent呢？原想通过建立一个测评框架，学习懂车帝来个“主流AI Agent大横评”。结果发现，一个真实业务场景的数据抓取，各家产品性能差距大的离谱，常规的“横评”瞬间失去意义。

1\. 三款Agent产品的“纵向比较”

评价Agent能力，首先取决于你的任务（项目具体是什么）。假设只是整理downloads文件夹，那绝大多数带有mac客户端的agent都可以顺利完成，只是整理深度的差异（老牌的Clean-My-Mac不经意就被拍死在沙滩上）。这里选用实际工作中的数据抓取任务来做评价。由于我们近期要明确变色墨镜产品的定价策略，想先研究一下海外大牌怎么定价的（e.g.光致变色款平均比普通款贵多少，偏光款要贵多少）。

深入用过几款产品的就会发现，当前Agent能力差距非常大。实际上，横评是没有多大意义的这里就采用“层层递进”方式来呈现我的“调研（踩坑）历程”；

第一站Minimax（0步卡死）

针对这样的复杂抓取任务，自驱力不够的Minimax选择了止步不前，莫名其妙就卡住。应该是agent需要读取网站的数据结构，但遇到了防火墙（拒绝服务器访问 etc），又没有备用策略，就“0帧卡死”了。

第二站Genspark（菜鸟实习）

回到景堃老师的Genspark。在不断探索和询问（比Claudecode操作要少，但问题仍然偏多）后，可以抓取Moscot（相对简单，没有严格反爬的网站），期间需要不断确认我想要抓取的数据格式（产品颗粒度等），运行环境（本地还是云端），后续又反复纠结lens color定义，真的很像刚招来的实习生，一有空就来请教（其实你真的不想花时间）：

无论如何，最后结果还是交付了，在花费了大概1/3 plus套餐的credit后，Genspark确实交付了完整的Moscot产品目录，共有3000+记录，手动抽样核对也是准确的。

但遇到难啃的硬骨头，Luxottica旗下的Oakley官网（除了常见的Cloudflare，还有顶级的Akamai Bot Manager反爬虫），genspark一通操作和询问后还是没搞定，主动从零售商网站抓取了150多条SKU信息交了作业。官网的SKU是一条也没抓到。值得一提的是，Genspark也不便宜，20美元一个月的Plus会员，在跑了这两个mini project后，credit就彻底烧完了。

第三站Manus（天选打工人）

硬骨头还是交给了人狠话不错的Manus。当然我们并没有从头来过，而是让Manus接管了此前的半拉子工程。一通分析后，它建立了完整数据结构，开始尝试从Oakley官网抓取价格等关键信息。在完全无接管，0干预的情况下，又给出了包含全量SKU的datasheet：

当然，故事还没有结束。通过抽样比对，我很快发现这些价格基本来自sunglasses hut等渠道商网站，而非官网价格。在向Manus发出“抓取官网价格和折扣价”的要求后，它又开始了思考（经费燃烧）。很快，Manus就意识到这个任务的复杂度，并产生了调用真实浏览器（而非云端浏览器），人机协作，通过浏览器调试模式，上下文注入的方法搞定的思路。

Manus一大优点是运行过程中“报喜也报忧”：遇到困难就自动绕路，尝试另一种方法。时不时还会迸出两句重大进展，让你看到赛博员工的努力拼搏，还有一些额外情绪价值：

最后在我的少量辅助（粘贴代码到浏览器）下，Manus抓取了全部SKU，并更新了官网的原始价格和折扣价格。在完成任务后还很专业地进行了二次数据核对（通过截屏和OCR，应该是另一个agent）：

在完成这个任务后，Manus还提示将整个过程进行自我学习，生成一个抓取的Skills，以便后续沿用。整个过程很像顶级打工人：首先高纬度分析拆解，遇到困难自己想办法，真的需要协作的时候主动提出，最后还能回顾过程总结经验。人狠话不多，唯一确定就是贵（当然这不是Manus的问题，是我的问题）。

有了完整数据集，各种花式输出就是AI的长项了，例如用notebook LLM对Prizm不同类型应用场景和价格带的整理：

这里不能只罗列踩坑的过程。参考了一些大模型的分析，这里稍作技术性解释：

• 第一步卡住的Minimax：agent工作流过于线性，第一步强制要求获取完整的网站架构，没有备用路径。遇到复杂的Oakley网页验证，推理循环就在第0步卡死；

• 需要反复确认的Genspark：本质上是搜索增强智能体，工具箱里主要配备的是基础的网页读取器，遇到顶级的防火墙能力就到极限了；

• 最终完成任务的Manus：自带一个完整计算机，发现常规策略失败时，可以像真的程序员一样思考，编写并运行一段控制真实浏览器的代码来绕过拦截；

就不继续打广告了，毕竟咱也不是各家的股东。这次踩坑也让我体验到，不能用评测手动挡油车（chat）的思路来看智驾（agent）。但在有更靠谱工具出现之前，Manus确实是完成项目的首选平台（后面会介绍怎么挖到便宜的账号）。

2\. Agent 和 Chat 的主要区别

从不断对话理解上下文的Gemini（类比手动挡 L0），到时不时征求授权的ClaudeCode（带有辅助驾驶的L2+），再到能不问就不问直接交付的Manus（差不多车位到车位的L4），非常好地体现了从Chat模式到Agent模式的转变。

从工具的设计思路上（点击“阅读原文”，参考博客 erlich.fun）：

• Chat模式：面向人。满足人的好奇心，人的学习欲望，相对简单任务。上下文不会太长，token消耗不多。未来会更加个性化，满足不同人的偏好和差异化的审美（包括文生图，文生视频）；

• Agent模式：面向AI，帮助人完成长程的，枯燥复杂的工作，以AI效率优先。上下文超长，token消耗巨大，相信未来会发展到速度甚至成本优先。和审美无关（命令行都行），极少设计情绪价值；

A16Z的大佬说过，工作（job）不过是诸多任务（task）的打包，以后工作不会被AI取代，但很可能会打散重组。因为很多task被自动化了，就像50年前秘书在用打字机替老板打字回信，现在秘书在安排大佬的行程。

我认为，当前值得思考的是，既然“Agent模式”为大模型这台引擎装上了轮子，哪些日常生活或工作中的“任务”是可以交给机器来做？例如，对于PRD的review，网络数据的抓取，网站性能的审计？

一旦通过Agent模式固定下来，通常意味着时间的节省（10X），结果（相对）可控，最后是成本的可预见的降低（目前不一定，但token成本下降太快）。未来的个人效率（乃至有没有心流的余地和空间），取决于如何构建自己的“数字大脑与四肢”：将抽象层面的思考留给自己，将复杂枯燥重复的任务交给token静默执行。

当然，经典的Chat模式始终是有需求的，毕竟每天有大量的“XX是什么”的实时性问题，以及“回复XX邮件”这样的简单任务。我目前保留Gemini（对我理解深入）和Openclaw（Claude模型）双开，提供两个视角，基本也能满足需求。

3\. Agent的成本

不得不说这是当前的现实问题。钱都不是大风刮来的，另外对于生长于互联网（免费软件）时代的中登，软件哐哐烧钱确实不太习惯。这里推荐几处资源，给观众老爷们参考：

• 极客的高性价比方案：通过老白（又出镜）介绍的 erlich，自制的Proma模型以及附带的定制API，10美元可以玩很久，速度也比较快。注册之后送1美元额度可以先试试（https://proma.cool/）

• 羊毛党的海鲜市场：搜索关键词Lenny（这里就不介绍具体原理和店家了）。朋友测过有效，就是需要注册全新的Manus账号。另外提醒代充值有封号的风险，需谨慎。

• 不差钱一步到位：直接充值Lenny Newsletter年付会员，把春节红包变成生产力。一方面掌握第一手资讯，另外如果用得上Perplexity + Manus + n8n, 已经值回200刀的票价。把工具订阅费看作顶级agent外包，其实ROI还是很高的。

段小张说