9 月 30 日,Google 發表了 Gemini 4 Argon。這次最該看的是法律那一行:在 Harvey 的 Legal Agent Benchmark 上,Google 自己列的表裡 Argon 得 19.6%,被拿來比的幾款對手在 3.8% 到 6.7% 之間。最好的對手也只有它的三分之一,最差的不到它的五分之一。
不過先說一個限制:Argon 現在還不能隨便用。目前只透過 Google 的 Fairwind 計畫發給經過稽核的資安防禦方,發表文章說付費 API 客戶和 Google AI Ultra 訂閱使用者隨後跟上,沒給日期。
表裡的數字
這些分數是 Google 自己擺出來的對比,當作廠商公佈的成績看,不是第三方審計的結果。VentureBeat 對這張表的解讀是:GPT-6 Astra 在 Harvey 測試上得 5.4%,Claude Opus 5.5 得 3.8%,最高的對手是 6.7%。
做業務流程的 AutomationBench 上,Argon 是 51.3%,對手在 31.4% 到 42.5% 之間。長程編碼的 DeepSWE v1.1,77.9% 對 67.4% 到 74.2%。修安全漏洞的 CWE-bench v1,Argon 得 68%,並列第一。Google 還說它在 Vals Finance Agent v2 上達到了當前最好水平,這一項我們沒能開啟具體分數。
要看的是差距,不是分數本身。法律這一行,滿分 100,第一名只有 19.6%,離做完還很遠。Google 的表也沒寫單個任務怎麼打分,所以這個數更適合當排名看,別當成「一個律師的活幹掉了多少」。9 月 30 日變的是第一名和第二名之間的距離。
它輸在哪
這張表不是全勝。據 TechMyMoney 的整理,Argon 在 Terminal-Bench 4.0 上是 57.4%,Opus 5.5 是 66.4%;FrontierSWE v2 上是 55.0%,Astra 是 65.5%。差距分別是 9 分和 10.5 分,方向反過來。
第三方評測還有一層。Engadget 報道,Artificial Analysis 測出 Argon 的幻覺率是主流模型裡最低的,15%。TechMyMoney 的整理補了一句:它的準確率是 50%,Astra 是 63%。放在一起看,就是這個模型更願意說「我不知道」,而不是硬猜。法律和金融的活裡,如果有人在後面複核,這是優點;如果沒有人複核,這就是成本。
它多少錢
Argon 的推廣期價格是每百萬 token 輸入 2 美元、輸出 10 美元,快取輸入打 95% 折扣。推廣期結束後漲到 4 美元和 20 美元,和 Opus 5.5 的價格一樣。VentureBeat 列的 Astra 是 10 美元和 50 美元。所以眼下它的輸出價是 Opus 的一半,Astra 的五分之一。
再對照 Anthropic 9 月 28 日發表的 Sonnet 5.5:同樣是每百萬 token 2 美元和 10 美元,GDPval-AA 比 Opus 只低 2 分。兩天之內,兩家公司都拿中檔價格賣聲稱旗艦水平的成績。Google 這個數字前面掛著「推廣期」三個字,值得盯。目前沒有任何公開資訊說這段時間有多長。
跟前面幾篇放在一起看
9 月 9 日,Harvey 披露 Am Law 100 裡已有 80% 在用它的產品,我們當時判斷同一天推出的 Legal Agent Benchmark 才是更重要的一步:有了分數,「活幹得好不好」就能寫進採購檔案。這次 Argon 把這個測試放進了 Google 自己的對比表,法律這一行成了旗艦模型發表的一部分,不再是廠商的副業。
半個月前,Gemini 3.8 Live 在語音榜上拿了第一,卻只完成了 35.1% 的 Sierra 銀行通話。套路是一樣的:廠商贏下通用榜單,細分行業那一行才告訴你這份工作還剩什麼。9 月 10 日 OpenAI 圍繞初級分析師做了一套銀行家工作臺,產品範圍就是第一年的日程。Argon 的賣點則把法律、金融和業務流程放進了同一句話。
誰在這張表裡
按 Google 自己表裡的順序,有四類人。
法律檢索和初稿,也就是初級律師和律師助理這一層,是 Harvey 分數指向的地方。業務流程協調員和運營後臺,是 AutomationBench 想替代的物件。做重複性代理式工作的金融分析師,站在 Vals Finance Agent 那個說法後面。修已知型別漏洞的安全工程師對應 CWE-bench,他們也是目前唯一真正拿到這個模型的人。
時間上不會馬上到。稽核過的防禦方能用、付費客戶還不能用的模型,現在碰不到任何一張招聘需求單。但價格和成績表已經公開,下個季度的工具選型會拿它們來比。
接下來盯什麼
三件事。付費 API 什麼時候開放,2 美元和 10 美元的價格撐不撐得過去。Harvey 自己會不會公佈排行榜條目,因為廠商挑的表和測試作者的表是兩份不同的檔案。還有,當律所拿自己的案卷而不是測試集去跑這個模型時,19.6% 會不會動。