這幾天一直忙著教CodeX一些復雜的活,
新出的操作回放功能Record & Replay是真好玩,當時我第一反應是,這不就是RPA嗎,區別應該就是換成AI寫步驟了,
但測完之后,發現完全不是一回事。 所以就有了今天這篇文章,講講它是怎么把我兩個一直卡著的真實痛點給解決掉的。
而且測完這個功能,我越來越確定一件事,
Codex和 Claude Code,現在走的是兩條不同的路。
Codex在通用智能體的路上飛奔,
Record & Replay是最明顯的信號,它不是在幫你寫代碼,是在幫你把現實世界里的重復操作變成可調用的單元(人類撰寫聲明)。
Claude Code這邊就是繼續卷編程卷Agent,
最近我用最多的就是Dynamic Workflows(動態工作流),多Agent的機制讓CC越來越擅長在一個編程任務里動態調度多個步驟。
![]()
(PS:左邊打開 Codex,右邊終端運行Claude Code)
那回到這兩個痛點是什么。
第一個,定向信息搜索。
刷朋友圈刷群突然碰到突發熱點,我們都知道在X上大概率是能看到更多的討論和測試case的。
我之前是直接用Grok去查,然后再把結果整理成文檔,其實用Computer Use也能完成這個操作,就是慢,超慢,那網頁頁面開關十幾次,還不如我自己上手,
我想要的其實很簡單,
像真人一樣打開X,搜這件事,翻結果,整理關鍵詞,在Grok再搜索一次做成表格,整理到本地。
第二個,視頻剪輯和上傳。
我基本上測試過大部分我刷到的視頻剪輯Skill,它們其實都有一些固定的模板,比方說靜音檢測、氣口處理、刪重復詞,還有在視頻里面追加一些Remotion的動畫特效,基本上可以剪出一份能夠直接拖到剪映里,追加一些特效和音樂就能導出的口播視頻。
但是這個方案跟我們日常要上傳到公眾號的視頻素材鏈路是不一樣的。
錄完演示視頻之后,我要剪輯,加速畫面,導出GIF,再貼到公眾號。
沒什么操作難度,都是賊拉重復的固定流程,但是每次都省略不了。
因為你很難憋出來一段標準,去描述要在什么時候加速,畫面里出現什么時加速,這些都是很難被說出來的。
這些都是Record & Replay最擅長的地方。
很多步驟我們已經熟到不用猶豫回想,
鼠標往哪點,哪個狀態代表成功,這都成肌肉記憶了。
但讓你寫成規則、節點、條件分支,
就開始卡了。以前的RPA、Zapier、Make,基本都死在這里。
它們一上來就只會問你,你想自動化什么?
就算沒有做過RPA,有通過iphone手機的快捷指令搶紅包的朋友也能知道這過程有多復雜。
![]()
也就是說,哪怕有AI的輔助,你也得先了解點鼠標,開關屏幕,點錄制等對應的操作,或者考慮是否要額外錄一個按鈕進去。
做的流程少了,我覺得沒必要浪費時間去弄 RPA,做的流程多了,一旦中間有一些按鍵或步驟發生遷移,鏈路里的某個環節就要重建。
反正就是我留下來的RPA流程真不算多。
Record & Replay直接把這個摩擦給抹平了。
仔細回想一下,如果我要把這個流程交給一個人,讓TA以最快速度學會,我也更傾向于打開視頻會議,手把手教一遍,然后把錄屏存下來,TA自己操作的時候有什么不懂,就直接看視頻就搞定了。因為其中有很多步驟,我會一邊操作一邊輔助說明,這更符合我們日常的直覺。
換到Codex這,就是在插件這里把record添加進來,
![]()
然后正常做一遍,該點哪點哪,該填什么填什么,
不用改自己的操作方式,也不用提前寫SOP。
Codex就在旁邊看著,等你停下來,它把這套過程整理成一份結構化的Skill,可以打開看,可以手動改,下次直接復用。
![]()
好消息,成功了,壞消息,成功了一半。
對于視頻的剪輯以及加速,它是可以做的。但是剪輯之后的上傳,會被卡在瀏覽器自動化對于原有站點的安全策略上,所以會被明確地拒絕。
![]()
(1分鐘內的素材剪出來的質量還是可以的)
所以如果我們想做的話,做之前還是可以先讓CodeX出一個 Plan,看看你整體操作的所有過程環節里會不會被卡。在不被卡的情況下再進行錄制,就會很簡單。
還有一個問題,在錄制的這個過程中,盡可能不要用快捷鍵,盡可能在操作的時候用全屏。
那除了剪輯,我剛剛還有一個痛點,就是多輪搜索,
通過Grok直接搜索一個信息,獲取 X上面的高贊帖子,然后我再可以根據這些帖子的關鍵詞再去補充搜索,下載一些視頻素材和表格。這樣操作下來,基本能滿足一篇圖文所需素材的 60% 到 70%。
我比較驚喜的點是,Codex并不是在簡單地照搬,它有自己的思路。
我在操作時演示得不算完整,
![]()
我先搜了最近三個月、點贊數(Like)超過 100 的帖子,這是我常用的選項。
把這些帖子整理成表格,在最底下發現游戲構建這個詞經常和Fable 5一起出現。
于是我把這兩個詞組成新的關鍵詞,回到X上繼續搜索,發現了一個點贊量很高表現不錯的視頻,并把它下載下來作為演示素材。
Codex 理解完這一系列操作后,會在輸入給Grok之前,自動增加一部分輸入文本,讓它輸出適合中文搜索的關鍵詞庫。我覺得這一點非常棒,因為它把一個很難具象化的細節操作給自動化了。
![]()
我在進行信息搜索的時候,看到關鍵詞會自然地想著往下搜,但實際上你很難提前告訴 AI 該怎么做,特別是不同的實體會有不同的關鍵詞。
Codex理解了我的這部操作,并用它自己的方式實現了出來。
所以最后能看到,codex用這個新skill給我們整理了完整的表格,輸出每個表格的互動指標。還提供了短關鍵詞,從思考過程中可以看到,它在搜索短關鍵詞時嘗試了很多不同的組合。
在不同組的查詢中,它發現多個關鍵詞指向的是同一批高互贊帖子,所以它會還額外補充一個相關查詢,并重新整理成表格。基本上,它已經能做到一個可以和Deep Research互補的版本,至少達到了我能接受的水平。
![]()
![]()
我們要做的,就是把我們已知的操作完整演練一遍就可以了。
說實話,目前Record & Replay還是依賴Computer Use,還是靠圖片理解在操作,
操作起來真不算快,偶爾會判斷錯該點哪里。
更類人的操作,還得等一個更強的視覺模型來做。
我覺得它真正可能替代的,不只是RPA,還有一部分傳統 Replay。
傳統Replay更像是把過去錄下來。
你回頭看,回頭復盤,回頭找當時發生了什么。
Codex更激進一點。
它不是只保存過去。
它把過去變成下一次可執行的上下文。
你上次怎么做的,它不只是回放給你看,是整理成 Skill,下次繼續用(人類撰寫證明)。
這就很騷了。
因為對我這種天天做內容,做產品,做點小工具的人來說,
我最不缺的就是錄像。
我缺的是可以復用的經驗。
我不需要把每一次鼠標移動都永久保存。
我需要的是,
下一次遇到同類任務時,
Agent記得我怎么判斷,怎么取舍,怎么驗收。
從這個角度看,
Record & Replay是把人的一次操作,
轉化成Agent下次能用的經驗。
以前這是自動化的終點。
現在成了自動化的起點。
@ 作者 / 卡爾
最后,感謝你看到這里如果喜歡這篇文章,不妨順手給我們點贊|在看|轉發|評論
如果想要第一時間收到推送,不妨給我個星標
如果你有更有趣的玩法,歡迎在評論區聊聊
更多的內容正在不斷填坑中……
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.