動察 Beating AI 快訊,Instinct 創始人 Noah Shinn 披露,約 40% 用戶使用產品 3 周後,會允許 Instinct 使用自己的信用卡,讓 Agent 自主完成購買。他們還把「多久第一次獲得信用卡、賬戶密碼或其他敏感信息」當成衡量用戶信任的指標。
一旦用戶向 Instinct 連接至少一項敏感信息,留存率約為 80%。Shinn 說,用戶通常需要幾周慢慢建立信任,Instinct 不會要求用戶一開始就交出所有權限,已經共享的數據也可以隨時收回。
但 Shinn 同時承認,Instinct 的早期版本沒有現在這些防火牆和主動監控,也出現過一些錯誤。後來公司重新搭了一套安全系統,沒有只針對單個問題打補丁。現在所有準備交給 Agent 處理的文字、圖片等內容,都會先經過獨立的「防火牆」檢查;Agent 準備執行的動作和部分推理過程,也有另一套系統監控,可以在真正執行前暫停或攔截。
一名用戶此前發現,Instinct 突然開始處理一份自己從未上傳過的財務文件。Shinn 後來回應稱,這其實是模型編造信息後又繼續編造解釋造成的幻覺,沒有發生用戶數據洩漏。Instinct 隨後上線了獨立的幻覺檢測系統,在 Agent 繼續推理或調用工具前檢查並攔截異常。