TypeSafe AI與 OpenRouter 推出 Jev 智能路由器提升 LLM 調用效率

PANews 9月26日消息，TypeSafe AI在X上最新發帖稱，OpenRouter 已集成 Jev 路由能力至全部 LLM 調用，通過 typesafe/jev-router 在每次請求時動態選擇最優模型與推理強度，實現「cache-aware」的模型路由，以平衡質量、速度與成本。該路由器可根據上下文命中緩存，避免重復計算，減少無效 token 消耗，優化複雜 agent 工作流性能。部分開發者稱，其在大規模真實樣本評分任務中實現了近乎100%準確率，但也反映隨著使用激增，響應時延有所上升。