谷歌為Gemini API推出Flex和Priority層級
谷歌為gemini api增加了flex和priority推理層級。flex通過降低關鍵性為後台任務節省50%成本，而priority為互動式應用提供高可靠性。兩者均使用標準同步端點，無需異步批處理api管理。flex對所有付費用戶開放，priority需要2級或3級項目。
谷歌在 Gemini API 中引入了 Flex 和 Priority 推理层，允許開發者通過統一介面優化成本和可靠性。Flex 推理提供了 50% 的成本節省，適用於具有容延遲的工作負載，例如數據豐富或代理背景處理，使用同步介面繞過批次管理的複雜性。Priority Inference 針對面向用戶的應用程式的高可靠性需求，確保在峰值負載期間流量不會被中斷，並在超出限制時自動降級到 Standard 層。