什麼是LLM網關？

LLM Gateway是一個平臺，允許用戶使用統(tǒng)一的API接口在多個提供商之間路由，管理和分析其大型語言模型（LLM）請求。它是完全開源的，與OpenAI API格式兼容以進行無縫集成。

如何使用LLM網關？

要使用LLM網關，用戶只需將其現有API端點更改為`https：// api.llmgateway.io/v1`並使用其LLM Gateway API鍵即可。它與OpenAI API格式兼容，允許以各種語言和框架（例如Python，Typescript，Next.js，Java，Rust，Go，go，Php和Ruby）等各種語言和框架與現有代碼集成。然後，LLM網關在跟蹤使用和性能時將請求路由到適當的提供商。

LLM Gateway的核心功能

統(tǒng)一的API接口（OpenAI API兼容）

多培訓支持

用法分析（請求，令牌，響應時間，成本）

性能監(jiān)控

安全密鑰管理

自我託管或云部署

模型編排（與最佳AI模型的動態(tài)路由）

簡單集成

LLM Gateway的用例

通過單個API管理和路由LLM請求跨各個提供商。

跟蹤和分析LLM的使用，成本和性能。

遷移現有的OpenAI API集成以支持多個LLM提供商。

部署完整的自主LLM代理>

比較不同的LLM模型的性能和成本效益。

LLM Gateway支持電子郵件和客戶服務聯繫人和退款聯繫人等。

這是用於客戶服務的LLM網關支持電子郵件：[電子郵件保護]。更多聯繫，請訪問“聯繫我們”頁面（MailTo：[電子郵件保護]）