平台能力
青柠AI 提供企业级 AI 编排与治理层，部署于应用程序与上游模型服务商之间。
架构概览
统一 API 网关
单一 OpenAI 兼容端点，路由至 Claude、GPT、Gemini、DeepSeek 等多种模型，无需任何代码改动。
治理层
在网关层面统一执行内容安全、速率限制、预算上限与模型访问控制策略。
可观测性体系
内置指标、日志与追踪能力，支持导出至现有监控平台（Datadog、Grafana、Azure Monitor）。
核心能力
多模型路由
根据可配置规则，将请求路由至最优模型：
| 路由策略 | 说明 |
|---|---|
| 优先级路由 | 定义主模型与备用模型，实现自动故障转移 |
| 成本优化 | 在满足质量要求的前提下，路由至成本最优模型 |
| 延迟优化 | 自动选择最低延迟的端点 |
| 轮询分发 | 将负载均匀分配至多个模型端点 |
| 内容路由 | 根据请求内容、语言或任务类型动态路由 |
安全与访问控制
| 功能 | 说明 |
|---|---|
| API Key 管理 | 全生命周期管理，支持轮换、过期与权限范围控制 |
| RBAC | 基于角色的访问控制，支持团队与项目级权限 |
| SSO 集成 | 支持 SAML 2.0 与 OIDC，对接企业身份提供商 |
| IP 白名单 | 限制 API 访问仅限于已授权的网络范围 |
| 请求签名 | 基于 HMAC 的请求认证，适用于服务间调用 |
内容安全与合规
多层内容安全机制，确保负责任的 AI 使用：
- Azure Content Safety — 原生集成 Microsoft 内容审核服务
- 自定义过滤库 — 组织专属的敏感内容规则与关键词过滤
- PII 脱敏 — 在数据到达模型服务商之前，自动检测并遮蔽个人信息
- 输出审核 — 生成后内容复核与策略执行
- 审计日志 — 防篡改、不可变的请求与响应日志
可观测性与分析
| 指标 | 粒度 |
|---|---|
| Token 消耗 | 按请求、按模型、按团队 |
| 延迟（P50/P95/P99） | 按端点，实时 |
| 错误率 | 按模型、按状态码 |
| 成本归因 | 按项目、按部门 |
| 内容安全标记 | 按请求、聚合趋势 |
| 预算使用率 | 按团队，按日/月 |
数据驻留
| 区域 | 部署节点 |
|---|---|
| 亚太 | 香港、新加坡、东京 |
| 美洲 | 美东、美西 |
| 欧洲 | 荷兰、英国 |
所有数据处理在所选区域内完成。未经明确配置，不会发生跨区域数据传输。
集成
青柠AI Gateway 完全兼容 OpenAI API 规范。任何支持 OpenAI 的工具、SDK 或框架均可直接使用：
- OpenAI Python / Node.js SDK
- LangChain / LlamaIndex
- Vercel AI SDK
- 任何 HTTP 客户端
只需将 Base URL 指向您的 青柠AI 网关端点即可。
::: tip 企业级部署 对于有严格数据主权要求的组织，我们提供基于 Azure 的私有化部署方案。联系我们的解决方案团队了解详情。 :::