主题
云端选项是一个完全托管的模式，由 LangChain 托管和运营所有 LangSmith 基础设施和服务：
- 完全托管的基础设施：LangChain 处理所有基础设施、更新、扩展和维护。
- 从 GitHub 部署：连接您的代码仓库，点击几下即可部署。
- 自动化 CI/CD：构建过程由平台自动处理。
- LangSmith UI：完全访问可观测性、评估、部署管理和Studio。
| 管理方 | 运行位置 | |
|---|---|---|
| LangSmith 平台 (UI, API, 数据存储) | LangChain | LangChain 的云端 |
| 您的 Agent 服务器 | LangChain | LangChain 的云端 |
| 应用的 CI/CD | LangChain | LangChain 的云端 |
开始使用
要将您的第一个应用程序部署到云端，请遵循云端部署快速入门或参考完整设置指南。
云端架构与可扩展性
本节仅适用于托管在 https://smith.langchain.com 和 https://eu.smith.langchain.com 的云端托管 LangSmith 服务。
有关自托管 LangSmith 解决方案的信息，请参阅自托管文档。
LangSmith 部署在 Google Cloud Platform (GCP) 上，旨在实现高度可扩展。许多客户在 LangSmith 上运行生产工作负载，用于 LLM 应用的可观测性、评估和智能体部署。
架构
基于美国的 LangSmith 服务部署在 GCP 的 us-central1（爱荷华州）区域。
基于欧盟的 LangSmith 服务现已可用（自 2024 年 7 月中旬起），部署在 GCP 的 europe-west4（荷兰）区域。如果您对该区域的企业计划感兴趣，请联系我们的销售团队。
区域性存储
下表中的资源和服务存储在注册时所用 URL（美国或欧盟）对应的位置。云端托管的 LangSmith 使用 Supabase 进行身份验证/授权，并使用 ClickHouse Cloud 作为数据仓库。
| 美国 | 欧盟 | |
|---|---|---|
| URL | https://smith.langchain.com | https://eu.smith.langchain.com |
| API URL | https://api.smith.langchain.com | https://eu.api.smith.langchain.com |
| GCP | us-central1 (爱荷华州) | europe-west4 (荷兰) |
| Supabase | AWS us-east-1 (弗吉尼亚州北部) | AWS eu-central-1 (德国) |
| ClickHouse Cloud | us-central1 (爱荷华州) | europe-west4 (荷兰) |
| LangSmith 部署 | us-central1 (爱荷华州) | europe-west4 (荷兰) |
更多信息请参阅区域常见问题解答。
独立于区域的存储
此处列出的数据仅存储在美国：
- Stripe 和 Metronome 的支付和账单信息
GCP 服务
LangSmith 由以下服务组成，全部部署在 Google Kubernetes Engine (GKE) 上：
- LangSmith 前端：提供 LangSmith UI。
- LangSmith 后端：提供 LangSmith API。
- LangSmith 平台后端：处理身份验证和其他高容量任务。（内部服务）
- LangSmith Playground：处理向各种 LLM 提供商转发请求以支持 Playground 功能。
- LangSmith 队列：处理异步任务的处理。（内部服务）
LangSmith 使用以下 GCP 存储服务：
- Google Cloud Storage (GCS) 用于存储运行（runs）的输入和输出。
- Google Cloud SQL PostgreSQL 用于事务性工作负载。
- Google Cloud Memorystore for Redis 用于队列和缓存。
- GCP 上的 Clickhouse Cloud 用于追踪（trace）摄取和分析。我们的服务通过私有端点连接到托管在同一 GCP 区域的 Clickhouse Cloud。
我们使用的一些其他 GCP 服务包括：
- Google Cloud Load Balancer 用于将流量路由到 LangSmith 服务。
- Google Cloud CDN 用于缓存静态资源。
- Google Cloud Armor 用于安全和速率限制。有关我们实施的速率限制的更多信息，请参阅本指南。
允许列表 IP 地址
从 LangChain SaaS 流出
所有离开 LangSmith 服务的流量都将通过 NAT 网关路由。所有流量将显示为来自以下 IP 地址：
| 美国 | 欧盟 |
|---|---|
| 34.59.65.97 | 34.13.192.67 |
| 34.67.51.221 | 34.147.105.64 |
| 34.46.212.37 | 34.90.22.166 |
| 34.132.150.88 | 34.147.36.213 |
| 35.188.222.201 | 34.32.137.113 |
| 34.58.194.127 | 34.91.238.184 |
| 34.59.97.173 | 35.204.101.241 |
| 104.198.162.55 | 35.204.48.32 |
如果您连接到自己的 AzureOpenAI 服务或 Playground 或在线评估可能需要的其他端点，将这些 IP 地址加入允许列表可能会有所帮助。
进入 LangChain SaaS
langchain 端点映射到以下静态 IP 地址：
| 美国 | 欧盟 |
|---|---|
| 34.8.121.39 | 34.95.92.214 |
| 34.107.251.234 | 34.13.73.122 |
您可能需要将这些 IP 地址加入允许列表，以允许来自您私有网络的流量访问 LangSmith SaaS 端点 (api.smith.langchain.com, smith.langchain.com, beacon.langchain.com, eu.api.smith.langchain.com, eu.smith.langchain.com, eu.beacon.langchain.com)。
API 速率限制
LangSmith 对 API 端点实施速率限制，以确保服务稳定性和公平使用。下表显示了美国和欧盟区域不同端点的速率限制。请注意：
- 速率限制表示为
计数 / 间隔，其中计数是间隔（以秒为单位）内允许的请求数。例如，2000 / 10表示每 10 秒 2000 个请求。 - 当端点列中未指定 HTTP 方法时，该速率限制适用于该端点的所有 HTTP 方法。
- 当列出特定方法（例如
POST、GET）时，速率限制仅适用于该方法。
| 匹配 / 端点 (方法) | 身份标识键 | 美国生产环境限制 | 欧盟生产环境限制 | 类别 |
|---|---|---|---|---|
OPTIONS, /info, */v1/metadata/submit | IP | 2000 / 10 | 2000 / 10 | 高吞吐量 |
/auth | x-api-key | 2000 / 10 | 2000 / 10 | 高吞吐量 |
/auth | x-user-id + IP | 2000 / 10 | 2000 / 10 | 高吞吐量 |
/v1/beacon | IP | 2000 / 10 | 2000 / 10 | 高吞吐量 |
/repos | x-api-key | 100 / 60 | 100 / 60 | 仓库 |
/repos | x-user-id + IP | 100 / 60 | 100 / 60 | 仓库 |
POST /runs/batch | x-api-key | 2000 / 10 | 2000 / 10 | 高吞吐量 |
POST /otel/v1/traces | x-api-key | 2000 / 10 | 2000 / 10 | 运行摄取 |
POST 包含 /charts | x-api-key | 750 / 600 | 750 / 600 | 图表 |
POST 包含 /charts | x-user-id + IP | 750 / 600 | 750 / 600 | 图表 |
POST /runs/multipart | x-api-key | 6000 / 10 | 6000 / 10 | 多部分摄取 |
POST /runs/query | x-api-key | 15 / 10 | 15 / 10 | 运行查询 (API) |
POST /runs/query | x-user-id + IP | 300 / 10 | 300 / 10 | 运行查询 (用户) |
/generate | x-api-key | 30 / 3600 | 30 / 3600 | 生成 |
/generate | x-user-id + IP | 30 / 3600 | 30 / 3600 | 生成 |
/commits | x-api-key | 10000 / 60 | 2000 / 60 | 提交 |
/commits | x-user-id + IP | 10000 / 60 | 2000 / 60 | 提交 |
DELETE /sessions 或 */trigger | x-api-key | 10 / 60 | 10 / 60 | 删除 |
DELETE /sessions 或 */trigger | x-user-id + IP | 30 / 60 | 30 / 60 | 删除 |
POST /runs (单次运行摄取) | x-api-key | 2000 / 10 | 2000 / 10 | 运行摄取 |
PATCH 包含 /runs | x-api-key | 2000 / 10 | 2000 / 10 | 运行摄取 |
POST /feedback | x-api-key | 2000 / 10 | 2000 / 10 | 高吞吐量 |
GET /runs/{uuid} 或 /api/v1/runs/{uuid} | x-api-key | 30 / 60 | 30 / 60 | 运行查找 |
GET 包含 /examples | x-api-key | 5000 / 60 | 5000 / 60 | 示例 |
任何包含 x-api-key 的请求 | x-api-key | 1000 / 10 | 1000 / 10 | 默认 (API 密钥) |
任何包含 x-user-id 的请求 | x-user-id + IP | 1000 / 10 | 1000 / 10 | 默认 (用户) |
/public/download | IP | 5000 / 60 | 5000 / 60 | 公共下载 |
/runs/stats | x-api-key | 1 / 10 | 20 / 10 | 统计 |
| 所有其他 IP (兜底) | IP | 100 / 60 | 100 / 60 | 公共 (兜底) |
速率限制类别
- 高吞吐量：用于身份验证、元数据和反馈等核心操作的通用高容量端点。
- 仓库：仓库和提示（prompt）管理操作。
- 运行摄取：用于可观测性的单个追踪/运行摄取端点。
- 图表：图表生成和可视化端点。
- 多部分摄取：通过多部分上传进行批量运行摄取，用于高容量追踪。
- 运行查询 (API)：基于 API 密钥的运行查询操作，对复杂查询有更严格的限制。
- 运行查询 (用户)：基于用户的运行查询操作，为交互式使用提供更高的限制。
- 生成：AI 驱动的代码和内容生成端点（为防止滥用而受限）。
- 提交：提示版本控制和提交操作。
- 删除：会话删除和工作流触发操作。
- 运行查找：通过 UUID 检索特定运行。
- 示例：为少样本提示（few-shot prompting）获取数据集示例。
- 默认 (API 密钥)：未匹配特定模式的已认证 API 请求的兜底速率限制。
- 默认 (用户)：未匹配特定模式的已认证用户请求的兜底速率限制。
- 公共下载：用于共享资源的高容量公共下载端点。
- 统计：运行统计和分析端点（适用区域特定限制）。
- 公共 (兜底)：未经身份验证的公共访问的默认速率限制。
有关速率限制和其他服务限制的更多信息，请参阅管理概述。