使用您自己控制的 LLM
如果您的数据包含受保护的健康信息、个人数据、商业机密,或受合同约束且合同指明了处理地点,那么真正重要的问题不是哪个模型最聪明,而是谁的基础设施会看到提示词。
PlaidCloud 将模型视为可替换的组件,因此您可以自己回答这个问题。
| 厂商 API | 私有云模型 | 自托管模型 | |
|---|---|---|---|
| 是什么 | Anthropic、OpenAI、Google 或 xAI 的公共 API | 您自己订阅中的 Azure OpenAI 资源 | 您运行的任何 OpenAI 兼容端点 |
| 谁会看到提示词 | 厂商,按其条款和您的账户 | 您的云租户,按您的协议 | 仅您自己 |
| 区域和保留期 | 由厂商决定 | 由您设置 | 由您设置 |
| 能力 | 前沿水平 | 前沿水平,比公共 API 慢一步 | 取决于您能托管什么 |
| 由您运维 | 无 | 一个云资源 | 服务器和 GPU |
| 适用于 | 非敏感数据的一般分析 | 已被云协议覆盖的企业 | PHI、涉密、气隙隔离或合同限定的数据 |
三者的配置方式相同:创建一个 LLM 提供商连接,包含提供商、密钥、模型,对于后两种还需要指向您端点的基础 URL。
为什么值得为受控模型费心
Section titled “为什么值得为受控模型费心”暴露面就是提示词,而提示词中包含您的数据。 有依据的助手之所以有用,恰恰是因为真实的数据行会到达模型:各设施的患者人数、未发布的定价、您不会通过电子邮件发出的成本结构。架构中的其他一切(权限、工具把关、短期令牌)管理的是什么会离开您的系统,而选择模型决定的是它最终落在哪里。
让 PlaidCloud 指向您控制的模型意味着:
- 少一个需要补充文件的处理方。 无需在数据保护协议、BAA 或供应商审查中新增第三方子处理方,因为推理发生在已被覆盖的地方。
- 可以证明的数据驻留。 “在此区域、此账户、此合同下处理”是您可以出示证据的陈述,而不必只能选择相信。
- 按您的条件保留和记录日志。 由您决定是否保留提示词、保留多久,以及谁可以读取日志。
- 不受政策变化影响。 厂商的条款可能变化,而您自己运维的基础设施不会在您不知情时发生改变。
- 气隙隔离的环境也能拥有助手。 对于无法访问公共 API 的网络,自托管模型是唯一可行的选择。
实际到达模型的内容
Section titled “实际到达模型的内容”有必要准确说明,因为实际范围比人们设想的要窄。
发送给提供商:
- 您的提示词,以及连接上的固定规则
- 代理被告知的对象的名称和结构,包括表名和列名、维度名称、已绑定的文档路径
- 模型所做工具调用的结果,也就是它请求并被允许接收的数据行
- 当前聊天的持续对话
永远不会发送:
- 连接凭据、存储的密钥或已解析的授权标头
- 提问者权限之外的任何内容
- 模型未请求的整张表
- 其他租户的数据
并且您的内容不会被用于训练任何人的模型。
您可以控制哪些入口的模型
Section titled “您可以控制哪些入口的模型”这一部分值得读两遍,因为各入口并不一致。
| 入口 | 运行的是谁的模型 |
|---|---|
| LLM 工作流步骤 | 您的。 该步骤使用您指定的或工作区默认的 LLM 提供商连接。 |
| 应用内 AI 助手 | 您的,通过工作区默认的 LLM 提供商连接。部分助手功能背后的多代理后端按部署设置,可以指向自托管模型,请与 PlaidCloud 协商安排。 |
| AI 编码代理 | 对方的。 Claude Code 使用 Anthropic;ChatGPT 使用 OpenAI。PlaidCloud 是数据源,而不是模型托管方。 |
| Microsoft 365 Copilot | Microsoft 的。 Copilot 在您的 M365 租户内运行 Microsoft 的模型,受您的 Microsoft 协议约束。 |
-
搭建端点。 在您的订阅中创建 Azure OpenAI 资源和部署,或在 OpenAI 兼容的 API 后面运行您的模型。
-
使其可通过 HTTPS 在可解析的公共主机名上访问。 出站调用在发出之前会经过验证:基础 URL 必须使用 HTTPS,环回地址、私有范围地址、链路本地地址或云元数据地址会被拒绝,并且禁用重定向。请在自托管模型前面放置使用真实主机名的 TLS 网关,并在网络层限制谁可以访问它。
-
注册连接。 选择提供商,粘贴密钥,设置基础 URL,并设置模型;对于 Azure OpenAI,模型字段填写您的部署名称。
-
除非特定任务需要更多权限,否则将代理访问保持为只读。 这是您手上成本最低的控制手段。
-
添加您的规则。 固定指令是放置内部约定的合适位置,例如如何处理标识符、答案中绝不能包含什么,以及始终要说明哪些注意事项。
-
将其设为工作区默认值,或将其固定在处理受监管数据的特定工作流步骤上。
合理的折中方案
Section titled “合理的折中方案”敏感程度在整个工作区内很少是一致的,而模型是按连接选择的,因此可以按任务选择。常见的安排是:
- 以前沿厂商模型作为工作区默认值,用于架构问题、文档帮助、表达式编写以及非敏感数据的分析
- 在涉及受监管表的工作流步骤上固定使用受控模型
同一个平台、同样的权限、同样的审计线索,但有两种不同的影响范围,与数据相匹配。
- LLM 提供商与连接:字段和适配器
- AI 与 LLM 架构:各个入口共用的受管控路径
- 检索、依据与分析路径:为什么您的数据绝不会被预先索引