跳转到内容

使用您自己控制的 LLM

如果您的数据包含受保护的健康信息、个人数据、商业机密,或受合同约束且合同指明了处理地点,那么真正重要的问题不是哪个模型最聪明,而是谁的基础设施会看到提示词。

PlaidCloud 将模型视为可替换的组件,因此您可以自己回答这个问题。

对比三种部署选择:厂商 API、私有云模型资源(例如您自己订阅中的 Azure OpenAI)和自托管模型。三者共用相同的租户内治理。摘要列出了哪些内容会到达模型,哪些永远不会。
厂商 API 私有云模型 自托管模型
是什么 Anthropic、OpenAI、Google 或 xAI 的公共 API 您自己订阅中的 Azure OpenAI 资源 您运行的任何 OpenAI 兼容端点
谁会看到提示词 厂商,按其条款和您的账户 您的云租户,按您的协议 仅您自己
区域和保留期 由厂商决定 由您设置 由您设置
能力 前沿水平 前沿水平,比公共 API 慢一步 取决于您能托管什么
由您运维 无 一个云资源 服务器和 GPU
适用于 非敏感数据的一般分析 已被云协议覆盖的企业 PHI、涉密、气隙隔离或合同限定的数据

三者的配置方式相同:创建一个 LLM 提供商连接,包含提供商、密钥、模型,对于后两种还需要指向您端点的基础 URL。

暴露面就是提示词,而提示词中包含您的数据。 有依据的助手之所以有用,恰恰是因为真实的数据行会到达模型:各设施的患者人数、未发布的定价、您不会通过电子邮件发出的成本结构。架构中的其他一切(权限、工具把关、短期令牌)管理的是什么会离开您的系统,而选择模型决定的是它最终落在哪里。

让 PlaidCloud 指向您控制的模型意味着:

  • 少一个需要补充文件的处理方。 无需在数据保护协议、BAA 或供应商审查中新增第三方子处理方,因为推理发生在已被覆盖的地方。
  • 可以证明的数据驻留。 “在此区域、此账户、此合同下处理”是您可以出示证据的陈述,而不必只能选择相信。
  • 按您的条件保留和记录日志。 由您决定是否保留提示词、保留多久,以及谁可以读取日志。
  • 不受政策变化影响。 厂商的条款可能变化,而您自己运维的基础设施不会在您不知情时发生改变。
  • 气隙隔离的环境也能拥有助手。 对于无法访问公共 API 的网络,自托管模型是唯一可行的选择。

有必要准确说明,因为实际范围比人们设想的要窄。

发送给提供商:

  • 您的提示词,以及连接上的固定规则
  • 代理被告知的对象的名称和结构,包括表名和列名、维度名称、已绑定的文档路径
  • 模型所做工具调用的结果,也就是它请求并被允许接收的数据行
  • 当前聊天的持续对话

永远不会发送:

  • 连接凭据、存储的密钥或已解析的授权标头
  • 提问者权限之外的任何内容
  • 模型未请求的整张表
  • 其他租户的数据

并且您的内容不会被用于训练任何人的模型。

这一部分值得读两遍,因为各入口并不一致。

入口 运行的是谁的模型
LLM 工作流步骤 您的。 该步骤使用您指定的或工作区默认的 LLM 提供商连接。
应用内 AI 助手 您的,通过工作区默认的 LLM 提供商连接。部分助手功能背后的多代理后端按部署设置,可以指向自托管模型,请与 PlaidCloud 协商安排。
AI 编码代理 对方的。 Claude Code 使用 Anthropic;ChatGPT 使用 OpenAI。PlaidCloud 是数据源,而不是模型托管方。
Microsoft 365 Copilot Microsoft 的。 Copilot 在您的 M365 租户内运行 Microsoft 的模型,受您的 Microsoft 协议约束。
  1. 搭建端点。 在您的订阅中创建 Azure OpenAI 资源和部署,或在 OpenAI 兼容的 API 后面运行您的模型。

  2. 使其可通过 HTTPS 在可解析的公共主机名上访问。 出站调用在发出之前会经过验证:基础 URL 必须使用 HTTPS,环回地址、私有范围地址、链路本地地址或云元数据地址会被拒绝,并且禁用重定向。请在自托管模型前面放置使用真实主机名的 TLS 网关,并在网络层限制谁可以访问它。

  3. 注册连接。 选择提供商,粘贴密钥,设置基础 URL,并设置模型;对于 Azure OpenAI,模型字段填写您的部署名称。

  4. 除非特定任务需要更多权限,否则将代理访问保持为只读。 这是您手上成本最低的控制手段。

  5. 添加您的规则。 固定指令是放置内部约定的合适位置,例如如何处理标识符、答案中绝不能包含什么,以及始终要说明哪些注意事项。

  6. 将其设为工作区默认值,或将其固定在处理受监管数据的特定工作流步骤上。

敏感程度在整个工作区内很少是一致的,而模型是按连接选择的,因此可以按任务选择。常见的安排是:

  • 以前沿厂商模型作为工作区默认值,用于架构问题、文档帮助、表达式编写以及非敏感数据的分析
  • 在涉及受监管表的工作流步骤上固定使用受控模型

同一个平台、同样的权限、同样的审计线索,但有两种不同的影响范围,与数据相匹配。