자체 관리 LLM 사용하기

데이터에 보호 대상 건강 정보, 개인 데이터, 영업 비밀 또는 처리 위치를 명시한 계약의 적용을 받는 정보가 포함되어 있다면, 중요한 질문은 어떤 모델이 가장 똑똑한가가 아닙니다. 누구의 인프라가 프롬프트를 보는가입니다.

PlaidCloud는 모델을 교체 가능한 구성 요소로 취급하므로 이 질문에 직접 답할 수 있습니다.

세 가지 선택지

	벤더 API	프라이빗 클라우드 모델	자체 호스팅 모델
개요	Anthropic, OpenAI, Google 또는 xAI의 공개 API	사용자의 구독에 있는 Azure OpenAI 리소스	직접 운영하는 모든 OpenAI 호환 엔드포인트
프롬프트를 보는 주체	벤더 (벤더의 약관과 사용자의 계정에 따름)	사용자의 클라우드 테넌시 (사용자의 계약에 따름)	사용자만
리전 및 보존	벤더가 정함	사용자가 설정	사용자가 설정
성능	최첨단	최첨단, 공개 API보다 한 단계 뒤	호스팅할 수 있는 만큼
운영 대상	없음	클라우드 리소스	서버와 GPU
적합한 경우	민감하지 않은 데이터에 대한 일반 분석	이미 클라우드 계약이 적용되는 기업	PHI, 기밀, 망 분리 또는 계약상 제한된 데이터

세 가지 모두 같은 방식으로 구성합니다. 공급자, 키, 모델이 있는 LLM 공급자 연결이며, 뒤의 두 가지는 사용자의 엔드포인트를 가리키는 기본 URL도 필요합니다.

관리되는 모델이 수고할 만한 가치가 있는 이유

노출 지점은 프롬프트이며, 프롬프트에는 사용자의 데이터가 들어 있습니다. 그라운딩된 어시스턴트는 실제 행이 모델에 도달하기 때문에 유용합니다. 시설별 환자 수, 공개 전 가격, 이메일로 보내지 않을 비용 구조 같은 것들입니다. 아키텍처의 나머지 요소인 권한, 도구 제어, 수명이 짧은 토큰은 사용자의 시스템에서 무엇이 나가는지를 통제합니다. 모델을 선택하는 것은 그것이 어디에 도착하는지를 통제합니다.

PlaidCloud를 직접 관리하는 모델에 연결하면 다음과 같은 이점이 있습니다.

• 보완해야 할 처리자가 하나 줄어듭니다. 추론이 이미 적용 범위에 있는 곳에서 이루어지므로, 데이터 보호 계약, BAA, 벤더 검토에 추가할 제3자 하위 처리자가 없습니다.
• 입증할 수 있는 데이터 상주. “이 리전의 이 계정에서 이 계약에 따라 처리됨”을 믿음에 의존하지 않고 증거로 제시할 수 있습니다.
• 사용자가 정한 조건의 보존 및 로깅. 프롬프트를 보존할지, 얼마나 오래 보존할지, 누가 로그를 읽을 수 있는지를 직접 결정합니다.
• 정책 변경에도 영향을 받지 않습니다. 벤더의 약관은 바뀔 수 있지만, 직접 운영하는 인프라는 사용자 모르게 바뀌지 않습니다.
• 망 분리 환경에서도 어시스턴트를 쓸 수 있습니다. 공개 API에 접근할 수 없는 네트워크에서는 자체 호스팅 모델이 유일한 선택지입니다.

주의

PlaidCloud는 제어 수단을 제공할 뿐, 사용자를 대신해 규정 준수 여부를 판단할 수는 없습니다. 특정 구성이 HIPAA, GDPR, BAA 또는 고객 계약을 충족하는지는 조직의 개인정보 보호, 보안, 법무 팀이 결정할 사항입니다. 이 페이지의 아키텍처를 그 팀에 가져가십시오. 검토할 수 있도록 작성되어 있습니다.

실제로 모델에 도달하는 것

답이 사람들이 생각하는 것보다 좁기 때문에 정확히 짚어 둘 만합니다.

공급자에게 전송되는 것:

• 프롬프트와 연결의 상시 규칙
• 에이전트가 안내받은 개체의 이름과 구조. 테이블 및 열 이름, 차원 이름, 바인딩된 문서 경로
• 모델이 수행한 도구 호출의 결과, 즉 모델이 요청했고 받을 수 있는 권한이 있던 행
• 현재 채팅의 진행 중인 대화

절대 전송되지 않는 것:

• 연결 자격 증명, 저장된 비밀, 확인된 권한 부여 헤더
• 질문한 사용자의 권한 밖에 있는 모든 것
• 모델이 요청하지 않은 전체 테이블
• 다른 테넌트의 데이터

또한 사용자의 콘텐츠는 누구의 모델을 학습시키는 데에도 사용되지 않습니다.

모델을 직접 제어할 수 있는 접점

한 번 더 읽어 볼 만한 부분입니다. 모든 접점에 동일하게 적용되지 않기 때문입니다.

접점	실행되는 모델의 주체
LLM 워크플로 단계	사용자. 이 단계는 사용자가 지정한 LLM 공급자 연결 또는 워크스페이스 기본값을 사용합니다.
앱 내 AI 어시스턴트	워크스페이스의 기본 LLM 공급자 연결을 통해 사용자. 일부 어시스턴트 기능 뒤의 멀티 에이전트 백엔드는 배포별로 설정되며 자체 호스팅 모델을 가리키도록 할 수 있습니다. 이는 PlaidCloud와 협의하여 진행하십시오.
AI 코딩 에이전트	해당 도구. Claude Code는 Anthropic을, ChatGPT는 OpenAI를 사용합니다. PlaidCloud는 모델 호스트가 아니라 데이터 소스입니다.
Microsoft 365 Copilot	Microsoft. Copilot은 사용자의 M365 테넌트 안에서 사용자의 Microsoft 계약에 따라 Microsoft의 모델로 실행됩니다.

주의

규제 대상 데이터가 특정 벤더에 도달해서는 안 된다면, 모델을 제한하는 것만으로는 충분하지 않으며 접점도 함께 관리해야 합니다. Copilot과 코딩 에이전트에서는 PlaidCloud가 모델을 선택하지 않고 클라이언트가 선택합니다. 실제로 적용되는 수단으로 이를 제어하십시오. Copilot 에이전트의 게시 여부, 액세스 수준을 부여받는 사용자, Copilot 경로의 활성화 여부, 사용자의 권한이 미치는 프로젝트와 테이블이 여기에 해당합니다.

설정하기

1. 엔드포인트를 준비합니다. 사용자의 구독에 Azure OpenAI 리소스와 배포를 만들거나, OpenAI 호환 API 뒤에서 모델을 실행합니다.

2. 확인 가능한 공개 호스트 이름의 HTTPS로 접근할 수 있게 합니다. 아웃바운드 호출은 실행 전에 검증됩니다. 기본 URL은 HTTPS여야 하며, 루프백, 사설 대역, 링크 로컬 또는 클라우드 메타데이터 주소는 거부되고 리디렉션은 비활성화됩니다. 자체 호스팅 모델은 실제 호스트 이름의 TLS 게이트웨이 뒤에 두고, 네트워크 계층에서 접근 가능한 대상을 제한하십시오.

3. 연결을 등록합니다. 공급자를 선택하고 키를 붙여 넣고 기본 URL과 모델을 설정합니다. Azure OpenAI에서 모델 필드는 배포 이름입니다.

4. 특정 작업에 더 많은 권한이 필요하지 않다면 에이전트 액세스를 읽기 전용으로 둡니다. 가장 비용이 적게 드는 제어 수단입니다.

5. 규칙을 추가합니다. 상시 지침은 조직 규칙을 담기에 적합한 곳입니다. 식별자 처리 방법, 답변에 절대 포함하지 말아야 할 내용, 항상 명시해야 할 유의 사항 등을 적습니다.

6. 워크스페이스 기본값으로 지정하거나, 규제 대상 데이터를 다루는 특정 워크플로 단계에 지정합니다.

합리적인 절충안

민감도는 워크스페이스 전체에서 균일한 경우가 드물고 모델은 연결별로 선택하므로, 작업별로 선택할 수 있습니다. 흔한 구성은 다음과 같습니다.

• 스키마 질문, 문서 도움말, 식 작성, 민감하지 않은 데이터 분석을 위한 워크스페이스 기본값으로 최첨단 벤더 모델
• 규제 대상 테이블을 다루는 워크플로 단계에 지정한 관리되는 모델

같은 플랫폼, 같은 권한, 같은 감사 추적을 사용하면서 데이터에 맞게 피해 범위를 둘로 나눌 수 있습니다.

관련 문서

• LLM 공급자 및 연결 — 필드와 어댑터
• AI 및 LLM 아키텍처 — 모든 접점이 공유하는 관리형 경로
• 검색, 그라운딩, 분석 경로 — 데이터를 사전에 인덱싱하지 않는 이유