Meta가 데이터 웨어하우스 접근 및 보안을 위해 AI Agent를 활용하는 방법
원문: How Meta Uses AI Agents for Data Warehouse Access and Security
면책사항: 이 게시물의 세부 사항은 Meta Engineering Team이 온라인에서 공유한 정보로부터 파생되었습니다. 모든 기술적 세부사항에 대한 공로는 Meta Engineering Team에 있습니다. 원본 기사와 출처에 대한 링크는 게시물 끝의 참고 문헌 섹션에 있습니다. 우리는 세부 사항을 분석하고 이에 대한 의견을 제공하려고 시도했습니다. 부정확하거나 누락된 내용이 있으면 댓글을 남겨주시면 최선을 다해 수정하겠습니다.
Meta는 세계에서 가장 큰 데이터 웨어하우스 중 하나를 보유하고 있으며, 많은 팀에 걸쳐 분석, 머신러닝, AI 워크로드를 지원합니다. 모든 비즈니스 결정, 실험, 제품 개선은 이 데이터에 대한 빠르고 안전한 접근에 의존합니다.
이러한 방대한 시스템을 조직하기 위해 Meta는 데이터 웨어하우스를 계층 구조로 구축했습니다. 최상위에는 팀과 조직이 있고, 그 다음에는 데이터셋과 테이블이 있으며, 마지막으로 인사이트를 시각화하는 대시보드가 있습니다. 각 레벨은 다음 레벨과 연결되어 모든 데이터 조각을 원본까지 추적할 수 있는 구조를 형성합니다.
이러한 데이터 자산에 대한 접근은 전통적으로 역할 기반 접근 제어(RBAC)를 통해 관리되어 왔습니다. 이는 직무 역할에 따라 접근 권한이 부여된다는 것을 의미합니다. 예를 들어, 마케팅 분석가는 마케팅 성과 데이터를 볼 수 있고, 인프라 엔지니어는 서버 성능 로그를 볼 수 있습니다. 누군가 추가 데이터가 필요할 때는 데이터 소유자에게 수동으로 요청하고, 데이터 소유자는 회사 정책에 따라 접근을 승인하거나 거부했습니다.
이 수동 프로세스는 초기 단계에서는 잘 작동했습니다. 그러나 Meta의 운영과 AI 시스템이 확장되면서 이 모델은 자체 무게로 인해 부담을 받기 시작했습니다. 누가 무엇에 접근할 수 있는지 관리하는 것이 복잡하고 시간이 많이 걸리는 프로세스가 되었습니다.
세 가지 주요 문제가 나타나기 시작했습니다:
-
데이터 그래프가 방대해졌습니다. 각 테이블, 대시보드, 데이터 파이프라인은 다른 것들과 연결되어 관계의 웹을 형성합니다. 이 웹 전체에서 의존성을 이해하고 안전하게 권한을 부여하는 것이 어려워졌습니다.
-
접근 결정이 느려지고 여러 승인이 필요하게 되었습니다. 서로 다른 팀들이 보안을 관리하기 위해 부서 간 조율을 해야 했습니다.
-
AI 시스템이 데이터 사용 방식을 변화시켰습니다. 이전에는 각 팀이 주로 자체 데이터 도메인 내에서 작업했습니다. 이제 AI 모델은 종종 여러 도메인의 데이터를 동시에 분석해야 합니다. 전통적인 사람 관리 접근 시스템은 이러한 교차 도메인 패턴을 따라갈 수 없었습니다.
보안을 유지하면서 혁신을 계속하기 위해 Meta는 대규모 데이터 접근 문제를 처리할 더 나은 방법을 찾아야 했습니다. Meta 엔지니어링 팀은 해답이 AI Agent에 있다는 것을 발견했습니다. 이러한 Agent는 요청을 이해하고, 위험을 평가하며, 미리 정의된 경계 내에서 자율적으로 결정을 내릴 수 있는 지능형 소프트웨어 시스템입니다.
이 글에서는 Meta가 사람과 Agent 모두와 함께 작동하도록 데이터 웨어하우스 아키텍처를 어떻게 재설계했는지 살펴봅니다.
Agentic 솔루션: 2-Agent 아키텍처
증가하는 데이터 접근의 복잡성을 극복하기 위해 Meta 엔지니어링 팀은 멀티 에이전트 시스템이라고 부르는 것을 개발했습니다.
간단히 말하면, 이것은 서로 다른 AI Agent들이 함께 작동하며, 각각이 데이터 접근 워크플로의 특정 부분을 처리하는 설정입니다. 이 설계를 통해 Meta는 Agent가 사람들이 한때 수동으로 했던 반복적이고 절차적인 작업을 대신함으로써 데이터 접근을 더 빠르고 안전하게 만들 수 있습니다.
이 시스템의 핵심에는 서로 상호작용하는 두 가지 주요 유형의 Agent가 있습니다:
-
데이터를 액세스해야 하는 직원이나 시스템을 대신하여 행동하는 Data-user Agent
-
데이터 관리 및 보호를 담당하는 사람이나 팀을 대신하여 행동하는 Data-owner Agent
아래 다이어그램을 참조하세요:
Data-User Agent
Data-user Agent는 하나의 단일 프로그램이 아닙니다. 대신, 함께 작동하는 더 작고 전문화된 Agent들의 그룹입니다. 이러한 서브 Agent들은 작업의 각 부분을 어떤 서브 Agent가 처리해야 하는지 결정하는 관리자처럼 행동하는 triage 레이어에 의해 조정됩니다.
아래 다이어그램을 참조하세요:
이 구조 내에는 세 가지 주요 서브 Agent가 있습니다:
Alternative-suggestion Sub-agent
이 Sub Agent는 사용자가 필요한 정보에 접근할 수 있는 더 안전하거나 덜 제한적인 방법을 찾도록 돕습니다. 예를 들어, 누군가 민감한 데이터 테이블에 대한 접근을 요청하면 Agent는 유사하지만 민감하지 않은 데이터가 포함된 다른 테이블을 추천할 수 있습니다. 심지어 제한되지 않은 열이나 공개 데이터 소스만 사용하도록 쿼리를 다시 작성하는 데 도움을 줄 수도 있습니다.
이 Sub Agent는 데이터셋 간의 관계에 대해 추론하기 위해 대규모 언어 모델(LLM)에 의존합니다. 전통적으로 이러한 종류의 지식은 "부족 지식"으로만 존재했으며, 이는 몇몇 경험 많은 엔지니어들이 비공식적으로 알고 있었다는 것을 의미합니다. 이제 Agent는 그 숨겨진 정보를 종합하고 자동으로 지능적인 추천을 제공할 수 있습니다.
Low-risk exploration sub-agent
대부분의 사용자는 여전히 탐색 중일 때 전체 데이터셋에 대한 전체 접근이 필요하지 않습니다. 종종 그들은 구조나 내용을 이해하기 위해 작은 부분만 보면 됩니다.
이 Sub Agent는 사용자가 안전하게 탐색할 수 있도록 작은 데이터 샘플에 대한 임시 또는 부분 접근을 제공합니다. 이러한 종류의 저위험 탐색이 민감한 정보를 노출하지 않도록 보장합니다.
Access-negotiation sub-agent
전체 접근이 필요한 경우, 이 Sub Agent는 공식 권한 요청을 준비합니다. 비즈니스 요구와 데이터 정책에 따라 접근을 요청하기 위해 Data-owner Agent와 직접 통신합니다.
현재 Meta는 사람을 루프에 유지하여 이러한 상호작용을 감독하고 있으며, 이는 사람이 Agent의 행동을 검토하거나 확인한다는 것을 의미합니다. 그러나 엔지니어링 팀은 시간이 지남에 따라 시스템이 성숙하고 안전 메커니즘이 개선됨에 따라 이 서브 Agent가 더 자율적으로 작동할 수 있을 것으로 예상합니다.
Data-Owner Agent
워크플로의 다른 쪽에는 민감한 정보를 제어하는 데이터 관리자나 팀을 나타내는 Data-owner Agent가 있습니다.
이것도 각각 다른 책임에 초점을 맞춘 전문화된 컴포넌트로 구성됩니다. 아래 다이어그램을 참조하세요:
Data owner Agent의 두 가지 주요 컴포넌트를 살펴보겠습니다:
Security-operations sub-agent
이 Sub Agent는 주니어 보안 엔지니어처럼 기능합니다. 데이터 소유자가 작성한 표준 운영 절차(SOP)를 따르고 이를 들어오는 접근 요청에 적용합니다.
Data-user Agent가 요청을 보내면 이 Sub Agent는 확립된 규칙과 위험 정책에 대해 확인합니다. 요청이 보안 프로토콜을 따르고 유효한 목적을 가진 합법적인 사용자에게만 접근이 부여되도록 보장합니다.
Access-management sub-agent
요청 처리를 넘어서, 이 Sub Agent는 접근 정책을 형성하고 유지하는 데 적극적인 역할을 합니다. 엔지니어가 사용자 역할과 권한을 수동으로 검사했던 이전의 "역할 마이닝" 프로세스를 더 스마트하고 자동화된 시스템으로 진화시킵니다.
메타데이터, 데이터 의미론, 과거 접근 패턴을 사용하여 누가 어떤 리소스에 접근해야 하는지를 지속적으로 개선하고 최적화합니다. 이는 Meta가 데이터 웨어하우스를 안전하게 유지하면서도 권한 관리의 수동 오버헤드를 줄이는 데 도움이 됩니다.
데이터 웨어하우스를 Agent 친화적으로 만들기
Meta 엔지니어링 팀의 다음 과제는 데이터 웨어하우스를 사람뿐만 아니라 AI Agent도 사용할 수 있도록 만드는 것이었습니다.
사람과 달리 Agent는 텍스트 기반 인터페이스를 통해 상호작용합니다. 이는 그래픽 대시보드를 탐색하거나 폴더를 수동으로 탐색할 수 없다는 것을 의미합니다. 그들은 처리하고 추론할 수 있는 구조화된 텍스트 읽기 가능한 형식으로 제공되는 정보가 필요합니다.
이를 달성하기 위해 Meta는 데이터 웨어하우스를 컴퓨터에서 폴더와 파일이 구성되는 방식과 유사한 텍스트 탐색 가능한 계층 구조로 재설계했습니다. 이 설정에서 웨어하우스의 각 요소(테이블, 대시보드 또는 정책)는 리소스로 취급됩니다. Agent는 이러한 리소스를 읽고 그들이 서로 어떻게 관련되어 있는지 이해할 수 있습니다. 시스템은 복잡한 웨어하우스 객체를 각 리소스가 무엇을 나타내고 어떻게 사용될 수 있는지 설명하는 텍스트 요약으로 변환합니다.
또한 SOP, 내부 문서, 심지어 과거 접근 규칙과 같은 중요한 자료도 텍스트로 표현됩니다. 이 접근 방식을 통해 Agent를 구동하는 LLM이 문서의 서면 정보를 분석하는 것처럼 이러한 텍스트 리소스를 분석할 수 있습니다.
Context와 Intention 관리
데이터 접근에 대해 좋은 결정을 내리기 위해 AI Agent는 요청 주변의 전체 상황을 이해해야 합니다. Meta 엔지니어링 팀은 이것을 context와 intention 관리라고 부릅니다. 이 두 개념은 함께 Agent가 누가 데이터를 요청하는지, 무엇에 접근하려고 하는지, 왜 필요한지를 파악하는 데 도움이 됩니다.
Context 관리부터 시작하겠습니다. Context는 Agent에게 행동하기 전에 필요한 배경 정보를 제공합니다. Meta는 세 가지 주요 유형의 context를 정의합니다:
-
Automatic context: 누군가 데이터셋을 열거나 쿼리를 실행하려고 할 때 시스템은 이미 그들이 누구이고 어떤 리소스에 접근하려고 하는지 알고 있습니다. 이 정보는 내부 도구와 사용자 ID에서 자동으로 수집됩니다.
-
Static context: 때때로 사용자는 특정 프로젝트나 데이터셋 카테고리에 집중하고 싶어합니다. 그들은 그 범위를 수동으로 정의할 수 있습니다. 예를 들어, 엔지니어는 검색 결과를 관련 테이블로 제한하기 위해 "Ad Metrics" 프로젝트 영역 내에서 작업하도록 선택할 수 있습니다.
-
Dynamic context: Agent는 메타데이터를 분석하거나 유사성 검색을 수행하여 context를 더욱 세밀화할 수 있습니다. 예를 들어, 사용자가 광고 지출 데이터를 연구하는 경우 Agent는 광고 예산이나 캠페인 성과와 관련된 다른 테이블을 자동으로 찾을 수 있습니다.
Context가 명확해지면 다음 단계는 사용자 요청 뒤에 있는 이유를 식별하는 intention 관리입니다. Meta는 이것을 두 가지 방식으로 접근합니다:
-
Explicit intention은 사용자가 자신의 목적을 명확하게 명시할 때입니다. 예를 들어, 그들은 "Q3 광고 성과 조사"를 하고 있다고 표시할 수 있습니다. 시스템은 이 역할이나 목표를 적절한 데이터 접근 정책과 일치시킬 수 있습니다.
-
Implicit intention은 시스템이 사용자 행동으로부터 목적을 추론할 때입니다. 엔지니어가 자정에 갑자기 오류 로그에 접근하기 시작하면 시스템은 합리적으로 그들이 장애에 대응하고 있다고 가정하고 제한된 진단 접근을 임시로 부여할 수 있습니다.
Deep Dive: 부분 데이터 미리보기
Meta의 agentic 데이터 접근 시스템이 실제로 어떻게 작동하는지 이해하기 위해 엔드 투 엔드 예제를 살펴보겠습니다.
프로세스는 데이터 과학자가 분석을 위해 새로운 데이터를 보려고 할 때 시작됩니다. 전체 데이터셋에 대한 전체 접근을 즉시 부여하는 대신 low-risk exploration Sub Agent가 먼저 개입합니다. 이는 사용자가 데이터의 구조를 이해하고 그것이 자신의 작업과 관련이 있는지 결정할 수 있도록 작고 제한된 샘플을 볼 수 있게 합니다. 이 단계에서 context-aware 제어는 데이터셋의 민감하지 않은 부분만 보이도록 보장합니다.
사용자가 나중에 더 깊거나 더 넓은 접근이 필요한 경우 access-negotiation Sub Agent가 자동으로 공식 권한 요청을 준비하고 검토를 위해 Data-owner Agent에 연락합니다. 이 워크플로는 모든 단계에서 보호 계층을 시행함으로써 탐색 속도를 높일 뿐만 아니라 보안을 그대로 유지합니다.
전체 시스템은 네 가지 주요 기능을 통해 작동합니다:
-
Context 분석: Agent는 사용자가 무엇을 하려고 하는지 이해하고 비즈니스 규칙 및 정책과 일치시킵니다.
-
Query-level 접근 제어: 각 쿼리는 얼마나 많은 데이터를 접촉하는지, 집계나 무작위 샘플링을 수행하는지 검사됩니다. 이는 시스템이 노출의 잠재적 위험을 판단하는 데 도움이 됩니다.
-
Data-access budget: 모든 직원은 매일 얼마나 많은 데이터에 접근할 수 있는지에 대한 일일 할당량이 있습니다. 이 예산은 매일 자동으로 재설정되며 우발적인 과다 노출에 대한 안전장치 역할을 합니다.
-
Rule-based 위험 관리: 시스템은 분석 위험 규칙을 통해 Agent 행동을 지속적으로 모니터링하여 비정상적이거나 잠재적으로 안전하지 않은 것을 포착합니다.
이면에서는 복잡한 아키텍처가 이 워크플로를 구동합니다.
Data-user Agent는 진입점 역할을 합니다. 여러 내부 도구에서 신호를 수집합니다:
-
코드 편집(diff), 대시보드 보기, 작업 완료 또는 서비스 이벤트 처리와 같은 작업을 포함하는 사용자 활동 로그
-
팀, 역할, 현재 프로젝트 세부 정보와 같은 사용자 프로필 정보
이 정보를 사용하여 Agent는 사용자가 요청하는 이유와 달성해야 할 것에 대한 구조화된 이해인 intention 모델을 구축합니다. 이 모델은 쿼리의 형태(예: 몇 개의 행을 읽는지, 데이터를 집계하는지, 큰 테이블을 조인하는지)와 결합되어 상황의 완전한 그림을 형성합니다.
이 intention이 형성되면 Data-user Agent는 Data-owner Agent에게 제어를 넘깁니다. 이 두 번째 Agent는 테이블 요약, 열 설명, SOP를 포함한 요청된 리소스에 대한 메타데이터를 검색합니다. 그런 다음 대규모 언어 모델(LLM)을 사용하여 접근을 허용할지 거부할지에 대해 추론합니다. LLM의 추론은 결과가 보안 정책과 일치하는지 확인하기 위해 rule-based 위험 계산을 적용하는 guardrail 세트에 의해 확인됩니다.
아래 다이어그램을 참조하세요:
모든 작업, 결정 및 결과는 향후 감사 및 분석을 위해 안전하게 기록됩니다. 이를 통해 각 접근 결정이 어떻게 그리고 왜 내려졌는지 정확하게 추적할 수 있습니다.
결론
Meta 엔지니어링 팀은 방대한 웨어하우스 시스템 전반에 걸쳐 데이터가 접근되고 보안되는 방식을 변환하는 데 상당한 진전을 이루었습니다. 그러나 완전히 Agent 준비가 된 인프라를 향한 여정은 여전히 진행 중입니다. 장기적인 비전은 사람과 AI Agent가 복잡성이나 위험을 추가하지 않고 안전하고 효율적으로 나란히 작업할 수 있는 시스템을 만드는 것입니다.
지속적인 초점의 첫 번째 영역은 Agent 협업입니다. Meta는 Agent가 직접적인 사람의 입력 없이 사용자를 대신하여 행동하는 시나리오를 점점 더 많이 보고 있습니다. 미래에는 이러한 Agent들이 자동으로 서로 통신하고 협상할 수 있습니다. 이를 지원하기 위해 Meta는 모든 교환이 투명하고, 감사 가능하며, 회사 정책과 일치하도록 보장하면서 Agent가 상호작용하는 방식을 개선해야 합니다.
다음으로 인프라 자체가 진화해야 합니다. Meta의 많은 웨어하우스 도구, API 및 인터페이스는 원래 사람의 사용을 위해 구축되었습니다. 기계 간 워크플로를 완전히 활성화하려면 이러한 시스템이 자동화된 추론, 맥락적 이해 및 Agent 간의 안전한 위임을 수용하도록 재설계되어야 합니다.
마지막으로 Meta는 벤치마킹과 평가에 많은 투자를 하고 있습니다. Agent가 안전하게 작동하려면 회사는 성능, 정확성 및 규정 준수를 지속적으로 측정해야 합니다. 이는 명확한 메트릭을 정의하고 오류나 회귀를 감지하기 위해 정기적인 평가를 실행하는 것을 포함합니다. 사람 검토와 자동화된 평가에 의해 생성된 피드백 루프는 시스템이 시간이 지남에 따라 학습하고 개선되도록 보장합니다.
요약하면, Meta의 데이터 웨어하우스는 이제 제어된 방식으로 접근을 요청할 뿐만 아니라 승인하는 AI Agent를 통합합니다. LLM 기반 추론과 rule-based guardrail의 조합은 생산성과 보안이 균형을 유지하도록 보장합니다.
참고 문헌:
Related Articles
Thank you for reading.