Cloudflare 내부 AI 스택 — 93% 개발자 채택률을 만든 방법

93%. Cloudflare R&D 조직에서 1년도 안에 AI 코딩 도구를 채택한 비율이다. 숫자만 보면 그냥 도구를 잘 배포한 이야기처럼 보인다. 실제로는 인증, 라우팅, 지식 시스템, 품질 집행이라는 네 계층을 자사 인프라로 구축한 이야기다.

30일 지표:

• 활성 사용자 3,683명
• AI 요청 4,795만 건
• AI Gateway를 통과한 토큰 2,413억 개
• Workers AI 처리 토큰 518억 개

하나의 명령으로 모든 것을 연결한다

기업 AI 도구의 가장 큰 마찰은 설정이다. 어떤 API 키를 어디에 등록하고, MCP 서버를 어떻게 연결하고, 권한은 어떻게 받는지를 개발자마다 각자 해결하게 두면 채택률이 낮아진다.

Cloudflare의 해결책은 단일 인증 명령이다.

cloudflare-ai setup

이 명령 하나가 모든 AI 공급자, MCP 서버, 권한 설정을 자동으로 구성한다. 개발자가 어떤 도구를 쓰든 Cloudflare Access를 통해 인증하고, AI Gateway로 라우팅된다.

[💡 잠깐! 이 용어는?] MCP(Model Context Protocol): AI 에이전트가 외부 도구·데이터에 접근하는 표준 프로토콜. 에이전트가 "파일을 읽어라"고 명령하면 MCP가 실제 파일시스템과 통신한다.

모델 분배 전략

모든 작업에 최고 성능 모델을 쓰면 비용이 폭발한다. Cloudflare의 모델 분배는 이렇다.

Workers AI가 담당하는 8.84%는 대량으로 반복 호출되는 경량 작업이다. 프론티어 모델 비용의 분수 수준에서 처리할 수 있다.

AGENTS.md — 3,900개 리포지토리에 걸친 컨텍스트 시스템

AI 에이전트가 새로운 리포지토리에서 작업을 시작할 때 가장 큰 비용은 컨텍스트 구축이다. 코드베이스 구조, 팀 컨벤션, 배포 방식을 에이전트가 매번 추론해야 한다.

Cloudflare는 AGENTS.md 파일을 3,900개 리포지토리 전체에 배포했다. 각 파일에는 다음 정보가 담긴다.

# 리포지토리 개요
이 리포지토리는 Workers AI 추론 API를 담당한다.
 
## 빌드 및 테스트
- 빌드: `pnpm build`
- 테스트: `pnpm test`
- 린트: `pnpm lint`
 
## 아키텍처
- 진입점: `src/index.ts`
- 라우팅: Hono 기반
- 배포: Wrangler CLI → Workers
 
## 코딩 컨벤션
- TypeScript strict mode
- 에러 핸들링: Result 타입 패턴
- 테스트: Vitest + Miniflare

에이전트가 이 파일을 읽으면 코드베이스를 탐색하지 않아도 기본 컨텍스트를 얻는다. 추론 오버헤드가 없는 컨텍스트 제공 방식이다.

Code Mode — 토큰 15,000개에서 0으로

AI 에이전트가 포털이나 대시보드 도구를 통해 작업할 때, 도구 스키마 자체가 컨텍스트를 잡아먹는다. Cloudflare 내부 개발 포털에서는 MCP 도구 스키마가 15,000 토큰을 소비했다.

"Code Mode"가 이를 해결했다. 포털이 에이전트용 전용 모드로 전환되면서 스키마 오버헤드가 무시 가능한 수준으로 줄었다. 에이전트가 실제 작업에 집중할 수 있는 컨텍스트 윈도우가 확보됐다.

비유하면 이렇다. 도구 스키마를 매번 읽는 것은 요리사가 요리할 때마다 식칼 설명서를 먼저 읽는 것과 같다. Code Mode는 "설명서는 이미 알고 있다"고 가정하는 구조다.

Engineering Codex — 기계가 읽는 코딩 표준

일반적인 코딩 표준은 인간이 읽는 문서로 존재한다. AI 검토자에게 "이 리포의 표준을 따라라"고 지시하면, 에이전트가 문서를 직접 파싱해야 한다.

Engineering Codex는 코딩 표준을 기계가 읽을 수 있는 구조화된 형식으로 정리한 것이다. AI 코드 리뷰 시스템의 검토자들이 이를 직접 참조해서 조직 기준 위반을 탐지한다.

{
  "rule": "no-hardcoded-secrets",
  "severity": "critical",
  "description": "API 키, 비밀번호, 토큰을 코드에 직접 작성 금지",
  "examples": {
    "bad": "const API_KEY = 'sk-proj-abc123'",
    "good": "const API_KEY = env.API_KEY"
  }
}

Backstage — 서비스 카탈로그와 AI의 연결

에이전트가 "이 서비스 오너가 누구인가", "의존성이 뭐가 있는가", "운영 런북이 어디 있는가"를 알아야 할 때, 수동으로 뒤지는 건 비효율적이다.

Cloudflare는 오픈소스 Backstage를 서비스 카탈로그로 쓰고, MCP를 통해 AI 에이전트가 이 정보에 접근하게 했다. 인시던트 대응 에이전트가 "이 서비스의 오너에게 알림 보내기"를 실행할 수 있는 기반이다.

에이전트 세션 아키텍처

장기 실행 에이전트 작업은 Agents SDK와 Durable Objects로 처리한다.

import { Agent } from "@cloudflare/agents-sdk";
 
export class CodeReviewAgent extends Agent {
  async onMessage(message: AgentMessage) {
    // Durable Object가 세션 상태를 유지
    const context = await this.state.get("reviewContext");
    
    const result = await this.callTool("analyze_diff", {
      diff: message.payload.diff,
      previousFindings: context?.findings ?? []
    });
    
    await this.state.put("reviewContext", {
      findings: result.findings
    });
    
    return result;
  }
}

Durable Object가 세션 상태를 유지하기 때문에, 에이전트 작업이 오래 걸려도 중간 상태가 보존된다.

채택률 93%의 실제 이유

도구를 잘 만들면 자동으로 채택된다는 믿음이 있다. Cloudflare의 경험은 다르다.

• 마찰 제거: 단일 명령으로 모든 설정 완료
• 컨텍스트 투자: 3,900개 리포에 AGENTS.md 배포
• 점진적 통합: 기존 CI/CD, 코드 리뷰, 포털에 AI를 삽입
• 표준화: Engineering Codex로 AI 판단 기준 정렬

비유하면 새 직원에게 좋은 컴퓨터만 주는 게 아니라, 회사 표준과 맥락을 미리 정리해서 제공하는 것과 같다. 도구의 성능만큼 온보딩 구조가 채택률을 결정한다.

마무리

Cloudflare의 내부 AI 스택이 흥미로운 이유는 자사 제품을 직접 사용한 케이스이기 때문이다. Workers AI, AI Gateway, Durable Objects, Agents SDK가 실제 R&D 조직에서 어떻게 동작하는지를 수치로 보여준다.

• 93% 채택 → 마찰 제거 + 표준화
• 241억 토큰/30일 → 규모에서 비용 제어가 핵심
• AGENTS.md → 컨텍스트 투자가 에이전트 성능을 결정

"우리도 AI 도구를 도입하자"고 말하기는 쉽다. 실제로 수천 명의 개발자가 쓰게 만드는 건 다른 문제다.

참고:

• Cloudflare Blog - The AI engineering stack we built internally: https://blog.cloudflare.com/internal-ai-engineering-stack/