GitHub Copilot 메트릭 대시보드 — 팀 AI 코딩 효율을 수치로 보는 법

팀에 GitHub Copilot을 도입했다. 그런데 실제로 효과가 있는 건지 어떻게 알 수 있을까?

"체감상 빨라진 것 같다"로는 부족하다. 비용을 정당화하려면 데이터가 필요하다. ghcp-dashboard는 GitHub Copilot API를 활용해 팀의 AI 코딩 현황을 시각화하는 오픈소스 도구다.

어떤 데이터를 보여주나

GitHub Copilot Business/Enterprise 계정이 있으면 GitHub API를 통해 사용량 데이터를 가져올 수 있다. ghcp-dashboard는 이 데이터를 읽기 편한 대시보드로 변환한다.

측정 가능한 항목:

[💡 잠깐! 이 용어는?] 수락률(Acceptance Rate): Copilot이 제안한 코드를 개발자가 실제로 채택한 비율. 높을수록 제안 품질이 좋거나, 개발자가 AI 제안에 익숙해졌다는 의미.

설치 방법

git clone https://github.com/zahhar/ghcp-dashboard
cd ghcp-dashboard
npm install

GITHUB_TOKEN=ghp_your_personal_access_token
GITHUB_ORG=your-organization-name

GitHub Personal Access Token에 read:org와 manage_billing:copilot 권한이 필요하다.

npm run dev
# localhost:3000에서 대시보드 확인

실제 활용 방법

도입 효과 측정

Copilot 도입 전후 비교가 핵심이다. 수락률이 시간이 지나면서 올라가면, 팀이 AI 제안을 더 잘 활용하게 됐다는 신호다. 반대로 계속 낮다면 프롬프트 방식이나 설정을 재검토할 필요가 있다.

언어별 ROI 분석

TypeScript 파일에서 수락률이 70%인데 SQL에서는 20%라면, SQL 자동완성은 Copilot이 별로 도움이 안 되는 것일 수 있다. 언어별 현황을 보면 어디서 가치가 만들어지는지 파악된다.

라이선스 최적화

팀 전체가 라이선스를 쓰고 있는지 확인할 수 있다. 활성 사용자가 전체의 50%뿐이라면, 나머지 라이선스는 낭비다. 재배치하거나 교육이 필요하다.

GitHub API 직접 접근

대시보드 없이 직접 데이터를 가져오려면:

curl -H "Authorization: Bearer $GITHUB_TOKEN" \
  -H "Accept: application/vnd.github+json" \
  "https://api.github.com/orgs/{org}/copilot/usage"

{
  "total_suggestions_count": 1234,
  "total_acceptances_count": 876,
  "total_active_users": 23,
  "breakdown": [
    {
      "language": "typescript",
      "editor": "vscode",
      "suggestions_count": 456,
      "acceptances_count": 312
    }
  ]
}

ghcp-dashboard는 이 원시 데이터를 시각화해주는 레이어다. API가 익숙하다면 직접 Grafana나 다른 도구로 연결해도 된다.

AI 코딩 메트릭의 한계

수락률이 높다고 무조건 좋은 건 아니다. 몇 가지 맹점이 있다.

첫째, 코드 품질은 측정 안 된다. Copilot 제안을 많이 수락했는데 나중에 리팩토링이 많이 필요했다면, 수락률은 높지만 실질 가치는 낮다.

둘째, 개발자마다 사용 패턴이 다르다. 어떤 사람은 제안을 꼼꼼히 검토하고, 어떤 사람은 습관적으로 Tab을 누른다. 같은 수락률이라도 의미가 다르다.

셋째, 팀 문화에 따라 활성화 정도가 크게 다르다. 강제한다고 늘어나지 않는다.

메트릭은 도구지, 목표가 아니다.

Claude Code vs GitHub Copilot

요즘 이 두 가지를 비교하는 질문을 많이 받는다. 간단히 정리하면:

둘 중 하나를 고르는 게 아니라, 함께 쓰는 팀도 많다. Copilot은 인라인 완성, Claude Code는 복잡한 작업 지시용으로.

마무리

Copilot 메트릭 대시보드는 "우리 팀이 AI를 제대로 쓰고 있나"를 확인하는 가장 빠른 방법이다. 숫자 자체보다, 숫자의 변화 추이를 보면서 팀의 AI 도입이 성숙해가는 과정을 추적하는 데 가치가 있다. 무료 오픈소스니까 설치해서 직접 확인해보는 게 가장 빠르다.

참고:

• ghcp-dashboard GitHub: https://github.com/zahhar/ghcp-dashboard
• GitHub Copilot Metrics API: https://docs.github.com/en/rest/copilot/copilot-metrics