<aside> <img src="/icons/document_gray.svg" alt="/icons/document_gray.svg" width="40px" /> 목차

</aside>

프로젝트의 배경 및 목표

여러 커머스 채널에서 13개 브랜드를 판매하다 보니, 각 채널의 광고비와 매출 성과를 확인하려면 담당자가 매번 쿠팡 광고센터, WING, 네이버 판매자센터 화면을 직접 들여다봐야 했습니다. 브랜드와 채널 수가 많아 수기 집계에 시간이 들고, 사람이 보는 시점마다 값이 달라 데이터를 한곳에 모아 분석하기 어려웠습니다.

이 프로젝트의 목표는 여러 커머스 채널의 데이터를 자동으로 수집해, 13개 브랜드 데이터를 시트와 데이터 분석용 저장소(BigQuery)에 일/시간별로 적재하는 것이었습니다. 이때 채널마다 데이터를 제공하는 방식이 달라, 공식 API가 없는 쿠팡은 화면 크롤링으로, 공식 API가 있는 네이버는 직접 연동으로 수집해 채널 특성에 맞는 경로를 구성했습니다. 단순 수집을 넘어, 잘못 수집된 데이터가 조용히 섞여 들어가지 않도록 신뢰성을 확보하는 것을 핵심 요구로 두었습니다.

핵심 성과

• 13개 브랜드 매시간 자동 수집 — 수기 집계 대비 일 2~3시간 절감, 사람이 보는 시점마다 달라지던 값을 단일 기준으로 통일
• 거짓 성공 차단 — 빈 표·스테일 값·우연히 맞는 합계 등 "성공처럼 보이는 실패"를 다층 검증으로 적재 전 차단
• 실패 자동진단 — 수집 실패 알림을 AI 진단 봇이 조사해 원인·수정안을 슬랙 DM으로 회신

프로젝트 주요 내용

채널별 수집 방식

• 쿠팡 (광고비, 매출): 공식 API가 없어, 실제 브라우저 기반 자동화로 광고센터와 WING 화면을 직접 수집했습니다.
• 네이버 스마트스토어 (매출, 수수료): 공식 정산 API를 직접 연동해 데이터를 받았습니다. 상품/주문 API를 쓰는 대행사 연동과 별개로, 판매자 본인 애플리케이션을 등록해 정산 데이터만 따로 수집하는 구조로 구성했습니다.

실제 브라우저 기반 수집 (쿠팡)

• 쿠팡은 자동화된 접근을 제한하고 있어 일반적인 자동화 도구로는 접근이 어려웠습니다. 실제 브라우저와 사람과 유사한 입력 패턴으로 안정적으로 접속해, 광고센터의 캠페인 성과 표를 수집했습니다.

다중 적재 (시트 + BigQuery)

• 수집한 데이터를 매출팀이 보는 Google Sheets, 누적 분석용 BigQuery 테이블, 그리고 당일 시간별 스냅샷까지 세 곳에 적재해, 용도에 맞게 데이터를 쓸 수 있도록 했습니다.

정합성 검증