개요

배경

커넥트웨이브(다나와)는 대규모 상품 데이터를 처리하는 가격비교 플랫폼입니다. 레거시 시스템에서 신규 플랫폼으로 마이그레이션하는 과정에서, 기존 작업자가 비즈니스 로직만 구현한 상태의 상품 저장 시스템을 인수받았습니다.

초기 상태에서 5만 건 저장에 약 200초가 소요되어, 실시간 상품 데이터 처리에 적합하지 않은 상황이었습니다.

문제 분석

1차 분석: Thread Dump

• Pod 내부에 접근하여 Thread Dump를 수집
• MongoDB 중첩 필드 처리 시 예외가 누적되는 병목 지점을 파악

flowchart LR
    A[API 요청<br>5만 건 저장] --> B[Spring Boot 앱]
    B --> C[MongoDB 드라이버]
    C --> D[중첩 필드 처리]
    D --> E[예외 누적 ❌]
    E --> F[200초 소요]

병목 상세

• 중첩 필드의 이름을 기준으로 파싱하는 로직에서, 이름이 문자열로 되어있고, 유틸리티 함수에서 예외를 투척하며, 모든 필드에 대해 예외가 중첩되는 상황. 즉, 10개의 중첩 필드가 있고, 그 중첩 필드 내부에 중첩이 또 있으면 곱해져서 예외가 중첩되는 구조.
• Thread Dump 에서 특정 예외가 수백개 이상 발생하고, 스텍트레이스를 로그로 찍는 행위 등이 반복되며 문자열 파싱 로직 에서 OOM 이 발생하기도 하는 것을 확인함.

무엇을 했나

1단계: 병목 제거 (200초 → 10초)

• MongoDB 중첩 필드 처리 시 예외가 누적되는 로직을 수정
• 변환을 위한 필드 이름을 문자열로 관리하지 않고, 코틀린의 클래스 필드 이름을 사용하도록 하는 방식을 이용해 타입 안정성을 가져가는 방향으로 수정.