어떤 회사인가요
코인원은 국내 대표 가상자산 거래소 중 하나로, 안전하고 투명한 거래 환경을 제공하기 위해 다양한 금융 및 데이터 기술을 적극적으로 도입해온 회사입니다. NHN Enterprise 에서 이직하게 된 가장 큰 이유는 고객들의 운영환경을 듣다보니 내 제품, 내 환경의 무언가를 운영하는 서비스(B2C)를 경험하고 싶었어요. 그리고 가장 큰 이유, 개발자로 성장하고 싶었습니다.
본인의 역할은 무엇인가요(무엇이었나요)
배치 파이프라인: 안정적이고 견고한 배치 데이터 파이프라인을 운영하여, 대규모 거래 및 로그 데이터를 정제·적재하고 분석이 가능한 형태로 제공했습니다. DW 는 GCP 의 BigQuery 를 이용했고, Airflow 오퍼레이터로 상태 기반 파이프라인을 만들었어요.실시간 데이터 파이프라인: Kafka Connect 기반의 실시간 데이터 파이프라인을 구축하여 거래소 서비스의 주요 지표와 이벤트를 빠르게 수집·처리할 수 있도록 지원했습니다.컨테이너 기반 데이터 프로덕트 운영 및 배포: 거래소 서비스는 모두 AWS EKS 로 관리되었고 데이터팀도 Argo/Helm 기반 배포 파이프라인을 이용해 프로덕트를 만들고 배포했습니다. Ochestration, BI, 자체 개발한 프로덕트를 헬름 차트로 관리해 배포하고 운영했습니다.
잘하고(잘했던) 있던 것 & 아쉬운(아쉬웠던) 것은 무엇인가요
안정적인 파이프라인 운영: 배치·실시간 파이프라인 모두에서 장애 상황을 최소화하고, 데이터 무결성을 확보하는 데 주력했습니다.데이터 기술에 대한 호기심과 검증: 오픈소스 도구와 프레임워크를 적극적으로 실험하며 성능 검증을 진행했고, 실제 서비스 환경에 적용 가능한 최적의 기술 스택을 제안했습니다.개발자 생태계 기여: 데이터 엔지니어링 업무와 병행하여 오픈소스 프로젝트에 참여하고 기여함으로써, 회사의 기술 스택을 강화하고 외부 기술 커뮤니티와의 연결을 확대했습니다.분석가와 엔지니어 간 허물없는 유대감 형성: 퇴사 전 마지막 동료들에게 받았던 피드백입니다. 분석가와 함 팀에 속해서, 보통의 분석가가 엔지니어에게 이거 해보고 싶어요. 이거 해주세요. 등의 요청을 하기 어려웠었지만, 저로 인해 그 어려움이 사라졌다는 평을 들었어요. 물론 모든 걸 다 해주지 않았지만, 합리적(기술/상황 기준으로)으로 판단해 도왔던 내용들이 고마웠다는 이야기를 듣고 마음이 뿌듯했어요.
아쉬웠던 점은,
- 초기에는 파이프라인 운영 경험이 부족하여 문제 해결에 시간이 다소 걸리는 경우가 있었습니다. 이를 보완하기 위해 클라우드 환경 및 데이터 처리 관련 학습을 병행했고, 점차 문제 해결 속도를 개선해 하루 이상 걸리던 장애 원인 분석을 수 시간 내로 단축할 수 있었습니다.
- 처음부터 잘 만든 물건을 보여주고 싶은 욕심이 컸습니다. 이러한 관성으로 설계 문서에만 치중하다 프로덕트를 런칭하는데까지 계획한 시간보다 지연을 경험했어요. 이를 극복하고자 큰 단위의 업무들을 작은 단위로 쪼개 일/주 단위(스프린트)로 나누고, 적절히 타협하는 연습을 통해 빠르게 제품을 제공하고 개선해나가는 습관을 가졌습니다.
진행중인, 완료한, 크고 작은 프로젝트(들)은 무엇인가요
완료
- Debezium 을 이용한 CDC 파이프라인 구축
- 서버로그 파이프라인 마이그레이션
- Self Serve Data
- Github Action 을 활용한 dbt CI/CD 파이프라인 구축
작고 소중한
- 새로운 물건들을 경험해보고 남긴 문서: