데이터 파이프라인 시스템 복잡도를 관리하기 위해 아래와 같은 요소를 고려해야 합니다. 소스 타입, 데이터 형태, 가공 방식, 전달 채널, 운영 도구 등 각 고려 사항으로 언급한 다양성을 검토한 후에는 개별 케이스가 갖는 공통적인 특성이나 의미를 추출해야 합니다. 소스 타입이…
빅데이터실
데이터 파이프라인 기본 원리와 원칙은 시간이 지나도 유효해야 한다(2/2)
데이터 파이프라인 기본 원리와 원칙은 시간이 지나도 유효해야 한다(1/2)
게임은 서비스를 이어가면서 다양한 콘텐츠와 이벤트 요소를 지속적으로 업데이트합니다. 이에 따라 유저 유입이나 이탈 이외에도, 매출 등락이 시시각각 일어납니다. 이런 흐름을 분석하고 예측할 수 있어야, 서비스의 현 상태를 진단하고 정확한 의사결정을 할 수 있습니다. 데이터 파이프라인…
게임별 다양한 지표 추출을 위한 데이터 적재 파이프라인, Bigwave
정확한 의사결정을 위해 게임별로 다양한 지표를 추출해야 합니다. 이를 위해 시간별, 일자별 정제된 데이터가 필요합니다. Bigwave는 게임별 지표 작업을 위해 데이터를 적재하는 파이프라인을 부르는 프로젝트 명칭입니다. 지금부터 Bigwave의 발전과정을 소개합니다. 먼저, 기존…
옵저버빌리티: 로그라고해서 다 같은 로그가 아니다(2/2)
서비스 초창기부터 앞서서 소개한 로깅 기술을 적용해서 로그를 잘 활용하고, 로그 품질을 관리해왔다면 문제가 없을 것입니다. 하지만 레거시 서비스에 로깅 기술을 적용해보면 뜻하지 않은 문제를 겪게됩니다. 이는 그동안 로그 품질관리가 잘 되지 않은 탓입니다. 레거시 서비스에 로깅…
옵저버빌리티: 로그라고해서 다 같은 로그가 아니다(1/2)
넷마블은 현재 수천개 VM과 수백개 K8S 클러스터 위에서 200여개 서비스를 운영하고 있습니다. 지금 이 순간에도 그 양은 점점 늘어나고 있습니다. 당연히 서비스 운영 환경은 기하급수적으로 복잡해졌고, 앞으로도 더 복잡해질 것입니다. 이런 복잡한 서비스 환경에서 효율적인 운영을…