[DB] CDC(Change Data Capture), ETL

Change Data Capture의 약어로 마지막으로 추출한 이후 변경된 데이터만 골라내는 기술을 의미합니다. 흔히 데이터 백업이나 통합 작업을 할 경우 방대한 데이터를 다뤄야 하는데 원본 소스 데이터 가운데 최근 변경된 데이터들만 골라 다른 시스템으로 옮기게 되면 시스템 로드도 줄이고 전체적인 작업 생산성을 향상시킬 수 있습니다.  특히 한 시스템에 있는 대량의 데이터를 정기적으로 추출해 다른 시스템으로 이동하는 데이터 통합이나 데이터 웨어하우스 업무의 경우 CDC 기술을 이용하면 데이터를 추출, 이동하는 시간을 크게 줄일 수 있습니다. 또한 24시간 운영해야 하는 필수적인 업무 시스템의 경우 CDC 기술을 이용하면 다운타임 없이 실시간 백업과 데이터 통합이 가능합니다.

ETL은 Extarct, Transfrom, Load 솔루션으로 CDC와 같이 소스DB로 부터 타겟 DB로 데이터를 옮기는 역할을 합니다. CDC는 데이터 자체가 아닌 트렌젝션을 보냄으로서 속도가 빠르고 부하가 적습니다. 그러나 ETL 솔루션의 경우 SQL 쿼리문을 직접 보내서 추출하기 때문에 부하가 많으며 시간이 오래 걸립니다. 따라서 백업용으로 많이 쓰입니다. 대신 ETL의 경우 중간과정에서 데이터를 변환 할 수 있어 DB자체를 통합할때 사용할 수 있다는 차별점이 있습니다.

간단히 정리하자면 업무의 통합이 중요한 시대에서 확장성과 유연성이 중요시되는 시대로 바뀌게 되면서 기존 ETL 기술의 수요가 CDC 기술의 수요로 변화하게 된 것으로 볼 수 있습니다.