성공적이고 효과적인 데이터 웨어하우스 마이그레이션에는 적절한 계획, 명확한 목표, 잘 정의된 예산이 필요합니다. 이 기사에서는 효과적인 데이터 웨어하우스 관리에 도움이 될 수 있는 다양한 단계에 대해 설명하겠습니다.
효과적인 데이터 웨어하우스 마이그레이션을 달성하는 방법:
- 프로젝트 개시: 효과적인 데이터 웨어하우스 마이그레이션을 달성하기 위한 첫 번째 단계는 마이그레이션 목표와 범위에 부합하고 가능한 결과와 원하는 결과를 인식하고 있는 IT 이해관계자, 과학자 등을 포함하여 올바른 사람들 그룹을 식별하는 것입니다. 비용 절감, 성능 개선, 새롭고 더 나은 기능에 대한 액세스 등 마이그레이션 프로세스가 수행되는 목표를 명확하게 설명하는 것이 중요합니다. 또한 마이그레이션 프로세스와 관련된 잠재적 위험을 식별하고 이러한 위험을 완화하는 데 도움이 될 수 있는 단계를 정의하는 것도 필요합니다.
- 디자인과 건축: 데이터 흐름의 일관성을 보장하는 비즈니스 요구 사항에 맞는 청사진을 생성하여 설계 및 아키텍처 단계를 수행할 수 있습니다. 프로세스는 올바른 모델을 선택하고, ETL 프로세스를 정의하고, 조직의 변화하는 요구 사항에 맞는 프레임워크를 설계하는 것부터 시작됩니다. 또한 아키텍처는 향후 요구 사항과 변경 사항을 수용할 수 있도록 확장될 수 있어야 합니다. 설계에서는 보안, 성능 및 거버넌스를 고려해야 합니다.
- 마이그레이션 준비: 마이그레이션 프로세스는 대상 환경을 준비하고 스토리지, 컴퓨팅 리소스 및 네트워크 구성이 준비되어 있는지 확인하는 것부터 시작됩니다. 회사에서는 데이터의 일부를 사용하여 파일럿 마이그레이션 테스트를 수행하여 잠재적인 문제를 식별하고 마이그레이션 프로세스가 효과적인지 확인할 수 있습니다.
버전 및 ETL 업그레이드도 성공적인 마이그레이션 단계의 필수 부분 중 일부입니다. ETL 버전 업그레이드는 기존 IT 환경 내에서 이루어지지만, 데이터베이스 버전 업그레이드는 일반적으로 새로운 웨어하우스 환경에서 이루어집니다. ETL 공급업체가 ETL 업그레이드 프로세스를 지원하고 마이그레이션 프로세스 중에 문제가 발생할 경우 환경을 복원할 수 있도록 보장하는 것이 중요합니다. 버전이 적절하게 업그레이드되면 일반적으로 데이터베이스 공급업체에서 이에 대한 지원을 제공합니다. 데이터베이스 버전 업데이트는 원활하게 이루어져야 하며 그렇지 않으면 복잡해질 수 있습니다. - 데이터 발견: 현재 웨어하우스가 무엇을 제공하는지, 새 웨어하우스에서 무엇을 기대할 수 있는지를 정확하게 알고 이해하는 것이 중요한 것처럼, 마이그레이션할 데이터에 대한 자세한 전망을 갖는 것도 중요합니다. 기존 데이터나 원본 데이터를 프로파일링하고 감사하면 오류와 이상 현상을 조기에 식별하는 것이 더 쉬워집니다. 이 프로세스를 통해 깨끗한 데이터를 더 쉽게 매핑하고 새 웨어하우스로 전송할 수 있으며 데이터 이상 현상이 전달되는 것을 방지할 수 있습니다. 이 단계를 수행하면 마이그레이션 프로세스가 더 빠르고 쉬워지며 새 데이터 웨어하우스에서 데이터를 정리하는 데 드는 비용 증가가 줄어듭니다.
- 마이그레이션 범위 결정: 기업에서는 마이그레이션할 데이터, 마이그레이션할 데이터의 양, 마이그레이션 시기, 증분 마이그레이션인지 전체 마이그레이션인지 여부에 액세스하여 마이그레이션 범위를 결정하는 것이 중요합니다. 기업은 데이터 마트를 개별적으로 마이그레이션하는 등 가장 중요한 부분의 우선순위를 먼저 결정할 수 있습니다. 또한 매핑 사양은 마이그레이션할 데이터가 수신 웨어하우스에 쉽게 맞는지 확인하고, 매핑 사양은 오류를 찾기 위해 마이그레이션 코드로 변환되며, ETL 도구는 데이터를 정리하고 필요한 경우 대상 웨어하우스가 매핑 사양과 일치하도록 재구성하는 데 유용할 수 있습니다.
- 데이터를 새 웨어하우스로 이동: 데이터를 새 웨어하우스로 이동하거나 채우려면 데이터를 새 웨어하우스로 마이그레이션하는 방법을 이해해야 합니다. 클라이언트와 ETL 프로세스를 준비하면 새 데이터베이스 조직을 사용하여 대상 웨어하우스에 테이블을 채우기 시작할 수 있습니다. 한 번에 모든 테이블을 채울 수는 없으므로 먼저 이동해야 할 테이블의 우선 순위를 지정하는 것이 중요합니다. 이는 먼저 새 웨어하우스의 파이프라인이 예상대로 작동하는지 확인하는 데 도움이 될 수 있는 기본 논리 작업을 이동한 다음 더 복잡한 데이터로 이동하여 수행할 수 있습니다. 새 창고로 이전한다고 해서 비즈니스가 중단되는 것은 아닙니다. 이는 모든 데이터가 오류 없이 새 웨어하우스로 마이그레이션될 때까지 기존 웨어하우스가 작동해야 함을 의미합니다. 기존 웨어하우스에 데이터 사본을 보관하면 두 가지 측면에서 도움이 됩니다. 첫째, 비즈니스가 계속 작동하고 둘째, 기존 데이터와 마이그레이션된 데이터를 비교할 수 있게 됩니다.
- 마이그레이션 후 데이터 확인: 마이그레이션 후 데이터를 확인하려면 새 웨어하우스에서 마이그레이션된 데이터의 정확성을 확인해야 합니다. 이 프로세스에는 데이터가 올바르게 마이그레이션되었는지 확인하는 데 도움이 되는 프로파일링, 감사, 조정과 같은 다양한 기술이 포함됩니다. 데이터 검증을 통해 오류와 불일치가 발견되었는지 확인하고 마이그레이션 프로세스의 효율성을 확인합니다.
- 오래된 창고 채우기를 중단하세요: 데이터를 새 웨어하우스로 효과적으로 마이그레이션하는 마지막 단계 중 하나는 새 웨어하우스가 평가될 때까지 작업이 이전 웨어하우스를 채우도록 하는 것입니다. 이 작업은 새 웨어하우스의 데이터 안정성에 따라 완전히 또는 점진적으로 중지될 수 있습니다.
- 새 창고에 대한 문서화 및 교육: 마지막 단계는 기존 창고를 폐쇄하고 새 창고로 이동하는 것입니다. 새로운 데이터 웨어하우스의 설계, 아키텍처, 데이터 모델 및 프로세스를 명확하게 설명하는 상세하고 포괄적인 문서를 작성하는 것이 필요합니다. 모범 사례를 사용하여 이해관계자를 교육하면 새 창고를 효율적이고 효과적으로 사용할 수 있습니다.
결론
마이그레이션 과정은 간단하지 않습니다. 효율적인 데이터 웨어하우징 서비스 팀은 기업이 성공적인 데이터 웨어하우스 마이그레이션을 준비하고 계획하는 데 효과적으로 도움을 줄 수 있습니다. 성공적이고 효과적인 웨어하우스 마이그레이션으로 이어지는 여러 단계를 사용하여 데이터 무결성을 유지하고 가동 중지 시간을 최소화할 수 있습니다.