[정보처리기사] 3과목 데이터베이스 구축 : 5장. 데이터 전환

1. 데이터 전환
2. 데이터 전환 계획서 작성
3. 데이터 전환 방안
4. 데이터 검증
5. 오류 데이터 측정 및 정제
6. 데이터 정제요청서 및 정제보고서

 

 

 

1. 데이터 전환

 

데이터 전환의 정의

- 운영 중인 기존 정보 시스템에 축적되어 있는 데이터를 추출하여 새로 개발할 정보 시스템에서 운영 가능하도록 변환한 후 적재하는 일련의 과정

- 데이터 전환을 ETL, 즉 추출, 변환, 적재 과정이라고 함

​

데이터 전환 계획서

- 데이터 전환이 필요한 대상을 분석하여 데이터 전환 작업에 필요한 모든 계획을 기록하는 문서

- 주요 항목: 데이터 전환 개요, 데이터 전환 대상 및 범위, 데이터 전환 환경 구성, 데이터 전환 조직 및 역할, 데이터 전환 일정, 데이터 전환 방안, 데이터 정비 방안, 비상 계획, 데이터 복구 대책

 

 

 

2. 데이터 전환 계획서 작성

 

데이터 전환 개요

- 데이터 전환 개요 항목에는 데이터 전환의 목표, 성공적인 데이터 전환을 위한 주요 요인, 데이터 전환 작업을 위한 전제 조건 및 제약 사항을 기술함

​

데이터 전환 대상 및 범위

- 단위 업무별로 데이터 전환 대상 정보, 해당 업무에 사용되는 테이블 수, 데이터 크기를 기술함

​

데이터 전환 환경 구성

1) 원천 시스템 구성도

- 원천 시스템의 서버, 스토리지, 네트워크 등을 포함한 구성도를 작성

2) 목적 시스템 구성도

- 목적 시스템의 서버, 스토리지, 네트워크 등을 포함한 구성도를 작성

3) 전환 단계별 디스크 용량 산정

- 전환 검증, 시험 단계, 본 전환 단계별로 요구되는 파일 공간과 DB 공간을 산정하여 기술함

​

데이터 전환 조직 및 역할 작성

- 데이터 전환을 수행하고 결과를 검증할 작업자와 작업자별 역할을 최대한 상세히 기술함

​

데이터 전환 일정 작성

- 데이터 전환 및 검증 작업별로 상세하게 일정을 수립하여 작성

 

 

 

3. 데이터 전환 방안

 

데이터 전환 방안​

1) 데이터 전환 규칙

- 데이터 전환 과정에서 공통적으로 적용해야 할 규칙들을 기술함

​

2) 데이터 전환 절차

- 전환 준비, 전환 설계/개발, 전환 테스트, 실데이터 전환, 최종 전환 및 검증의 데이터 전환 절차를 체계적이고 상세하게 기술함

- 데이터 전환 절차 수립 시 작업의 이해를 위해 데이터 흐름도를 작성

​

3) 데이터 전환 방법

- 단위 업무별로 데이터 전환 방법을 기술하되, 데이터 전환 시 업무별로 요구되는 전제 조건도 함께 기술함

​

4) 데이터 전환 설계

- 업무별로 전환 대상과 전환 제외 대상을 기술하고 원천 시스템 테이블과 목적 시스템 테이블의 매핑 정의서를 작성

​

5) 전환 프로그램 개발 및 테스트 계획

- 전환 프로그램 개발 계획과 전환 프로그램 테스트 계획을 수립한 후 관련 내용을 기술

- 목록별로 프로그램 입력 정보, 중간 생성 정보, 출력 정보, 프로그램 위치, 담당자 등을 포함하여 작성

- 원천 시스템에서 사용하던 데이터를 목적 시스템으로 전환하기 위한 세부 데이터 항목을 전환 프로그램 목록별로 작성

- 전환 프로그램 테스트는 체크리스트를 기반으로 실시하고 실시 결과를 전환 시나리오에 반영하도록 계획

​

6) 데이터 전환 계획

- 데이터 전환 시간을 단축하기 위해 선 전환, 본 전환, 후 전환으로 분리하여 계획을 수립한 후 관련 내용을 기술함

- 데이터 전환 시간을 단축하기 위해 일자별 거래 내역, 일자별 근태 내역과 같은 대량의 데이터 테이블은 사전에 전환

- 본 전환 이후에 전환을 수행해도 되는 대상을 정의한 다음, 후 전환 계획을 수립

- 전환을 위한 준비부터 선 전환, 본 전환, 전환 점검, 시스템 오픈, 후 전환 등 작업별로 전환 시간, 전환 담당자, 관리자 등을 지정한 전환 시나리오를 작성

​

7) 데이터 검증 방안

- 데이터 전환 이후 전환 데이터의 정합성을 검증하고 전환 과정에서 발생할 수 있는 문제에 대응할 수 있도록 단계별 데이터 전환 검증 방안을 수립한 후 관련 내용 기술함

 

 

 

4. 데이터 검증

 

데이터 검증

- 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정

​

1) 검증 방법에 따른 분류

(1) 로그 검증: 데이터 전환 과정에서 작성하는 추출, 전환, 적재 로그를 검증

(2) 기본 항목 검증: 로그 검증 외에 별도로 요청된 검증 항목에 대해 검증

(3) 응용 프로그램 검증: 응용 프로그램을 통한 데이터 전환의 정합성을 검증

(4) 응용 데이터 검증: 사전에 정의된 업무 규칙을 기준으로 데이터 전환의 정합성을 검증

(5) 값 검증: 숫자 항목의 합계 검증, 코드 데이터의 범위 검증, 속성 변경에 따른 값 검증을 수행함

​

2) 검증 단계에 따른 분류

(1) 추출: 원천 시스템 뎅터에 대한 정합성 확인, 로그 검증

(2) 전환: 매핑 정의서에 정의된 내용이 정확히 반영되었는지, 매핑 정의서 오류 여부 확인, 로그 검증

(3) DB 적재: SAM 파일을 적재하는 과정에서 발생할 수 있는 오류나 데이터 누락 여부 등 확인, 로그 검증

(4) DB 적재 후: 적재 완료 후 정합성 확인, 기본 항목 검증

(5) 전환 완료 후: 데이터 전환 완료 후 추가 검증 과정을 통해 데이터 전환의 정합성 검증, 응용 프로그램 검증, 응용 데이터 검증

 

 

 

5. 오류 데이터 측정 및 정제

 

오류 데이터 측정 및 정제의 개요

- 고품질의 데이터를 운영 및 관리하기 위해 수행함

​

1) 데이터 품질 분석

- 오류 데이터를 찾기 위해 원천 및 목적 시스템 데이터의 정합성 여부를 확인하는 작업

​

2) 오류 데이터 측정

- 데이터 품질 분석을 기반으로 정상 데이터와 오류 데이터의 수를 측정하여 오류 관리 목록을 작성하는 것

- 정상 데이터는 전환 대상의 범위의 데이터를 업무 영역별, 테이블별로 구분하여 수량을 측정 및 기재함

- 오류 데이터는 업무별로 오류 위치 및 유형을 확인하여 수량을 측정 및 기재함

​

3) 오류 데이터 정제

- 오류 관리 목록의 각 항목을 분석하여 원천 데이터를 정제하거나 전환 프로그램을 수정하는 것

(1) 오류 데이터 분석: 오류 관리 목록의 오류 데이터를 분석하여 오류 상태, 심각도, 해결 방안을 확인 및 기재함

(2) 오류 데이터 정제: 확인된 오류 데이터 분석을 통해 원천 데이터를 정제하거나 전환 프로그램을 수정함

 

 

 

6. 데이터 정제요청서 및 정제보고서

 

데이터 정제요청서의 개요

- 원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청사항 및 조치사항 등 데이터 정제와 관련된 전반적인 내용을 문서로 작성한 것

​

데이터 정제 요건 목록 작성

- 오류 관리 목록의 각 항목에 대해 정제 유형을 분류하고 현재의 정제 상태를 정의한 것

(1) 정제 유형

- 완전성, 유효성, 일치성, 유일성

(2) 정제 방법

- 원천, 전환, 모두

(3) 상태

- 요건제기, 1~3차 검토/조치/확인 등 진행 상태 기재

​

데이터 정제요청서 작성

- 데이터 전환 시 발생한 오류의 수정을 위한 정제 요청의 전반적인 내용들을 작성하며, 데이터 정제 검토 시 신속한 의사 결정을 위해 오류사항의 해결 방안도 포함시킴

​

데이터 정제보고서 개요 및 작성

- 데이터 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서로 작성한 것

- 정제 요청 데이터와 정제된 데이터 항목을 육안으로 직접 비교하여 확인함

- 정제된 데이터를 데이터 전환 프로그램을 이용하여 전환한 후 오류의 발생 여부를 확인하고 목적 데이터베이스에서 전환된 데이터를 확인함

- 정제된 데이터의 확인 결과를 반영한 데이터 정제보고서를 정제ID별로 작성함

- 데이터 전환 결과 외에도 오류 데이터의 원인, 실제 데이터 정제 건수, 향후 대응 방안 등을 포함