[DAP공부]데이터 품질 관리 이해

데이터 품질관리 프레임워크

데이터 품질관리 프레임워크

1. 개념

• 기업에 저장된 데이터 값의 품질을 올리기 위해 상시적인 데이터 품질을 측정 및 개선이 필요함.
• 축적되어 있는 고품질의 데이터를 기반으로 활용하기 위한 활용 영역 구성.
• 필요한 것
  1. 데이터 품질관리 프로세스.
  2. 데이터 품질관리 전문조직과 인력.
  3. 관련 지침 및 가이드(원칙)
  4. 인프라

2. 구성

• 데이터 표준
  • 데이터 모델을 수집하기 위한 표준
  • 표준단어, 표준용어, 표준 도메인, 표준 코드
• 데이터 모델
  • 모델링 도구 활용.
  • 개념모델, 논리모델, 물리모델, 데이타 카탈로그(Data Catalog)
• 데이터 값
  • 데이터 품질지표(Data Quality Index)
  • 핵심정보(Critical To Quality)
  • 데이터 프로파일링(기술적 분석)
  • 업무 규칙(비즈니스 분석)
• 데이터 활용
  • 원천 데이터와 타겟 데이터의 매핑 정보
  • 데이터의 연관 관계
  • MAP 형태의 데이터 흐름

---

표준관점 데이터 품질 관리

1. 표준 데이터

• 개념
  • 정보시스템에서 사용되는 단어, 용어, 도메인, 코드 및 기타 데이터 관련 요소에 대해 정해진 공통의 원칙에 따라 명칭과 해석 등을 규격화하여 정의한 데이터.
  • 정보시스템과 정보시스템 데이터의 구조적 품질 확보와 직결되는 요소.
• 표준 데이터 관리
  • 기관및 기업 전사 차원에서 단일화하고 표준화 된 정보 시스템을 구현.
  • 데이터 불일치, 데이터 오류 방지, 데이터 보정작업을 최소화함으로써 정보 시스템의 생산성 및 가독성을 향상 시킴.
• 목적
  • 데이터 구조에 대한 이해도 향상.
  • 원할한 의사소통.
  • 데이터 통합을 효율적으로 수행.

2. 세부 관리 대상

1. 표준 단어 사전
   • 업무상 사용되며 일정한 의미를 가지고 있는 최소 단위의 단어.
   • 관리기준
     • 표준성 : 지나친 업무 의존성 단어나 방언을 사용하면 안됨. 약어 사용을 최소화 함.
     • 창조가능성 : 새로운 업무 정의 시 참조.
     • 일반성 : 일반인도 해당 단어의 의미를 이해.
     • 대표성 : 동의어를 대표.
2. 표준 도메인 사전
   • 도메인(Domain) : 속성에 정의된 조건을 만족시키는 값의 범위.
   • 표준 도메인 : 전사적으로 사용되고 있는 데이터 중 논리적, 물리적으로 유사한 유형의 데이터를 그룹화하여 해당 그룹에 속하는 데이터 유형과 길이를 정의.
   • 관리기준 
     • 표준성 : 공통적으로 사용되는 속성 대상 정의.
     • 유일성 : 중복 도메인이 서로 다른 이름으로 선언되면 안됨.
     • 업무지향성 : 업무 특성을 충분히 반영할 수 있도록 선언.
3. 표준 용어 사전
   • 용어(Terms) : 업무에 자주 사용하는 단어의 조합.
   • 표준 용어 : 전사적으로 사용하는 엔티티와 속성을 대상으로 표준 단어 사전에 정의된 단어를 조합하여 정의.
   • 관리기준
     • 표준성 : 용어의 표준화를 통해 용어 사용의 차이에 따라 발생되는 잔사차원의 혼란 최소화.
     • 일반성 : 일반적인 의미와 전혀 다르게 사용된 용어는 적절한 다른 용어로 대체하며, 새로운 용어 개발은 자제.
     • 업무지향성 : 기업의 업무범위 내에서 약어를 사용하거나 내부에서 별도로 정의하여 사용.
4. 표준 코드
   • 산업별로 법적, 제도적으로 부여하여 공통적으로 사용되는 코드 뿐만 아니라 기관 및 기업 내부에서 정의하여 사용하는 코드.
   • 관리기준
     • 재사용성 : 표준화 기구나 정부, 공공기관에서 정의한 코드를 재사용함으로 데이터 이해력을 높일 수 있고, 코드관리가 용이함.
     • 일관성 : 업무 범위 내에서 유일하게 정의.
     • 정보 분석성 : 범위 데이터는 코드화함으로써 분석 가치가 없는 데이터를 양산하지 않음.
5. 데이터 표준 요소
   • 시스템 설계하고 구축하는데 필요한 데이터 관리 요소의 표준.
   • 데이터 관련 요소 표준 대상.
     • 논리 데이터 모델 : 주제영역, 엔티티, 속성, 관계명
     • 물리 객체 대상 : Subject Areas, Relationships, Database & Instance, Indexes, Constraints, Sequences, 사용자 정의 Procedures & Functions, Synonyms, Views, Rollback Segments, Tablespaces, File Names, Script Names 등
   • 관리 기준
     • 통합성 : 전사적으로 통합하여 관리 및 적용
     • 일관성 : 정기적 검토 및 확인

728x90

모델 관점 데이터 품질 관리

1. 정의 및 목적

• 모델 데이터
  • 데이터 모델을 운용 관리하는데 필요한 데이터.
  • 데이터 참조 모델, 개념 데이터 모델, 논리 데이터 모델, 물리 데이터 모델에 대한 메타 데이타 및 DBMS 객체정보 포함.
• 관리 목적
  • 데이터 구조에 대한 최신 정보를 유지하고, 전사 차원에서 데이터 모델의 공유와 재사용성을 극대화하여 체계적인 데이터 모델의 변경관리를 가능하게 함.

2. 세부 관리 대상

• 완전성 : 개념, 논리, 물리 데이터 모델, 데이터 베이스와 같은 데이터 구조의 단계별 데이터 모델에 대한 모든 메타 데이터 포함.
• 일관성 : 단어, 용어, 도메인 및 데이터 관련 요소 표준을 준수하여 정의.
• 추적성 : 변경 이력에 대한 추적 용이, 과거 데이터 모델에 댛ㅏㄴ 활용 요구 충족.
• 상호 연계성 : 데이터 구조를 입체적, 체계적으로 관리할 수 있도록 데이터 모델 간의 상호 연관 관계를 표현.
• 최신성 : 데이터 구조의 단계별 데이터 모델과 업무 규칙, 실제 시스템에 구현된 물리 데이터와 논리적 일치.
• 호환성 : 다른 종류의 관리 데이터와도 상호 호환 가능

 

값(Value) 관점 데이터 품질 관리

1. 정의

• DBMS에 저장되어 있는 데이터에 대해 내,외부 사용자를 만족시키기 위한 상시적인 데이터 품질 측정 및 개선 활동.

2. 세부 관리 대상

• 품질 기준
  • 품질 관리 대상 : 품질 측정 대상 시스템 및 테이블 관리.
  • 데이터 품질 지표 : 완전성, 유효성, 일관성, 정확성.
  • 핵심 정보 항목 : 가장 중요한 데이터 정보 항목.
• 프로파일링
  • 칼럼 분석 : 칼럼 속성에 대한 준수 여부 검증.
  • 패턴 분석 : 데이터 구성 값에 대한 패턴 분석.
  • 날짜 분석 : 데이터 타입은 character나 의미상 날짜/시간 유형 데이터에 대한 유효성 분석
  • 코드 분석 : 코드값이 정의된 표준에 따라 구성되었는지 검증.
  • 참조 무결성 분석 : 부모-자식 관계 데이터의 참조 무결성 분석
• 업무규칙
  • Inside-Out 도출 방법 : 통계적 분석
  • Outside-In 도출 방법 : VOC, 설문조사 등
  • 근거 규정 도출 방법 : 법령
• 품질 측정 : 측정 주기 설정
• 품질 개선 : 절차 및 방법 정의

---

활용 관점 데이터 품질 관리

1. 정의 및 목적

• 정의
  • 데이터 활용 여부 점검
  • 데이터 원천 추적 가능
• 목적
  • 활용의 데이터 품질 관리

2. 세부 관리 대상

• 안전성 : 소스 및 다켓 정의, 매핑 규칙 정의
• 유효성 : 정의된 소스 및 타겟 매핑 규칙 준수. 위배 데이터에 대한 클랜징 규칙 정의
• 데이터 정합성 : 데이터 정합성 보장.