[SQLD] Chapter 2. 데이터 모델과 성능

- 데이터란?

컴퓨터가 처리 할 수 있는 문자, 숫자, 소리, 그림 따위의 형태로 된 정보를 Data 라 한다.

 

- 왜 데이터 모델링을 할까?

현실세계 -> 추상화, 단순화, 명확화 -> 설계도를 통한 시스템 설계

즉, 데이터 모델링이란 개념화된 서비스를 물리적으로 구현하여 시스템화 하는 것

 

- 모델링의 3가지 관점

 

- 데이터 모델링의 3단계 프로세스

개념적 데이터 모델링 -> 논리적 데이터 모델링 -> 물리적 데이터 모델링

 

• 개념적 데이터 모델링 : 현실세계
• 논리적 데이터 모델링 : 비지니스 요구에 맞춰 논리적인 구조와 규칙을 명확하게 표현하는 과정. 엔터티, 속성, 관계를 정의하는 과정.
  • 엔터티 : 업무에 필요하고 유용한 정보를 저장하고 관리하기 위한 '집합' 적인 것. 실체, 객체
  • 관계 : 엔터티와 엔터티 간 연관성을 표현
  • 속성 : 엔터티에 저장되는 개체 집합의 특성을 설명하는 항목. 인스턴스의 구성요소

 

• 물리적 데이터 모델링 : 물리적으로 논리적 데이터 모델을 표현하는 과정으로 DBMN의 특징을 반영하는 설계가 필요하다. Table, Column 등을 정의하는 과정이다.

 

- 성능 데이터 모델링이란 ? 

: 데이터베이스 성능향상을 목적으로 설계단계의 데이터 모델링 때부터 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것이다.

 

- 성능이 저하되는 데이터 모델의 3가지 경우

1. 데이터 모델 구조에 의해 성능 저하
2. 데이터가 대용량이 됨으로 인해 불가피하게 성능 저하
3. 인덱스 특성을 충분히 고려하지 않고 인덱스를 생성함으로 인해 성능 저하

- 성능 데이터 모델링 수행시점

분석/설계 단계에서 수행하는 것이 성능저하에 따른 재업무(Rework) 비용을 최소화 할 수 있다.

 

- 성능 데이터 모델링 고려사항

• 데이터 모델링을 할 때 정규화를 정확하게 수행한다.
• 데이터베이스 용량산정을 수행한다.
• 데이터베이스에 발생되는 트랜잭션의 유형을 파악한다.
• 용량과 트랜잭션의 유형에 따라 반정규화를 수행한다.
• 이력모델의 조정, PK/FK의 조정, 슈퍼타입/서브타입 조정 등을 수행한다.
• 성능관점에서 데이터 모델을 검증한다.

 

---

 

- 정규화란 ?

: 다양한 유형의 검사를 통해 데이터 모델을 좀더 구조화하고 개선시켜 나가는 절차에 관련한 이론이다.

=> 데이터에 대한 중복성 제거, 데이터가 관심사별 처리로 성능 향상

 

정규화를 수행한다는 것은 데이터를 결정하는 결정자에 의해 함수적 종속을 가지고 있는 일반속성을 의존자로 하여 입력/수정/삭제 이상 제거하는 것이다. 데이터의 중복속성을 제거하고 결정자에 의해 동일한 의미의 일반속성이 하나의 테이블로 집약되므로 한 테이블의 데이터 용량이 최소화되는 효과가 있다. 따라서 정규화된 테이블은 데이터 처리 시에 속도가 빨라질 수도 있고 느려질 수도 있다.

=> 조회성능은 처리조건에 따라 성능이 향상 또는 저하될 수 있고, 입력/수정/삭제 성능은 향상된다.

 

- 정규화

 

• 1차 정규화 

 

 

예제) 

 

1차 정규화 대상

속성 책 이름과 책가격, 저자, 저자나이, 저자책수, 중고가, 입고년에서 복수의 속성값을 갖는 로우가 존재한다.

하나의 서재가 여러 개의 책을 소유하면서 발생된다. 서재정보와 책을 분리해야한다.

 

 

1차 정규화 완료

 

 

• 2차 정규화

 

예제)

 

2차 정규화 대상

복합 식별자인 서재주인 + 서재명에서 책권수, 친절도, 분류특징은 서재명에 종속되는 속성임 복합 식별자의 일부에만 종속되는 속성을 별도의 엔터티로 분리함

 

 

2차 정규화 완료

 

 

• 3차 정규화

 

예제)

 

3차 정규화 대상

3차 정규화 완료

 

- 반정규화란?

: 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상, 개발과 운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링의 기법을 의미한다.

- 데이터를 중복하여 성능을 향상시키기 위한 기법

- 정규화된 데이터 모델에서 중복, 통합, 분리 등을 수행하는 모든 과정을 의미

 

- 반정규화를 하는 이유?

: 데이터 무결성이 깨질 수 있는 위험을 무릅쓰고 데이터를 중복하여 반정규화를 적용하는 이유는

• 데이터를 조회할 때 디스크 I/O량이 많아서 성능이 저하될 때
• 경로가 너무 멀어 조인으로 인한 성능저하가 예상될 때
• 칼럼을 계산하여 읽을 때 성능이 저하될 것이 예상될 때

반정규화를 수행하면 데이터 조회시 성능을 향상한다.

 

기본적으로 정규화를 사용하지만, 정규화만을 수행하면 엔터티의 갯수가 증가하고 관계가 많아져 일부 여러 개의 조인이 걸려야만 데이터를 가져오는 경우가 있다.(비식별자 관계일 때) 이러한 경우 조회에 대한 처리성능이 중요하다고 판단될 때 부분적으로 반정규화를 고려하게 되는 것이다.

 

- 반정규화 절차

 

- 반정규화의 기법

테이블 반정규화, 칼럼 반정규화, 관계 반정규화가 있다.

 

- 대량 데이터발생에 따른 테이블 분할

 

• 테이블 분할 설계를 통한 성능 저하의 예방

1. 수평분할 : 컬럼 단위로 분할 I/O 경감
2. 수직분할 : 로우 단위로 분할 I/O 경감

 

• 성능 저하의 원인

- 하나의 테이블에 데이터 대량집중 : 한 테이블에 데이터가 대량으로 집중될 때 테이블 구조가 너무 커져서 효율성이 떨어져 데이터를 처리할 때 디스크 I/O를 많이 발생시킨다.

- 하나의 테이블에 여러 개의 컬럼 존재 : 디스크의 점유량이 높아지고 데이터를 읽는 I/O 양이 많아져서 성능이 저하된다.

- 대량의 데이터가 처리되는 테이블의 경우 : SQL 문장에서 데이터를 처리하기 위한 I/O 양이 증가한다. 인덱스를 적절하게 구성하여 이용하면 줄일 수 있다.

• 해결책 : 파티셔닝(Range Partition, List Partition, Hash Partition), PK에 의한 분할  

- 대량의 데이터가 하나의 테이블에 존재할때 : 인덱스를 생성할 때 인덱스의 크기(용량)가 커지게 되고 그렇게 되면 인덱스를 찾아가는 단계가 깊어지게 되어 조회의 성능에도 영향을 미치게 된다. 

- 컬럼이 많아지는 경우 : 물리적인 디스크에 여러 블록의 데이터가 저장되게 된다. 

 

• 슈퍼/서브 타입 데이터 모델의 변환 기술

 

- 개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성

- 슈퍼타입 + 서브타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼타입 + 서브타입 테이블로 구성

- 전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 구성

 

- 테이블에 대한 수평분할/수직분할의 절차

1. 데이터 모델링을 완성한다.
2. 데이터베이스 용량선정을 한다. -> 컬럼 수가 많은지?
3. 대량 데이터가 처리되는 테이블에 대해서 트랜잭션 처리 패턴을 분석한다.
4. 컬럼 단위로 집중화된 처리가 발생하는지, 로우 단위로 집중화된 처리가 발생하는지 분석하여 집중화된 단위로 테이블을 분리하는 것을 검토한다. -> 컬럼 수가 많으면? 1:1로 분리 가능한 지 , 컬럼 수는 적으나 데이터 양이 많다면? 파티셔닝을 고려

 

---

 

- 분산 데이터베이스란?

: 데이터베이스를 연결하는 빠른 네트워크 환경을 이용하여 데이터베이스를 여러 지역 여러 노드로 위치시켜 사용성/성능 등을 극대화 시킨 데이터베이스를 말한다. 

즉, 분산되어있는 데이터베이스를 하나의 가상 시스템으로 사용할 수 있도록 한 데이터베이스

 

- 분산 데이터베이스의 투명성

• 분할 투명성(단편화) : 하나의 논리적 Relation이 여러 단편으로 분할되어 각 단편의 사본이 여러 곳에 저장한다.
• 위치 투명성 : 사용하려는 데이터의 저장 장소 명시 불필요. 위치정보가 System Catalog에 유지되어야 한다.
• 지역사상 투명성 : 지역DBMS와 물리적 DB사이의 사상을 보장. 
• 중복 투명성 : DB 객체가 여러 곳에 중복 되어 있는지 알 필요가 없는 성질
• 장애 투명성 : 구성요소(DBMS, Computer)의 장애와 무관한 트랜잭션의 원자성 유지
• 병행 투명성 : 다수 트랜잭션이 동시 수행시 결과의 일관성을 유지. 타임스탬프, 분산 2단계 Locking을 이용해 구현

- 분산 데이터베이스의 장단점

 

- 분산 데이터베이스의 적용 기법

• 테이블 위치 분산 
  • 테이블 구조는 변하지 않는다.
  • 테이블이 다른 데이터베이스에 중복 생성되지 않는다.
  • 정보를 이용하는 형태가 각 위치별로 차이가 있을 경우 이용한다.
  • 테이블의 위치를 파악할 수 있는 도식화된 위치별 데이터베이스 문서가 필요하다.
• 테이블 분할 분산
  • 위치만 다른 곳에 두는 것이 아니라 각각의 테이블을 쪼개어 분산

             - 수평분할(Row단위로 분리)

             - 수직분할(Column단위로 분리)

 

• 테이블 복제 분산
  • 동일한 테이블을 다른 지역이나 서버에서 동시에 생성하여 관리
  • 프로젝트에서 많이 사용하는 데이터베이스 분산기법

             - 부분복제 : 통합된 테이블을 한군데(본사)에 가지고 있으면서도 각 지사별로는 지사에 해당된 Row를 가지고 있는 형태

             - 광역복제 : 통합된 테이블을 한군데(본사)에 가지고 있으면서도 각 지사에도 본사와 동일한 데이터를 가지고 있는 형태

 

• 테이블 요약 분산
  • 지역/서버 간에 데이터가 비슷하지만 서로 다른 유형으로 존재하는 경우

             - 분석요약 : 동일한 테이블 구조를 가지고 있으면서 분산되어 있는 동일한 내용의 데이터를 이용하여 통홥된 데이터를 산출하는 방식

             - 통합요약 : 각 지사별로 존재하는 다른 내용의 정보를 본사에 통합하여 다시 전체에 대해서 요약정보를 산출

 

 

- 분산 데이터베이스를 적용하여 성능이 향상된 사례

 

 

• 성능이 중요한 사이트에 적용한다.
• 공통코드, 기준정보, 마스터 데이터 등에 대해 분산환경을 구성하면 성능이 좋아진다.
• 특정 서버에 부하가 집중이 될 때 부하를 분산할 때도 좋다.
• 백업 사이트를 구성할 때 간단하게 분산기능을 적용하여 구성할 수 있다.