'1. IT Story/Basic Studies'에 해당되는 글 187건

1. 모든 속성을 만족할 수 없다는 CAP 이론

가. CAP(Consistency, Availability, Partitioning)이론이란?
- 2002년 버클리 대학의 Eric Brewer 교수에 의해서 발표된 분산 컴퓨팅 이론으로, 분산 컴퓨팅 환경은 Consistency, Availability, Partitioning 3가지 특징을 가지고 있으며, 이중 두 가지만 만족할 수 있다는 (Pick two) 이론

- 분산 컴퓨팅 시스템이 보장해야 할 3가지 특징(일관성,가용성,부분 결함허용)을 정의하고,분산 시스템은 3가지 중 2가지만 보장할 수 있고(Pick two), 3가지 모두를 보장하는 것은 불가능 하다는 이론

CAP 이론 모형	C·A·P	설명
	Consistency (일관성)	- 모든 사용자는 동시에 항상 같은 데 이터를 조회 한다
	Availability (가용성)	- 모든 사용자는 항상 read/write 할 수 있다 - 몇몇 노드 장애 시에도 다른 노드들은 작동해야 한다
	Partition Tolerance (부분 결함허용)	- 물리적 네트워크 분할(Partition)에도 시스템은 정상 동작 해야 한다
	Pick Two	- CAP중 2가지만 선택 가능

2. CAP 이론 측면에서 RDB와 NoSQL DB

가. CAP 이론과 DBMS의 관계

 - 트위터와 같이 하루에 올라가는 수천만 건의 글을 감당할 수 있는 분산형 데이터베이스가 필요 하면서, ROI높고 성능 좋은 DBMS 필요

 - 일반적으로 NoSQL시스템은 관계형을 포기하거나 트랜잭션 구조를 느슨하게 함으로써 수평 확장이 가능하도록 하는데 주요 목적을 가짐

 - NoSQL DB 제품은 CAP 중에서 C 또는 A를 일부 포기함으로써 분산 확장을 택함

나. CAP 이론 측면에서 RDB와 NoSQL DB 비교

3. 클라우드 컴퓨팅 환경에서 NoSQL DB 필요성 (RDB 제약) 

가. NoSQL DB(Not Only SQL DB)의 개념
 - 관계 데이터베이스(RDB) 한계를 극복하기 위해, Join이 없고, 고정된 스키마를 갖지 않는 새로운 형태의 데이터 저장소

나. 클라우드 환경에서 NoSQL DB 필요성(RDB 제약)
 - 클라우드 컴퓨팅/웹 환경의 대량의 데이터를 저비용으로 처리할 수 있는 DB 필요
 - 네트워크 발전으로 인해 발생하는 많은 양의 데이터를 처리하기 위해 클라우드 컴퓨팅 등 분산 처리 시스템이 도입되면서 기존 RDB의 확장성 한계로 인해 NoSQL DB가 대안으로 대두되고 있음

1. 정합성 체크를 통한 데이터 품질향상, 데이터 프로파일링의 개요

가. 데이터 프로파일링(Profiling)의 정의
 - 데이터에 기반한 정합성을 체크하여 데이터를 구조화하고 보정하는 분석 기법

나. 데이터 프로파일링의 목적

  - 데이터정확성 : 비즈니스 사용자에게 정확한 데이터 제공

  - 데이터 제어 : 이름, 주소 등 비즈니스 데이터에 대한 정제, 표준화, 보강 및 중복제거

  - 데이터 모니터링 : 분석기능을 통한 지속적인 데이터 품질평가 및 변경 내역에 대한 모니터링 제공

2. 데이터 프로파일링 개념도 및 기법

가. 데이터 프로파일링 개념도

- 소스데이터를 효과적으로 분석하기 위해서 데이터 프로파일을 통해서 데이터 오류를 식별
- 데이터 크린싱(Cleansing)을 통해서 검출된 오류 데이터를 변경 및 수정 실행

나. 데이터 프로파일링 절차 및 기능요소

 - 대상선정 : 데이터 프로파일링에 필요한 데이터를 선정

 - 데이터 탐색 : 데이터의 값이 업무 규칙과 정합성을 유지하는지 확인

 - 구조 탐색 : 테이블 사이의 무결성과 데이터 레코드 내의 구조적 이상확인

 - 관계 탐색 : 컬럼과 테이블간 관계(Relation)의 관계분석

 - 결과 리포트 : 발견된 데이터 오류정보를 사용자 및 Cleansing모듈에 전달

다. 데이터 프로파일링 기법

 - 컬럼속성분석 :  하나의 컬럼에 저장된 값 분석

 - 구조 분석  : 테이블을 서로 어떤 관련인지를 정의한 룰 사용

 - 단순데이터 룰 분석 : 값의 결합이 가능한 비즈니스 객체의 여러 컬럼에 걸친 값을 다루는 룰을 분석하여 보다 유용한 것을 찾는 것

 - 복잡한 데이터 룰 분석 : 여러 비즈니스 객체에 연관된 데이터 룰에 부합하는 값을 요구하는 것 보다 복잡한 룰

 - 값 룰 분석 : 합당하지 않는 집계 값에서 부정확한 데이터의 존재를 찾는 것

1. 실시간 대용량 트랜잭션 처리를 위한 MMDB의 개요

가. MMDB(Main Memory DataBase)의 정의

- 데이터베이스 전체를 주기억장치에 상주시켜 데이터베이스 연산을 처리하는 고성능 DB
- 데이터베이스 Start-up과 동시에 데이터베이스를 Memory에 상주시켜 관리 및 운영하는 DB

나. MMDB의 등장배경

 - 기존 DBMS처리 성능한계 메모리 가격 하락과 64Bit 운영체제 등장
 -  실시간 데이터 처리 요구 증가, 고객의 마인드 변화

2. 기존 Disk기반 DB와의 비교

디스크 기반 DB	MMDB
버퍼만 메인메모리에, DB테이블은 디스크	메인 메모리 내에 DB테이블, 인덱스 등 존재

나. Disk 기반 DB와의 특징 비교

3. MMDB의 단점극복을 위한 기술 및 활용현황

가. MMDB의 단점극복 기술

 - 용량제한 → 무제한화 (TB급까지 구현)
 - 안정성 → Disk에 Log 및 Check Point 기록 구현
 - Memory와 Disk 이중기록으로 인한 성능저하 → Memory 성능향상 부분이 Disk I/O 성능 감소부분 보다 월등하도록 설계하여 해소
 - 복구 시 Disk 내용 메모리 로딩 시 소요시간 → 병렬 회복기법 기반 획기적 개선

나. MMDB의 활용현황

 - 차세대 빌링 : 이동통신사의 사용자 인증/빌링을 위한 대용량 고속처리 위해 사용
 - 증권사 : 실시간 주식의 시세 분석, 차트 등 다양한 분석에서 사용됨
 - 유선통신 : NGN기반의 대용량 트랜잭션 처리를 위해 활용
 - 이동통신 : 중앙집중적 일괄처리를 위해 메모리DB의 활용

1. 데이터베이스 확장을 위한 샤딩의 개요

가. 샤딩(Sharding)의 개념

  - 관계형 데이터베이스에서 대량의 데이터를 처리하기 위해서 데이터를 파티셔닝 하는 기술
  - 샤딩은 DBMS 레벨에서 데이터를 나누는 것이 아니고 데이터베이스 자체를 수평분할 방식으로 분산저장하고 조회하는 방법

나. 샤딩(Sharding)의 장점

1) 성능개선: 큰 데이터를 압축, 개별테이블은 각샤드에서 더 빠른 작업을 지원
2) 신뢰성개선: 한 샤드가 실패하더라도 다른 샤드는 데이터서비스를 제공
3) 위치추상화: 애플리케이션 서버에서 어떤 데이터가 어떤 데이터베이스에 위치해 있는지 알 필요가 없음

2. 샤딩의 개념도 및 데이터베이스 분할방법

(Sharding)

가. MongoDB의 샤딩 개념도

- 샤드키로 설정된 칼럼의 범위를 기반으로 각각의 값 에 맞는 Shard에 저장
- 사용하는 Application단에서는 MongoS라는 라우팅 프로세스만 연결하므로 Shard의 구조에 대해서는 알 필요도 없고, 구조 변경에 따른 수정도 필요 없음

나. 샤딩의 데이터베이스 분할방법

3. 샤딩 적용시 가이드라인

1. CI(Continuous Integration )의 개요

 1-1. CI(Continuous Integration )의 정의

  - 여러 명으로 구성된 팀이 작업한 것을 자주 통합 하는 것을 가리키는 소프트웨어 개발 프랙티스 

  - 매번 이루어지는 통합은 자동화된 빌드와 테스트를 통하여 통합 에러가 없는지 가능한 빨리 검증되며 통합 시에 발생하는 문제도 조기 발견되어 단위코드의 품질을 향상시킴

 1-2. CI(Continuous Integration )의 특징

  - 소스코드 일관성 유지

  - 소스코드 자동빌드

  - 빌드 과정에서의 자동화 테스트(기능/비기능)

  - 일일 체크아웃과 빌드를 통한 코드 무결성 유지

2. CI(Continuous Integration)의 구성도, 구성요소, 주요프로세스

 2-1. CI(Continuous Integration)의 구성도

 2-2. CI(Continuous Integration)의 구성요소

 2-3. CI(Continuous Integration)의 주요 프로세스

1. 테스트자동화의 개요

 1-1. 테스트자동화의 정의

  - 소프트웨어 개발 시 포함되는 다양한 테스트 과정을 하드웨어 혹은 소프트웨어적으로 자동화 도구를 사용하여 반복성, 일관성 및 생산성을 향상시키는 테스트 기법

 1-2. 테스트자동화의 특징

2. 테스트자동화의 자동화도구, 상세 도구

 2-1. 테스트자동화의 자동화 도구 

 2-2. 테스트자동화의 상세 도구

1. V&V(Verification & Validation)의 개요

 1-1. V&V(Verification & Validation)의 정의

  - 개발 단계별 산출물의 단계 초기에 설정된 조건의 만족 여부(Verification)와 구현된 S/W가 사용자 요구사항 및 기대치를 만족하는지(Validation) 검증 및 확인하는 활동

 1-2. V&V(Verification & Validation)의 특징

2. V&V(Verification & Validation)의 개념도, 테스트 기법

 2-1. V&V(Verification & Validation)의 개념도

 2-2. V&V(Verification & Validation) 테스트 기법

1. 빅데이터의 개요

 1-1. 빅데이터의 정의

   - 대량의 흩어진 데이터를 수집, 저장, 발굴, 분석 하여 2차 데이터로 만들어 내고 이를 비즈니스화 하는 일련의 과정

 1-2. 빅데이터의 특성

   - 데이터의 규모가 방대하고(Volume), 데이터의 종류가 다양하며(Variety), 데이터 처리 및 분석을 적시에 해결해야 하는(Velocity) 특성을 가지고 있음

2. 빅데이터의 분석 플랫폼, 관리기술

 2-1. 빅데이터의 분석 플랫폼

 2-2. 빅데이터의 관리기술