빅데이터(Big Data)

1. 빅데이터의 개요

 1-1. 빅데이터의 정의

   - 대량의 흩어진 데이터를 수집, 저장, 발굴, 분석 하여 2차 데이터로 만들어 내고 이를 비즈니스화 하는 일련의 과정

 

 1-2. 빅데이터의 특성

   - 데이터의 규모가 방대하고(Volume), 데이터의 종류가 다양하며(Variety), 데이터 처리 및 분석을 적시에 해결해야 하는(Velocity) 특성을 가지고 있음

 

2. 빅데이터의 분석 플랫폼, 관리기술

 2-1. 빅데이터의 분석 플랫폼

 

 2-2. 빅데이터의 관리기술

기술 구분	설명	필요 기술
원본 데이터 저장	－ 대용량 분산 파일 저장 － 로그 기반 데이터 포함	－ Hadoop File System － MapReduce
구조적 데이터 저장	－ 대용량 분산 데이터 저장소 － DBMS의 처리 한계 대체 기술	－NoSQL, HBase －Cassandra, MongoDB
배치 분산 병렬 처리	－ 분산 데이터 처리 기술 － 결과 그래프 분석 기술	－ MapReduce (Hadoop) － Pregel, GlodenORB
데이터 스트리밍 프로세싱	－ 스트리밍 데이터 프로세싱 기술	－ Streaming DBMS － DW Appliance
데이터 마이닝	－ 빅 데이터의 패턴 분석 및 고객 분석을 위한 알고리즘	－ 군집화, 분류화 － 기계학습(Neural Net)
데이터 분석 알고리즘	－ 데이터 분석을 위한 세부 기술 － Social Network Anaylsys	－ Clique 분석 － Centrality 분석
분산처리 기술	－ 관리 기술, 분산 큐 기술 － 분산 캐시 기능	－ ZooKeeper, kafka － Memcached, Redis