'정재되지 않은 거대한 데이터의 집합'에 해당되는 글 1건

1. 빅데이터의 개요

 1-1. 빅데이터의 정의

   - 대량의 흩어진 데이터를 수집, 저장, 발굴, 분석 하여 2차 데이터로 만들어 내고 이를 비즈니스화 하는 일련의 과정

 

 1-2. 빅데이터의 특성

   - 데이터의 규모가 방대하고(Volume), 데이터의 종류가 다양하며(Variety), 데이터 처리 및 분석을 적시에 해결해야 하는(Velocity) 특성을 가지고 있음

 

2. 빅데이터의 분석 플랫폼, 관리기술

 2-1. 빅데이터의 분석 플랫폼

 

 2-2. 빅데이터의 관리기술

기술 구분 설명 필요 기술
원본 데이터 저장 - 대용량 분산 파일 저장
- 로그 기반 데이터 포함
- Hadoop File System
- MapReduce
구조적 데이터 저장 - 대용량 분산 데이터 저장소
- DBMS의 처리 한계 대체 기술
-NoSQL, HBase
-Cassandra, MongoDB
배치 분산 병렬 처리 - 분산 데이터 처리 기술
- 결과 그래프 분석 기술
- MapReduce (Hadoop)
- Pregel, GlodenORB
데이터 스트리밍 프로세싱 - 스트리밍 데이터 프로세싱 기술 - Streaming DBMS
- DW Appliance
데이터 마이닝 - 빅 데이터의 패턴 분석 및
고객 분석을 위한 알고리즘
- 군집화, 분류화
- 기계학습(Neural Net)
데이터 분석 알고리즘 - 데이터 분석을 위한 세부 기술
- Social Network Anaylsys
- Clique 분석
- Centrality 분석
분산처리 기술 - 관리 기술, 분산 큐 기술
- 분산 캐시 기능
- ZooKeeper, kafka
- Memcached, Redis

 

'1. IT Story > Basic Studies' 카테고리의 다른 글

DB 샤딩(Sharding)  (0) 2020.12.24
CI(Continuous Integration)  (0) 2019.11.21
테스트자동화  (0) 2019.09.22
V&V(Verification & Validation)  (0) 2019.09.20
3D프린팅  (0) 2019.09.17
인메모리컴퓨팅  (0) 2019.09.16
WoT(Web of Things)  (0) 2019.09.08
oneM2M  (0) 2019.09.07
블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,