1. 빅데이터의 개요
1-1. 빅데이터의 정의
- 대량의 흩어진 데이터를 수집, 저장, 발굴, 분석 하여 2차 데이터로 만들어 내고 이를 비즈니스화 하는 일련의 과정
1-2. 빅데이터의 특성
- 데이터의 규모가 방대하고(Volume), 데이터의 종류가 다양하며(Variety), 데이터 처리 및 분석을 적시에 해결해야 하는(Velocity) 특성을 가지고 있음
2. 빅데이터의 분석 플랫폼, 관리기술
2-1. 빅데이터의 분석 플랫폼
2-2. 빅데이터의 관리기술
| 기술 구분 | 설명 | 필요 기술 |
| 원본 데이터 저장 | － 대용량 분산 파일 저장 － 로그 기반 데이터 포함 |
－ Hadoop File System － MapReduce |
| 구조적 데이터 저장 | － 대용량 분산 데이터 저장소 － DBMS의 처리 한계 대체 기술 |
－NoSQL, HBase －Cassandra, MongoDB |
| 배치 분산 병렬 처리 | － 분산 데이터 처리 기술 － 결과 그래프 분석 기술 |
－ MapReduce (Hadoop) － Pregel, GlodenORB |
| 데이터 스트리밍 프로세싱 | － 스트리밍 데이터 프로세싱 기술 | － Streaming DBMS － DW Appliance |
| 데이터 마이닝 | － 빅 데이터의 패턴 분석 및 고객 분석을 위한 알고리즘 |
－ 군집화, 분류화 － 기계학습(Neural Net) |
| 데이터 분석 알고리즘 | － 데이터 분석을 위한 세부 기술 － Social Network Anaylsys |
－ Clique 분석 － Centrality 분석 |
| 분산처리 기술 | － 관리 기술, 분산 큐 기술 － 분산 캐시 기능 |
－ ZooKeeper, kafka － Memcached, Redis |
'1. IT Story > Basic Studies' 카테고리의 다른 글
| DB 샤딩(Sharding) (0) | 2020.12.24 |
|---|---|
| CI(Continuous Integration) (0) | 2019.11.21 |
| 테스트자동화 (0) | 2019.09.22 |
| V&V(Verification & Validation) (0) | 2019.09.20 |
| 3D프린팅 (0) | 2019.09.17 |
| 인메모리컴퓨팅 (0) | 2019.09.16 |
| WoT(Web of Things) (0) | 2019.09.08 |
| oneM2M (0) | 2019.09.07 |
운명을바꾸는자
IT와 함께 살아가는 삶
