'3V'에 해당되는 글 2건

1. 빅데이터의 개요

 1-1. 빅데이터의 정의

   - 대량의 흩어진 데이터를 수집, 저장, 발굴, 분석 하여 2차 데이터로 만들어 내고 이를 비즈니스화 하는 일련의 과정

 

 1-2. 빅데이터의 특성

   - 데이터의 규모가 방대하고(Volume), 데이터의 종류가 다양하며(Variety), 데이터 처리 및 분석을 적시에 해결해야 하는(Velocity) 특성을 가지고 있음

 

2. 빅데이터의 분석 플랫폼, 관리기술

 2-1. 빅데이터의 분석 플랫폼

 

 2-2. 빅데이터의 관리기술

기술 구분 설명 필요 기술
원본 데이터 저장 - 대용량 분산 파일 저장
- 로그 기반 데이터 포함
- Hadoop File System
- MapReduce
구조적 데이터 저장 - 대용량 분산 데이터 저장소
- DBMS의 처리 한계 대체 기술
-NoSQL, HBase
-Cassandra, MongoDB
배치 분산 병렬 처리 - 분산 데이터 처리 기술
- 결과 그래프 분석 기술
- MapReduce (Hadoop)
- Pregel, GlodenORB
데이터 스트리밍 프로세싱 - 스트리밍 데이터 프로세싱 기술 - Streaming DBMS
- DW Appliance
데이터 마이닝 - 빅 데이터의 패턴 분석 및
고객 분석을 위한 알고리즘
- 군집화, 분류화
- 기계학습(Neural Net)
데이터 분석 알고리즘 - 데이터 분석을 위한 세부 기술
- Social Network Anaylsys
- Clique 분석
- Centrality 분석
분산처리 기술 - 관리 기술, 분산 큐 기술
- 분산 캐시 기능
- ZooKeeper, kafka
- Memcached, Redis

 

'1. IT Story > Basic Studies' 카테고리의 다른 글

DB 샤딩(Sharding)  (0) 2020.12.24
CI(Continuous Integration)  (0) 2019.11.21
테스트자동화  (0) 2019.09.22
V&V(Verification & Validation)  (0) 2019.09.20
3D프린팅  (0) 2019.09.17
인메모리컴퓨팅  (0) 2019.09.16
WoT(Web of Things)  (0) 2019.09.08
oneM2M  (0) 2019.09.07
블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,

빅데이터 (Big Data)



1. 빅데이터 (Big Data)의 개요

 1-1. 정의

    - 대량의 흩어진 데이터를 수집, 저장, 발굴, 분석 하여 2차 데이터로 만들어 내고 이를 비즈니스화 하는 일련의 과정

    - Innovation, Competition, Productivity


 1-2. 특성

   1) Volume : 수십 PB

   2) Velocity : 실시간 처리 기반

   3) Variety  :  Legacy 데이터 및 트랜잭션, 모바일


2. 빅데이터 (Big Data)의 구성도, 기술요소

 2-1. 빅데이터 (Big Data)의 구성도


 2-2. 빅데이터 (Big Data) 기술요소

  1) 원본 데이터 저장 : 대용량 분산 파일 저장

  2) 구조적 데이터 저장 : 대용량 분산 데이터 저장소

  3) 배치 분산 병렬 처리 : 분산 데이터 처리 기술

  4) 데이터 스트리밍 프로세싱 : 스트리밍 데이터 프로세싱 기술

  5) 데이터 마이닝 : 빅 데이터의 패턴 분석 및 고객 분석을 위한 알고리즘

  6) 데이터 분석 알고리즘 : 데이터 분석을 위한 세부 기술

  7) 분산처리 기술 : 관리 기술, 분산 큐 기술


3. 빅데이터 (Big Data)의 활용

 - 공공 : 국가적 차원의 수자원 관리, 스마트 그리드, 재난 방지 영역 등

 - 과학 : 환경, 기후, 해양 등 글로벌 문제 해결에 필요한 대규모 과학 데이터 분석

 - 의료 : 미래에 겪을 수 있는 질환이나 증상을 미리 예측 및 예방하고 통합되는 확장되 서비스


블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,