'빅데이터 분석'에 해당되는 글 2건

1. 빅데이터의 개요

 1-1. 빅데이터의 정의

   - 대량의 흩어진 데이터를 수집, 저장, 발굴, 분석 하여 2차 데이터로 만들어 내고 이를 비즈니스화 하는 일련의 과정

 

 1-2. 빅데이터의 특성

   - 데이터의 규모가 방대하고(Volume), 데이터의 종류가 다양하며(Variety), 데이터 처리 및 분석을 적시에 해결해야 하는(Velocity) 특성을 가지고 있음

 

2. 빅데이터의 분석 플랫폼, 관리기술

 2-1. 빅데이터의 분석 플랫폼

 

 2-2. 빅데이터의 관리기술

기술 구분 설명 필요 기술
원본 데이터 저장 - 대용량 분산 파일 저장
- 로그 기반 데이터 포함
- Hadoop File System
- MapReduce
구조적 데이터 저장 - 대용량 분산 데이터 저장소
- DBMS의 처리 한계 대체 기술
-NoSQL, HBase
-Cassandra, MongoDB
배치 분산 병렬 처리 - 분산 데이터 처리 기술
- 결과 그래프 분석 기술
- MapReduce (Hadoop)
- Pregel, GlodenORB
데이터 스트리밍 프로세싱 - 스트리밍 데이터 프로세싱 기술 - Streaming DBMS
- DW Appliance
데이터 마이닝 - 빅 데이터의 패턴 분석 및
고객 분석을 위한 알고리즘
- 군집화, 분류화
- 기계학습(Neural Net)
데이터 분석 알고리즘 - 데이터 분석을 위한 세부 기술
- Social Network Anaylsys
- Clique 분석
- Centrality 분석
분산처리 기술 - 관리 기술, 분산 큐 기술
- 분산 캐시 기능
- ZooKeeper, kafka
- Memcached, Redis

 

'1. IT Story > Basic Studies' 카테고리의 다른 글

DB 샤딩(Sharding)  (0) 2020.12.24
CI(Continuous Integration)  (0) 2019.11.21
테스트자동화  (0) 2019.09.22
V&V(Verification & Validation)  (0) 2019.09.20
3D프린팅  (0) 2019.09.17
인메모리컴퓨팅  (0) 2019.09.16
WoT(Web of Things)  (0) 2019.09.08
oneM2M  (0) 2019.09.07
블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,

R (빅데이터 분석 소프트웨어)



1. R (빅데이터 분석 소프트웨어)의 개요

  1-1. 정의

    - 통계분석 및 그래프 분석 프로그램을 포함하는 개방형 소프트웨어 기반 패키지

    - 데이터 입출력, 데이터 처리, 데이터 분석, 그래프 작성 등을 위한 수많은 알고리즘 및 방법론 제공하는 분석 SW


  1-2. 특징

    1) In-Memory Computing : 빠른 처리속도, H/W메모리 크기에 영향을 받음

    2) Obejct-Oriented Programming : 클래스 & method, 데이터, 함수가 object로 관리되어 짐

    3) package : 최신의 알고리즘 및 방법론을 적용, 다양한 함수 및 데이터 내장, Help의 Examples 바로 사용 가능 


2. R (빅데이터 분석 소프트웨어)의 구성도, 구성요소

 2-1. R (빅데이터 분석 소프트웨어)의 구성도

참고자료: https://statkclee.github.io/data-science/rstudio.html


  2-2. R (빅데이터 분석 소프트웨어)의 구성요소

    1) R Project : R Development Core Team 멤버들로 구성된 비영리 단체로 R의 배포와 수정 담당

    2) R CRAN SIte : 자유롭게 다운로드 받아 설치 할 수 있는 39개국 87개 Mirror 사이트 운영

    3) R Manual : R과 관련된 메뉴얼을 HTML 및 PDF 파일로 지원

    4) R Studio : 워크스페이스 사용하는 명령어 입력, 스크립트 저장, 명령 이력 보기, 시각화 보기 구조를 지원하는 개발 도구

    5) R Package : 패키지들은 새로운 통계분석 알고리즘이나 새로운 IT 기술의 응용에 관한 것을 포함된 라이브러리 패키지



블로그 이미지

운명을바꾸는자

IT와 함께 살아가는 삶

,