Big-Data Hadoop 환경구성

Oracle VM-UBUNTU

   

• 새로 만들기(유분투)

     

  

   

   

   

• 메모리(2048MB) 설정

     

  

   

   

   

   

   

• 유분투 설치

     

  

     

  

     

  

     

  

     

• 게스트 확장 설치

  

     

  

     

• 공유폴더 지정

  

     

  

     

• Root 유저 사용을 위한 Passwd 변경

     

  

     

     

(Root 유저)     Mkdir -p /media/shared     Mount -t vboxsf shared /media/shared

   

Vi /etc/init.d/rc.local     Mount -t vboxsf shared /media/shared

   

UBUNTU Telnet 서버스 설치

• Hadoop 설정시 Telnet 과 SSH가 열려 있어야 합니다.

     

  • Telnet 패키지 설치 (root 유저)

Apt-get install xinetd Apt-get install telnetd

   

• Vi /etc/xinetd.conf

     

service telnet     { disable = no flags = REUSE socket_type = stream wait = no user = root server = /usr/sbin/in.telnetd log_on_failure += USERID     }

   

/etc/init.d/xinetd restart

Telnet restart

   

   

• Telnet 접속확인

Telnet localhost

   

   

• Network 설정

   

  

   

     

  

     

     

     

  

     

UBUNTU SSH 설치

   

• SSH Pkg 설치

Apt-get install openssh-server openssh-client

• Key 생성

Ssh-keygen -t rsa -P ""

   

   

• 인증키 복사

Cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

   

자바설치

   

• 설치파일

Chmod +x jdk-6u38-linux-i586.bin ./jdk-6u38-linux-i586.bin

   

update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/bin/javac 1 update-alternatives --install /usr/bin/java java /usr/lib/jvm/bin/java 1 update-alternatives --install /usr/bin/javaws javaws /usr/lib/jvm/bin/javaws 1

   

• Java version 확인

Java -version

   

   

   

Hadoop 설치 - Pseudo mode

• Local Mode, Pseudo Mode, Cluster Mode 중 Pseudo Mode 설치

     

• 설치파일

Tar xvzf ./hadoop-0.20.2-cdh3u5.tar.gz

   

• Hadoop psuedo-mode 설정
• Home/hadoop/hadoop-0.20.2-cdh3u5/conf

     

• Core-site.xml : namenode

<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> ~

• Hdfs-site.xml : HDFS 관련 설정, 복제경로

<configuration> <property> <name>fds.replication</name> <value>1</value> </property> </configuration>

• Mapred-site.xml : Job Tracker 위치 및 Task 정보

<configuration> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:9001</value> </property> </configuration>

• Hadoop-env.sh : 하둡 데몬관련 환경변수

export JAVA_HOME=/usr/lib/jvm

   

• 환경변수 설정(.profile)

export JAVA_HOME=/usr/lib/jvm export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/home/hadoop/hadoop-0.20.2-cdh3u5

   

Hadoop 구동(/home/hadoop/hadoop-0.20.2-cdh3u5)

• Hadoop namenode -format

     

Hadoop 실행 및 프로세스 확인

• ./start-all.sh
• /usr/lib/jvm/bin/Jps

  

• 기타 명령어
  • Hadoop fs -ls
  • Hadoop fs -mkdir
  • Hadoop fs -put
  • Hadoop fs -rmr
  • Hadoop fs -cat
  • Hadoop fs -getmerge

       

예제 1 WordCount

   

• 디렉터리 생성 및 분석 파일 업로드

  

• MapReduce 실행

     

  

• 결과 확인

     

  

     

  

     

  

     

• Monitoring

     

  NameNode : 50070

  DataNode : 50075

  Secondary NameNode : 50090

  Bakcup / Checkpoint Node : 50105

  JobTracker : 50030

  TraskTracker : 50060

     

  

     

[참고자료]

거침없이 배우는 하둡(Hadoop IN Action)

http://hadoopdb.sourceforge.net/guide/

http://hadoop.apache.org/docs/r0.20.2/hdfs_design.html

http://www.ibm.com/developerworks/kr/library/

http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/