Hadoop Preparation

하둡을 시작하기 위해 HDFS 환경을 구성한다.
개발 및 실행 플랫폼으로써 리눅스가 지원되며 윈도우 32비트 버전은 개발 플랫폼으로 지원된다. 분산 작업이 윈도우 환경에서 제대로 테스트 되지 않았기 때문에 실행 플랫폼으로는 지원하지 않는다.

1. 운영체제

리눅스에서 구현하기 위해서는 Ubuntu 10.04 LT를 추천한다.

윈도우에서 구현하기 위해서는 Cygwin이 필요하다.

2. 필수 프로그램

자바 1.5이상

ssh (cygwin에서는 패키지에서 openssh를 선택, 우분투에서는 시냅틱 관리자에서
      선택 후 설치한다.)

하둡의 최신 릴리즈를 다운로드 받는다. 현재 0.20.0이 최신이다.
http://hadoop.apache.org/hdfs/releases.html

자신의 홈디렉토리 아래 압축을 해제한 후,
conf/hadoop-env.sh 파일을 수정한다.

아래와 같이 자바홈을 명시해주고
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk

(윈도우 환경에서는 cygwin 설치 디렉토리에 가면 cygwin.bat파일을 수정하여
다음과 같이 자바홈을 등록한다.
set JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_11
그리고 hadoop-env.sh에 다음과 같이 자바홈을 넣으면 된다.
export JAVA_HOME=$JAVA_HOME)

그리고 나서 ipv6를 사용하지 않도록 설정한다. (해줘야한다고 하는데 꼭 해야하는지는 의문)
동일파일 제일 아래나 아무곳에 삽입하면 된다.
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

CYGWIN에서 다음의 명령어를 실행하고 ssh서버를 실행한다.
# ssh-host-config
윈도우 - 실행 : services.msc (제어판->관리도구->서비스) 를 눌러 CYGWIN_SSHD를 시작한다.

이로써 하둡 클러스터를 실행할 준비가 끝났다.

하둡은 Stand-Alone Operation (단독작업 모드), Pseudo-Distributed Operation(가상 분산 작업)
Fully-Distributed Operation(완전 분산 작업)의 세가지 모드로 실행할 수 있으며 각각에 대한
설정방법을 알아보도록 하겠다.

참고: Hadoop Quickstart - http://hadoop.apache.org/hdfs/