Hadoop Troubleshooting
공부/하둡(Hadoop) / 2010. 5. 18. 13:25
1. 윈도우에서 계정을 생성하거나 비밀번호를 변경했을 때 CYGWIN에서 인식안될 경우가 있다. 다음의 명령어를 통해 해결가능하다.
$ mkpasswd -l > /etc/passwd
2. 잘됐었는데, 바꾼것도 없는데 bin/hadoop namenode -format 명령으로 네임노드 포맷이 안될경우, or in case of name node is not started
if format is aborted, press capital Y instead of small y.
DO NOT DELETE whole TMP Folder with this command (rm -rf * /tmp)
DO NOT DELETE whole TMP Folder with this command (rm -rf * /tmp)
3. http://localhost:50070에 들어갔을 때 Live Nodes가 마스터+슬레이브 수보다 적을 때
윈도우 혹은 리눅스의 방화벽 때문에 통신이 이루어지지 못하고 있다는 증거
다음 포트들을 개방하라. (재부팅 필요없음)
ssh 22
dfs.datanode 50010
dfs.datanode.http 50075
dfs.datanode.ipc 50020
dfs.secondary.http 50090
mapred 9001
mapred.job.tracker.http 50030
mapred.task.tracker.http 50060
namenode 8020
namenode.http 50070
# 여기는 hod 에서 필요로 함
tracker 8030 (hdfs://namenode 방식을 사용할 때의 기본값 )
tracker info 50080
(mapred 포트는 설정 예제에서 사용한 값이고 나머지는 hadoop-default.xml 에 정의된 값들이다.)
ref) http://iam312.pe.kr/272
다음 포트들을 개방하라. (재부팅 필요없음)
ssh 22
dfs.datanode 50010
dfs.datanode.http 50075
dfs.datanode.ipc 50020
dfs.secondary.http 50090
mapred 9001
mapred.job.tracker.http 50030
mapred.task.tracker.http 50060
namenode 8020
namenode.http 50070
# 여기는 hod 에서 필요로 함
tracker 8030 (hdfs://namenode 방식을 사용할 때의 기본값 )
tracker info 50080
(mapred 포트는 설정 예제에서 사용한 값이고 나머지는 hadoop-default.xml 에 정의된 값들이다.)
ref) http://iam312.pe.kr/272
4. If data node is not started even though you typed start-all.sh,
rm -rf * /tmp/hadoop-hadoop/data/current/