Hadoop環境構築～その2～

というわけで、今回は擬似分散環境の構築。

基本はスタンドアロンモードと同じで、後半に設定ファイルの編集がある程度。

1. OS(スタンドアロンモード同じため割愛)
2. JDK(スタンドアロンモード同じため割愛)
3. Hadoopインストール(スタンドアロンモード同じため割愛)
4. HADOOP_HOME/conf/core-site.xmlの編集

   <?xml version="1.0"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <configuration>
     <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
     </property>
   </configuration>
   

5. HADOOP_HOME/conf/hdfs-site.xmlを編集する。1ノードしか存在しないのでレプリケーション数を1に設定する。

   <?xml version="1.0"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <configuration>
     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
   </configuration>

6. HADOOP_HOME/conf/mapred-site.xml

   <?xml version="1.0"?>
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <configuration>
     <property>
       <name>mapred.job.tracker</name>
       <value>localhost:9001</value>
     </property>
   </configuration>

7. ネームノードのフォーマット。

   # bin/hadoop namenode -format

8. 以下のコマンドでHadoopのプロセスを立ち上げる。

   # bin/start-all.sh

9. プロセスの確認。NameNode、DataNode、SecondaryNameNode、TaskTracker、JobTrackerが確認できればOK。

   # jps
     7742 TaskTracker
     7451 DataNode
     7858 Jps
     7631 JobTracker
     7566 SecondaryNameNode
     7327 NameNode
   

10. 以下のコマンドでHadoopを停止。

    # bin/stop-all.sh

11. プロセスの確認。先程存在していたプロセスが無くなっているハズ。

    # jps
      8135 Jps
    

といった感じ。

Hadoop

• 作者: Tom White
• 出版社/メーカー: オライリージャパン
• 発売日: 2010/01/25
• メディア: 大型本