hadoop单机部署、集群部署及win7本地Eclipse远程配置管理(2)

5)Master(129)配置

129为master结点，则129的配置文件如下： hadoop在0.20版本，配置文件由以前的hadoop-site.xml文件变成三个配置文件core-site.xml，hdfs- site.xml，mapred-site.xml。内在的原因是因为hadoop代码量越来越宠大，拆解成三个大的分支进行独立开发，配置文件也独立 了。 下面是129三个配置文件示例：

[hadoop@localhost hadoop-1.2.1]$ cat conf/core-site.xml

fs.default.name

hdfs://192.168.153.129:9000 hadoop.tmp.dir /data/hadoopData/root/tmp/hadoop

[hadoop@localhost hadoop-1.2.1]$ cat conf/hdfs-site.xml

dfs.replication 3

[hadoop@localhost hadoop-1.2.1]$ cat conf/mapred-site.xml

mapred.job.tracker 192.168.153.129:9001

6）Slave(130、131上)配置

在Slave(130、131上)上的配置文件如下(hdfs-site.xml不需要配置)： conf/core-site.xml 、conf/mapred-site.xml文件与129上的相同

至此hadoop集群部署完成。

4.初始化和启动hadoop集群

4.1 初始化文件系统

初始化namenode,为HDFS作第一次运行的准备。

[hadoop@localhost hadoop-1.2.1]$ bin/hadoop namenode -format

注：一看到format就和磁盘格式化联想到一起，然后这个format是对hdfs来说的，所以有些人害怕真的是格式化自己的文件系统了，其实大可不必担心, namenode format只是初始化一些目录和文件而已。 4.2 启动Hadoop

在master结点配置用户环境变量,在master结点192.168.153.129上启动hadoop集群程序， 执行bin目录下的start-all.sh

[hadoop@localhost hadoop-1.2.1]$ bin/start-all.sh 停止hadoop

[hadoop@localhost hadoop-1.2.1]$ bin/stop-all.sh

4.3测试

在hdfs上创建test1文件夹，上传文件到此目录下

[hadoop@localhost hadoop-1.2.1]$ bin/hadoop fs -mkdir test1

[hadoop@localhost hadoop-1.2.1]$ bin/hadoop fs -put ./README.txt test1 [hadoop@localhost hadoop-1.2.1]$ bin/hadoop fs -ls Found 1 items

drwxr-xr-x - hadoop supergroup 0 2011-07-21 19:58 /user/hadoop/test1 运行一个map-reduce示例程序wordcount，运行结果如下：

[hadoop@localhost hadoop-1.2.1]$ hadoop jar hadoop-examples-1.2.1.jar wordcount /user/hadoop/test1/README.txt output1

查看输出结果文件，这个文件在hdfs上:

[hadoop@localhost hadoop-1.2.1]$ bin/hadoop fs -ls output1

[hadoop@localhost hadoop-1.2.1]$ bin/hadoop fs -cat output1/part-r-00000

4.4.管理界面与命令

http://192.168.153.129:50070/dfshealth.jsp http://192.168.153.129:50030/jobtracker.jsp

http://192.168.153.130:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/

5.win7本地Eclipse远程管理配置hadoop

5.1将hadoop-eclipse-plugin-1.2.1.jar插件添加到本地eclipse\\plugins目录下

5.2将hadoop-1.2.1-bin.tar.gz解压到本地目录（我解压在D:\\myworkTools\\hadoop-1.2.1）下

5.3重启Eclipse，通过Open Perspective菜单打开Map Reduce视图，如下：

选中大象图标，编辑Hadoop配置信息：

hadoop.tmp.dir 中的值为hadoop服务器上 conf/core-site.xml中hadoop.tmp.dir的值 通过 window-->open prespective-->resource

打开Resource视图，即可看到DFS：

这样可以正常的进行HDFS分布式文件系统的管理：上传，删除等操作。

为下面测试做准备，需要先建了一个目录 user/root/input2，然后上传两个txt文件到此目录： intput1.txt 对应内容：Hello Hadoop Goodbye Hadoop intput2.txt 对应内容：Hello World Bye World HDFS的准备工作好了，下面可以开始测试了。

新建简单Mapreduce项目

通过向导新建一个Map/Reduce项目。在此过程中，点击

配置Hadoop的安装路径。

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库hadoop单机部署、集群部署及win7本地Eclipse远程配置管理(2)在线全文阅读。