hadoop 多节点安装
建立一个4台服务器的hadoop集群,4台服务器ip和对应的主机名分别为:
192.168.40.240:dm1
192.168.10.147:dm2
192.168.40.242:dm3
192.168.40.239:dm4
其中dm1为namenode,另外3台为datanode。
版本:
hadoop-0.20.203.0
准备:
一、安装JAVA
下载:jdk-6u27-linux-i586.bin
分别在4台机器下安装:
1、在usr下面新建一个文件夹Java,然后将jdk复制过来
sudo mkdir /usr/Java
sudo cp jdk的路径 /usr/Java
2、进入到Java目录下,改变文件权限为可执行
cd /usr/Java
sudo chmod u+x jdk1.6.0_23.bin
3、执行安装
sudo ./jdk1.6.0_23.bin
(现象为Unpacking....加一连串解压信息)
4、配置环境变量
vim /etc/profile
增加内容
export JAVA_HOME=/usr/java/jdk1.6.0_27
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
5、验证需要重新登陆
java -version
java version "1.6.0_27"
Java(TM) SE Runtime Environment (build 1.6.0_27-b07)
Java HotSpot(TM) Client VM (build 20.2-b06, mixed mode, sharing)
二、
创建一个名为hadoop的用户和用户组
分别在4台机器下面操作:
1、创建一个名为hadoop的用户组
addgroup hadoop
2、创建一个名为hadoop的用户,归到hadoop用户组下
adduser --ingroup hadoop hadoop
3、修改sudo文件
vim /etc/sudoers
在 root ALL=(ALL) ALL 下面添加
hadoop ALL=(ALL) ALL
目的:让
hadoop用户可使用sudo命令
4、配置dm1 namenode 的/etc/hosts增加
192.168.40.240 dm1
192.168.10.147 dm2
192.168.40.242 dm3
192.168.40.239 dm4
5、其他机器的/etc/hosts同样增加(有文档说只要slave识别master即可。不管了,都配)
192.168.40.240 dm1
192.168.10.147 dm2
192.168.40.242 dm3
192.168.40.239 dm4
三,安装hadoop
1、在DM1 namenode上安装hadoop,配置完配置文件后直接把目录COPY到其他3台就OK,
将下载的压缩包解压到安装目录下即可,把hadoop
的安装路径添加到环境变量/etc/profile 中
export
HADOOP_HOME=/usr/hadoop/hadoop-0.20.203.0
export
PATH=$HADOOP_HOME/bin:$PATH
2、编辑3个重要的配置文件:
root@dm1:/usr/hadoop/hadoop-0.20.203.0/conf# cat
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>
hdfs://192.168.40.240:9000
</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>
/home/hadoop/tmp/hadoop-${user.name}
</value>
</property>
</configuration>
root@dm1:/usr/hadoop/hadoop-0.20.203.0/conf# cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name </value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data </value>
</property>
<property>
<name>dfs.replication</name>
<value>2
</value>
</property>
</configuration>
root@dm1:/usr/hadoop/hadoop-0.20.203.0/conf# cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.40.240:9001
</value>
</property>
</configuration>
3、配置namenode的conf/masters 和conf/slaves 文件
masters:
dm1
slaves:
dm2
dm3
dm4
至此,hadoop的配置已经完成
,COPY到其他机器即可
4、将在namenode机器上配置好的hadoop部署到datanode机器上
scp -r /usr/hadoop/hadoop-0.20.203.0/
root@dm2:/usr/hadoop/
scp -r /usr/hadoop/hadoop-0.20.203.0/ root@dm3:/usr/hadoop/
scp -r /usr/hadoop/hadoop-0.20.203.0/ root@dm4:/usr/hadoop/
四、启动hadoop
1、回到DM1格式化和启动(后面的操作都在OS 的hadoop用户下):
hadoop@dm1:/usr/hadoop/hadoop-0.20.203.0$ bin/hadoop namenode -format
hadoop@dm1:/usr/hadoop/hadoop-0.20.203.0$ bin/start-all.sh
2、dm1检查启动进程:
hadoop@dm1:/usr/hadoop/hadoop-0.20.203.0$ jps
5944 Jps
5477 NameNode
5744 JobTracker
5665 SecondaryNameNode
其他机器:
hadoop@dm2:~$ jps
4986 DataNode
5125 TaskTracker
5203 Jps
注意事项:
/etc/hosts 不要使用127.0.1.1或localhost
启动和维护在hadoop用户下
用ssh-keygen打通四台机器的无密登录.
参考
http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html
http://vampire1126.iteye.com/blog/891693
http://hi.baidu.com/jadmin/blog/item/80a590eceaac693c63d09f31.html
http://shirley-ren.iteye.com/blog/1174622
分享到:
相关推荐
ubuntu搭建hadoop单节点.docx
ubuntu上安装hadoop集群,三个节点
linux入门级资源,对需要配置环境变量的初学者有一定作用,不喜勿喷。谢谢
Ubuntu 服务器上单节点 hadoop 集群的安装脚本 用法: $ sudo apt-get update $ sudo apt-get upgrade $ sudo apt-get install git-core $ git clone https://github.com/abarbanell/hadoop-setup.git $ cd hadoop...
该文档可以帮助您完美地搭建hadoop平台的单机模式
-019.Hadoop在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用.mp4 -020.Hadoop架构分析之单节点体系.mp4 021.Hadoop架构分析之集群结构分析.mp4 022.Hadoop架构分析之HDFS架构分析.mp4 023.Hadoop架构分析...
假定有 3 台机器,机器上均按照了 Ubuntu 操作系统: 192.168.1.138 hadoop-master //作为 Hadoop 的主机用 192.168.1.140 hadoop-node1 //作为 Hadoop 的数据节点用 192.168.1.141 hadoop-node2 //作为 Hadoop 的...
自己整理过的,在Ubuntu linux上以单节点模式下配置,运行Hadoop。
默认设置包括一个 Hadoop Master 节点和两个 Hadoop Slave 节点(以及一个备份节点)。 Hadoop 集群详细信息 Ubuntu(精确)12.04 LTS 64 位 Java 6 (openjdk-6-jdk) Apache Hadoop 1.0.2(稳定版) Apache Pig ...
MapReduce主要在org.apache.hadoop.mapred,实现提供的接口类,并完成节点通信(可以不是hadoop通信接口),就能进行MapReduce运算。 目前这个项目还在进行中,还没有到达1.0版本,和Google系统的差距也非常大...
小屋在ubuntu集群上安装和配置Apache Hadoop 2.6.0的Python项目预安装您必须在所有节点上添加名为“hadoop”的新用户,或在集群节点上添加任何用户名,但名称必须相同。 在集群节点之间安装无密码 ssh。 将 Hosts ...
【实验一】Ubuntu/Centos通用的hadoop集群搭建实验(来自OUC) 具体内容和步骤: 1. 成功创建Linux的虚拟机操作系统(Ubuntu或Centos)作为namenode,并设置好虚拟网卡、使用net方式使虚拟机可以访问互联网。 2. 完成...
带有 Docker 的 Hadoop (YARN) 多节点集群。 该项目的目的是帮助开发人员在笔记本电脑上使用 docker 容器快速启动多节点集群。 有多种更好的方法可以解决这些问题,而且由于我不是 DevOps 人员,请随时提出建议、...
MapReduce主要在org.apache.hadoop.mapred,实现提供的接口类,并完成节点通信(可以不是hadoop通信接口),就能进行MapReduce运算。 目前这个项目还在进行中,还没有到达1.0版本,和Google系统的差距也非常大,...
4 .......................................................................................11 Hadoop集群搭建过程手记 4.1 ....................................................................................
Hadoop2.2.0版本 - 虚拟机VMWare - Linux(ubuntu) ,多节点伪分布环境搭建详细操作手册,可以直接用于完全分布。每一步都有自己详细操作记录和相关说明,几夜风雨的辛劳搭建和测试。 此操作手册搭建的集群详细说明: ...
要用docker搭建集群,首先需要构造集群所需...使用ubuntu14系统来安装hadoop和hbase,由于hadoop集群机器之间通过ssh通信,所以需要在ubuntu14系统中安装ssh服务。 编写Dockerfile如下: ###########################
Cloudera 企业级数据中心的安装文档,基于Ubuntu 14.04( trusty) 本地快速安装 CDH 5.4.7,这篇文档将采用5节点,重介绍 Cloudera 管理器与 CDH 的安装注意事项,欢迎大数据工程师下载搭建测试环境.
hadoop2 - 虚拟机VMWare - Linux(ubuntu) ,单节点伪分布环境搭建完整手册
基于Hadoop的MapReduce并行apriori算法,实验设计在3台虚拟机上,搭建步骤:(1) 虚拟机上安装ubuntu系统,安装JDK、SSH、Hadoop。 (2) 配置JDK、Hadoop环境变量及MapReduce组件。 (3) 配置SSH免密登录。 (4)...