Hadoop俨然已经成为大数据的标准，搭建一个Hadoop平台成为实施大数据计划的第一步。
那么我们就先来看看，如何来部署一个Hadoop。本文我们主要讲讲在Linux环境下Hadoop的安装操作过程。 一、准备工作： 下载jdk ： http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html
下载hadoop ：https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs 二、开始安装： （注：这里是按照hadoop2.0的版本安装的） Step 1：我们准备一台机器安装liunx系统（这里我装的是CentOS） Step 2：用root账户创建一个子用户
#useradd hadoop //创建用户
#passwd hadoop //修改该密码
#gpasswd -a hadoop root //将hadoop用户加入到root组中 Step 3：用root账户创建一个hadoop的目录
#cd /
#mkdir hadoop //创建安装目录
#chmod -R g+w hadoop //给目录权限 Step 4：修改主机名
#vi /etc/sysconfig/network //编辑配置文件写入如下内容
HOSTNAME=hadoop Step 5：修改hosts 文件
#vi /etc/hosts //编辑配置文件写入如下内容
192.168.1.122 hadoop
#/etc/init.d/iptables stop //关闭防火墙 Step 6：安装jdk（晚上很多安装教程，这里就不细说了，记得配置JAVA_HOME呀） Step 7：退出root账户换hadoop登陆。 Step 8：进入hadoop目录（#cd /hadoop） Step 9：上传hadopp到hadoop目录 （#rz -bey） Step 10：解压安装文件
#tar xf hadoop-0.20.2-cdh3u0.tar.gz
#mv hadoop-0.20.2-cdh3u0 hadoop Step 11：配置hadoop 的conf 目录下的
#cd /hadoop/hadoop/etc/hadoop

• 1、配置hadoop-env.sh
  #vi hadoop-env.sh
  在尾部追加 export JAVA_HOME=/home/hadoop/java/jdk1.6.0_25 （具体根据本机情况来定）
• 2、配置core-site.xml:
  <configuration>
  <!— global properties –>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/hadoop/tmp</value>
  <description>A base for other temporary directories.</description>
  </property>
  <!– file system properties –>
  <property>
  <name>fs.default.name</name>
  <value>hdfs://192.168.1.122:9000</value>
  </property>
  </configuration>
• 3、配置hdfs-site.xml:( replication 默认为3，如果不修改，datanode 少于三台就会报错)
  <configuration>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
  </property>
  </configuration>
• 4、配置mapred-site.xml:
  <configuration>
  <property>
  <name>mapred.job.tracker</name>
  <value>192.168.1.122:9001</value>
  </property>
  </configuration>
• 5、masters(只在namenode 上配置) 192.168.1.122
• 6、slaves(只在namenode 上配置) 192.168.1.122

Step 12：修改环境变量的配置文件
#cd
#vi .bash_profile
HADOOP_HOME=/hadoop/hadoop
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME
export PATH
#source .bash_profile 

Step 13：创建无密码登陆
#cd
#ssh-keygen
#cp id_rsa.pub authorized_keys

将 id_rsa.pub 换个名字复制到其他机器的~/.ssh/里 用下面的方法插入authorized_keys
#cat ~/.ssh/192.168.1.3.pub >> ~/.ssh/authorized_keys

Step 14：格式化文件系统
hadoop namenode -format Step 15：启动hadoop
#cd /hadoop/hadoop/sbin
#./start-all.sh Step 16：验证是否成功
#jps
19978 SecondaryNameNode
20125 ResourceManager19798 DataNode19663 NameNode20520 Jps
20244 NodeManager
访问 http://192.168.1.122:50070
hadoop fs -ls hdfs://192.168.1.201:9000/
hadoop fs -mkdir hdfs://192.168.1.201:9000/testfolder
hadoop fs -copyFromLocal ./xxxx hdfs://192.168.1.201:9000/testfolder
hadoop fs -ls hdfs://192.168.1.201:9000/testfolder