-
Hbase安装大数据平台 / dataplatform 2dot5 写在2015年10月20日
上篇文章我们已经讲了Hadoop的安装,
这篇文章我们将Hadoop以及Hbase的安装整体作个介绍,其中还包括zookeeper的安装。 准备工作: 下载jdk : http://www.oracle.com/technetwork/cn/java/javase/downloads/index.htm下载hadoop: https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs 下载zookeeper :https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs 下载hbase :https://ccp.cloudera.com/display/SUPPORT/CDH4+Downloadable+Tarballs 开始安装- 1、先做系统的前期设置
step 1:我们准备一台机器安装liunx系统(这里我装的是CentOS) step 2:用root账户创建一个子用户
#useradd hadoop //创建用户
#passwd hadoop //修改该密码
#gpasswd -a hadoop root //将hadoop用户加入到root组中 step 3:用root账户创建一个hadoop的目录
#cd /
#mkdir hadoop //创建安装目录
#chmod -R g+w hadoop //给目录权限 step 4:修改主机名
#vi /etc/sysconfig/network //编辑配置文件写入如下内容
HOSTNAME=hadoop step 5:修改hosts 文件
#vi /etc/hosts //编辑配置文件写入如下内容
192.168.1.122 hadoop
#/etc/init.d/iptables stop //关闭防火墙 step 6:安装jdk(晚上很多安装教程,这里就不细说了,记得配置JAVA_HOME呀) step 7:退出root账户换hadoop登陆。 step 8:创建无密码登陆
#cd
#ssh-keygen
#cp id_rsa.pub authorized_keys step 9:进入hadoop目录(#cd /hadoop) step 10:上传hadopp、zookeeper、hbase 到hadoop目录 (#rz -bey) step 11:解压安装文件
#tar xf hadoop-0.20.2-cdh3u0.tar.gz
#mv hadoop-0.20.2-cdh3u0 hadoop
#tar xf zookeeper-3.4.5-cdh4.2.0.tar.gz
#mv zookeeper-3.4.5-cdh4.2.0.tar.gz zookeeper
#tar xf hbase-0.94.2-cdh4.2.0.tar.gz
#mv hbase-0.94.2-cdh4.2.0.tar.gz hbase- 2、安装hadoop
step 1:配置hadoop 的conf 目录下的
#cd /hadoop/hadoop/etc/hadoop a、配置hadoop-env.sh
#vi hadoop-env.sh
在尾部追加 export JAVA_HOME=/home/hadoop/java/jdk1.6.0_25 (具体根据本机情况来定) b、配置core-site.xml:
<configuration>
<!— global properties –>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!– file system properties –>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.122:9000</value>
</property>
</configuration> c、配置hdfs-site.xml:( replication 默认为3,如果不修改,datanode 少于三台就会报错)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration> d、配置mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.122:9001</value>
</property>
</configuration> e、masters(只在namenode 上配置)
192.168.1.122 f、slaves(只在namenode 上配置)
192.168.1.122 step 2:修改环境变量的配置文件
#cd
#vi .bash_profile
HADOOP_HOME=/hadoop/hadoop
HBASE_HOME=/hadoop/hbase
ZOOKEEPER_HOME=/hadoop/zookeeper
PATH=$PATH:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin
export HADOOP_HOME HBASE_HOME ZOOKEEPER_HOME
export PATH
#source .bash_profile step 3:格式化文件系统
hadoop namenode -format step 4:启动hadoop
#cd /hadoop/hadoop/sbin
#./start-all.sh step 5:验证是否成功
#jps
19978 SecondaryNameNode
20125 ResourceManager19798 DataNode19663 NameNode20520 Jps
20244 NodeManager
访问 http://192.168.1.122:50070
hadoop fs -ls hdfs://192.168.1.201:9000/
hadoop fs -mkdir hdfs://192.168.1.201:9000/testfolder
hadoop fs -copyFromLocal ./xxxx hdfs://192.168.1.201:9000/testfolder
hadoop fs -ls hdfs://192.168.1.201:9000/testfolder- 3、安装zookeeper
step 1:创建zookeeper的工作目录
#cd /hadoop/zookeeper
#mkdir zookeeperdir
#cd zookeeperdir
#mkdir zookeeper-data
#mkdir logs step 2:修改zoo.cfg配置文件
#vi /hadoop/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10 syncLimit=5 dataDir=/hadoop/zookeeper/zookeeperdir/zookeeper-data dataLogDir=/hadoop/zookeeper/zookeeperdir/logs clientPort=2181 server.1=192.168.1.122:2888:3888 step 3:编辑“myid”文件,并在对应的IP的机器上输入对应的编号。如在zookeeper上,“myid”文件内容就是1。
#vi /hadoop/zookeeper/zookeeperdir/zookeeper-data/myid step 4:测试
#zkServer.sh start
#zkServer.sh status 查看状态
#zkCli.sh -server 192.168.1.122:2181
#ls /
Ctrl + c
#zkServer.sh stop- 4、安装hbase
step 1:修改配置 a、hbase-env.sh 文件追加
#vi /hadoop/hbase/conf/hbase-env.sh export JAVA_HOME=/opt/jdk1.6.0_25
export HBASE_MANAGES_ZK=true
export HBASE_PID_DIR=/hadoop/hbase/tmp b、hbase-site.xml 修改
#vi /hadoop/hbase/conf/hbase-site.xml
<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.1.122:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.1.122</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
</configuration> c、regionservers 修改
#vi /hadoop/hbase/conf/regionservers 192.168.1.122 step 2:启动hbase
start-hbase.sh step 3:测试
访问 http://192.168.1.122:60010上一篇: HBase shell 基本命令
下一篇: Hadoop安装(Linux环境)
-
易观方舟argo安装
一、硬件情况 操作系统:CentOS Linux r...
-
zookeeper安装
下载地址: http://zookeeper.apache.or...
-
HBase shell 基本命令
我在前面已经分享了hadoop和hbase的安装...
-
Hadoop安装(Linux环境)
Hadoop俨然已经成为大数据的标准,搭建...
-
java Socket 简单的即时聊天 ...
我们上面讲了多线程,今天我们用Socket...
-
kafka安装
下载地址: http://kafka.apache.org 1...
相关推荐
您好!请登录
已有0评论