Hadoop3.0安装笔记

2018-2-15 3:14:41 来源: Gnsser 发布人:


1     安装vmvare

参照网上下载和安装教程。

2     安装Ubuntu

在官方网站下载即可。

3     安装Java虚拟机

3.1   下载解压

在官网下载Liunx系统的Java虚拟机,解压到指定目录,如:

/usr/lib/jvm/java-8-oracle

3.2   修改配置文件

gedit ~/.bashrc

 

追加如下代码:

JAVA_HOME=/usr/lib/jvm/java-8-oracle

JRE_HOME=$JAVA_HOME/jre

JAVA_BIN=$JAVA_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME PATH CLASSPATH

3.3   参考文献

https://jingyan.baidu.com/article/647f0115bb26817f2048a871.html

http://www.linuxidc.com/Linux/2016-05/131348.htm

http://www.linuxidc.com/Linux/2016-11/136958.htm

4     安装SSH Server并实现免密码登录

4.1   在服务器安装ssh server

1.     打开”终端窗口”,输入”sudo apt-get update”–>回车–>”输入当前登录用户的管理员密码”–>回车。

2.     安装SSH

sudo apt-get install openssh-server

3.     安装好后查看SSH是否启动

打开”终端窗口”,输入”sudo ps -e |grep ssh“–>回车–>有sshd,说明ssh服务已经启动,如果没有启动,输入”sudo service ssh start“–>回车–>ssh服务就会启动。

4.2   本机实现免密码登录(伪分布式)

因为用伪分布模式,所以将设置免密码登录。

4.2.1      生成秘钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

4.2.2      导入authorized_keys

cat ~/.ssh/id_rsa.pub >>   ~/.ssh/authorized_keys

4.2.3      测试是否免密码登录localhost

ssh localhost

在结束之后关闭机器的防火墙

ufw disable

4.3   客户端实现免密码登录(集群)

如果要多机布网,则需要更多的终端连接。

Ubuntu可以使用ssh公钥实现免密码登录。ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对,有机器A(10.0.2.1),B(10.0.2.100)。现想A通过ssh免密码登录到B。

首先以gnsser账户登陆为例。

4.3.1      在A机下生成公钥/私钥对。

ssh-keygen -t rsa -P ''

-P表示密码,-P '' 就表示空密码,也可以不用-P参数,这样就要三车回车,用-P就一次回车。该命令将在~/.ssh目录下面产生一对密钥id_rsa和id_rsa.pub。

如果在生成过程中指定了文件路径和文件名,例如~/.ssh/k8s_rsa, 则生成~/.ssh/k8s_rsa和~/.ssh/k8s_rsa.pub两个文件。

ssh-keygen -t rsa -P '' -f ~/.ssh/k8s_rsa.pub

4.3.2      public key复制到B机

把A机下的~/.ssh/k8s_rsa.pub 复制到B机的 ~/.ssh/authorized_keys文件里,先要在B机上创建好 ~/.ssh 这个目录,用scp复制。

scp ~/.ssh/k8s_rsa.pub gnsser@10.0.2.100:~/.ssh/authorized_keys

由于还没有免密码登录的,所以要输入一次B机的root密码。

 

注意: B机的authorized_keys的权限要是600!!!

sudo chmod 600 ~/.ssh/authorized_keys

4.3.3      免密登陆到B机

ssh -i ~/.ssh/k8s_rsa.pub gnsser@10.0.2.100

4.3.4      将private加入ssh-agent

ssh-add k8s_rsa

注意事项:

如果产生密钥对名称为id_rsa和id_rsa.pub,则在登陆时不需要使用 -i 参数指定私钥。

第一次登陆时会需要输入yes,将远程主机加入 known hosts中

4.4   参考文献

https://help.ubuntu.com/community/SSH/OpenSSH/Keys

https://www.cnblogs.com/liubin0509/p/6211909.html

5     单机模式安装Hadoop

5.1   下载解压

下载Hadoop 下面提供了Hadoop的下载链接

http://hadoop.apache.org/releases.html

下载binary。本文下载的是 hadoop-3.0.0.tar.gz,本地下载和安装路径都为 /home/gnsser/Documents/

解压缩下载之后的文件

tar -zxvf hadoop-3.0.0.tar.gz -C /home/gnsser/Documents/

5.2   修改配置文件

需要配置core-site.xmlhdfs-site.xmlhadoop-env.sh三个文件

这三个文件都在/home/gnsser/Documents/hadoop-3.0.0/etc/hadoop/下,在前两个文件中的<configuration>标签中写入如下内容

5.2.1  core-site.xml

<!-- 指定HDFS节点(namenode)的通信地址   -->

      <property>

          <name>fs.default.name</name>

          <value>hdfs://localhost:9000</value>

      </property>

      <property>

          <name>hadoop.tmp.dir</name>

        <value>/home/Documents/tmp</value>

      </property>

 

注意:创建/home/Documents/tmp文件夹。

5.2.2      hdfs-site.xml

<!-- 设置hdfs副本数量   -->

      <property>

          <name>dfs.replication</name>

          <value>1</value>

      </property>

5.2.3      hadoop-env.sh

找到如下行然后写入内容

# The java implementation to use.

export JAVA_HOME=/usr/java/jdk1.8.0_101

export HADOOP_HOME=/home/gnsser/Documents/hadoop-3.0.0

export PATH=$PATH:/home/gnsser/Documents/hadoop-3.0.0/bin

5.3   配置系统环境

接下来在系统环境变量中写入Hadoop的环境变量 

sudo gedit  /etc/environment

 

#在文件的结尾""之内加上

:/home/gnsser/Documents/hadoop-3.0.0/bin:/home/gnsser/Documents/hadoop-3.0.0/sbin

5.4   验证安装

重启系统

验证Hadoop单机模式安装完成

hadoop version

如显示hadoop的版本号,即说明单机模式已经配置完成。

5.5   伪分布模式

接下来就是启动hdfs 使用伪分布模式

5.5.1      第一步格式化

hadoop namenode -format

 

显示如下内容即成功格式化

 

2018-02-14 08:39:37,752 INFO   common.Storage: Storage directory /home/gnsser/Documents/tmp/dfs/name has   been successfully formatted

….

2018-02-14 08:39:37,925 INFO   namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode   at ubuntu/127.0.1.1

************************************************************/

 

5.5.2      启动和停止hdfs

启动hdfs

start-all.sh

 

停止hdfs

stop-all.sh

5.5.3      验证

在启动情况下,输入jps显示进程

Jps

看到屏幕上显示如下内容即说明hdfs已经成功

gnsser@ubuntu:~$   jps

2545 NameNode

3394 NodeManager

2677 DataNode

3623 Jps

2921 SecondaryNameNode

3151 ResourceManager

 

Web访问,要先开放端口或者直接关闭防火墙

(1)输入命令,systemctl stop firewalld.service

(2)浏览器打开http://localhost:8088/

(3)浏览器打开http://localhost:50070/

 

5.5.4      参考文献

https://www.linuxidc.com/Linux/2015-11/124800.htm

http://blog.csdn.net/windghoul/article/details/52655032

 

6     附录:

常用 linux命令: http://gnsser.com/Information/PaperDetails/318

 


阅读次数: 1949

下一篇: Linux scp命令
上一篇: ssh远程登录命令简单实例

尚无评论!

返回上一页面