千锋大数据开发学院：Hadoop集群安装系列------环境配置：Hadoop集群安装系列------环境配置安

_本文原题为：Hadoop集群安装系列------环境配置

文章图片
安装Hadoop集群时要确保以下几个方面,参考下面检查工程
1.本机与虚拟机之间是否可以通信
1.1本机防火墙关闭（开启情况是本机可以ping虚拟机，虚拟机不能ping本机）
1.2虚拟机是克隆的情况（按照Linux文档中，修改ip地址等方法）
1.3虚拟机设置--网卡是否是仅主机模式或者桥接模式：仅主机模式需要检查VMware1网卡设置与虚拟机网卡设置是否匹配。桥接模式是为了让虚拟机可以连接外网，只需要改该虚拟机网卡信息即可（网关）
2.虚拟机之间是否可以通信
具体的一些命令操作
1)关闭本机网络管理
/etc/init.d/NetworkManagerstop
chkconfigNetworkManageroff
2)关闭防火墙
chkconfigiptablesoff
serviceiptablessave
3.更改主机名称
vi/etc/sysconfig/network
4.更改主机与ip映射
vi/etc/hosts
5.安装JDK和hadoop
5.1安装
tar-zxvfjdk-7u79-linux-x64.tar.gz–C/usr/local
tar-zxvfhadoop-2.7.1.tar.gz-C/usr/local/
5.2重新设置hadoop,jdk的所属组,所属人
chownroot:roothadoop-2.7.1javajdk
5.3hadoop的目录理解
1.bin:hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用hadoop
2.etc:hadoop配置文件所在的目录,包括core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.mxl等文件
3.include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用c++定义的,通常用于c++程序访问hdfs或者编写mapreduce程序
4.lib:该目录包含了hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用
5.libexec:各个服务对应的shell配置文件所在目录,可用于配置日志输出目录,启动参数(比如JVM参数)等基本信息
6.sbin:hadoop脚本管理所在目录,主要包含hdfs,yarn中各类服务的启动/关闭脚本
7.share:hadoop各个模块编译后的jar包所在目录
6.修改系统环境变量
6.1到/etc/profile下进行修改
exportJAVA_HOME=/usr/local/java/
exportHADOOP_HOME=/usr/local/hadoop-2.7.1/
exportHIVE_HOME=/usr/local/hive/
exportZOOKEEPER_HOME=/usr/local/zookeeper/
exportPATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:
6.2使修改后的系统生效
source/etc/profile
6.3测试
java–version
hadoopversion
7.克隆
主机台数:3台
名字:masterslave1slave2
8.设置免密登录
8.1方式一选其一
进入cd/root/.ssh执行
ssh-keygen-trsa
ssh-copy-idmaster@root自己对自己免密
ssh-copy-idslave1@root
ssh-copy-idslave2@root
8.2方式二选其一
解释:-t是要生成的密钥类型-p是原来的旧密码,没有就写''-f是密钥生成后保存文件的位置(这些都可以不写,取默认的)
ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
scp~/.ssh/authorized_keysslave1:/root/.ssh/
【千锋大数据开发学院：Hadoop集群安装系列------环境配置】scp~/.ssh/authorized_keysslave2:/root/.ssh/