2.3 HDFS环境搭建

• 1）卸载自带的java

  ​ 查看已经安装的java

  ​ rpm -qa | grep java

  java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.i686
  java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.i686
  

  ​ 删除openjdk版本

   rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.i686
   rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.i686
  

• 2）jdk安装 ​ 解压：tar -zxvf jdk-8u79-linux-x64.tar.gz -C ~/xxx ​ 添加到系统环境变量： ~/.bash_profile

  export JAVA_HOME=/home/hadoop/app/jdk1.8.0_79
  export PATH=$JAVA_HOME/bin:$PATH
  

  ​ 使得环境变量生效： source ~/.bash_profile ​ 验证java是否配置成功： java -v

• 3）安装ssh（免密登陆）

  sudo yum install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
  

• 4）下载并解压hadoop ​ 下载：直接去cdh网站下载 ​ 解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/xxx

• 5）hadoop配置文件的修改(hadoop_home/etc/hadoop)

  hadoop-env.sh
      export JAVA_HOME=/home/hadoop/app/jdk1.8.0_79
  core-site.xml
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://node-teach:8020</value>
      </property>
  
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/root/bigdata/tmp</value>
      </property>
  
  hdfs-site.xml
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  
  slaves(这个文件默认不修改)
  

• 6）启动hdfs ​ 格式化文件系统（仅第一次执行即可，不要重复执行）：hadoop namenode -format ​ 启动hdfs:sbin/start-dfs.sh ​ 验证是否启动成功：

  jps
      DataNode
      SecondaryNameNode
      NameNode
  浏览器访问方式： http://node-teach:50070
  

• 6）停止hdfs ​ sbin/stop-dfs.sh