Hadoop伪分布式搭建操作步骤指南
来源:清一色财经 |
时间:2023-05-07 21:06:40
本文主要分享Hadoop伪分布式搭建的操作步骤,包括准备工作、Hadoop环境部署-JDK部分和Hadoop伪分布式环境部署-Hadoop部分,希望对大家有所帮助。
(相关资料图)
[[207661]]
一、准备工作
在 /opt/目录下创建文件夹modules,和softwares修改操作权限(切换至root用户下)chown-Rwxt:wxt/opt/然后切换至普通用户
mkdirsoftwaresmkdirmodules安装lrzsz (在linux里可代替ftp上传和下载。)
首先安装lrzsz
yum-yinstalllrzsz上传文件,执行命令rz,会跳出文件选择窗口,选择好文件,点击确认即可。
rz下载文件,执行命令sz
sz
二、Hadoop环境部署-JDK部分
1.
上传jdk 至softwares2.
解压jdk 至modulestar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/3.
修改环境变量切换至 root 用户修改 vi /etc/profile 文件,配置jdk环境变量#JAVA_HOMEexportJAVA_HOME=/opt/modules/jdk1.7.0_67exportPATH=$PATH:$JAVA_HOME/bin
4.
source /etc/profile 使文件生效验证是否配置成功java -versionjavaversion"1.7.0_09-icedtea"OpenJDKRuntimeEnvironment(rhel-2.3.4.1.el6_3-x86_64)OpenJDK64-BitServerVM(build23.2-b09,mixedmode)jps命令可以查看java 进程echo $JAVA_HOME
三、Hadoop伪分布式环境部署-Hadoop部分
1.
上传文件hadoop-2.5.0.tar.gz,至softwares解压文件至modulestar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/2.
清理Hadoop的目录,将hadoop/share/doc目录删除,节省磁盘空间, 通过这个命令查看df -h3.
修改hadoop/etc/hadoop/hadoop-env.sh文件修改hadoop/etc/hadoop/mapred-env.sh文件修改hadoop/etc/hadoop/yarn-env.sh文件指定Java安装路径export JAVA_HOME=/opt/modules/jdk1.7.0_674.
注意:Hadoop中的四个核心模块对应四个默认配置文件HDFS,Hadoop默认的文件系统,是文件系统的访问入口Namenode,所在的机器9000端口是早期Hadoop 1.x使用的,现在 Hadoop 2.x使用的是8020端口号用于节点直接内部通信,使用RPC通信机制5.
修改hadoop/etc/hadoop/core-site.xml文件fs.defaultFS hdfs://bigdata-4:8020 hadoop.tmp.dir /opt/modules/hadoop-2.5.0/data/tmp
6.
注意:/tmp表示临时存储目录,系统每次重启会按照脚本预先设置好的删 除 里面的文件重新自定义系统生成的文件路径,/tmp会被清空,无法保证数据文件安全性。7.
修改hadoop/etc/hadoop/hdfs-site.xml文件指定HDFS文件存储的副本数个数,默认是3个,这里是单台机器就设置为1,这个数字要小于datanode的节点数。dfs.replication 1
8.
修改hadoop/etc/hadoop/slaves文件指定从节点的机器位置,添加主机名即可bigdata-4
9.
格式化namenodebin/hdfsnamenode-format
10.
启动命令sbin/hadoop-daemon.sh start namenodesbin/hadoop-daemon.sh start datanode11.
查看HDFS外部UI界面bigdata-04或者IP地址 跟上50070端口号,外部通信httpdfs.namenode.http-address 50070http://bigdata-4:50070 (如果windows本地没有配置hosts,需要配置)如果不能正确打开页面,请检查防火墙是否关闭切换至root 用户,service iptables status关闭防火墙 chkconfig iptables off12.
测试HDFS环境创建文件夹,HDFS中有用户主目录的概念,和Linux一样bin/hdfs dfs -mkdir -p wxt_test/iuput13.
上传文件到HDFS(随便找一个文件上传就行)bin/hdfs dfs -put /opt/modules/hadoop-2.5.0/etc/hadoop/core-site.xml wxt_test/input/core-site.xml上传成功,HDFS外部UI界面,会有上传的文件显示14.
读取HDFS的文件bin/hdfs dfs -text /core-site.xml终端会显示上传文件的内容。15.
下载文件到本地(指定下载到哪里,同时可以重命名成get-site.xml)bin/hdfs dfs -get /core-site.xml /home/wxt/Desktop/get-site.xml然后你会看到这个文件,并且重命名于桌面。Hadoop 伪分布式搭建至此结束。
关键词: