Hadoop集群部署与开发

2021-03-14

3分钟阅读时长

资源下载

链接：https://pan.baidu.com/s/1MoQ0iU0Qb1o8_o5JV6X6iw 
提取码：3rno

实验报告要求

必须使用老师提供的实验报告模板。
必须保留封面
实验步骤每一步都有详细的文字操作步骤说明，步骤顺序号，截图。
截图只需要截关键部分信息，不能全屏截图。可以用红色框或箭头标注截图重点信息。推荐使用 Snipaste（官网下载或网盘下载）进行截图和标记。

【课程内容】

（1）Part 1 - 模板机制作

（2）Part 2 - 部署 Hadoop 完全分布模式（Fully Distributed Mode）

（3）Part 3 - 通过 Shell 命令访问 HDFS

（4）Part 4 - 搭建 Hadoop 开发环境

（5）Part 5 - HDFS Java 编程访问

（6）Part 6 - 编写 MapReduce 程序

（7）Part 7 - 部署 Hive 和 Hive 常用操作

（8）Part 8 - 部署 HBase 和 HBase 常用操作

（9）Part 9 - 部署 ZooKeeper 和 ZooKeeper 常用操作

（10）Part 10 - Flume 和 Sqoop 操作实例

Hadoop 官方手册

官方 Hadoop 完全分布式教程

【常用命令】

vi/vim 命令图

查看IP地址等网络配置信息

ip a

修改包括IP等网络配置命令

#如果你的网卡名为eth0
vim /etc/sysconfig/network-scripts/ifcfg-eth0
#如果你的网卡名为ens33
vim /etc/sysconfig/network-scripts/ifcfg-ens33

#地址
IPADDR=10.0.0.11
#掩码
PREFIX=24
#网关
GATEWAY=10.0.0.254
#DNS1
DNS1=233.5.5.5

查看某项服务状态

systemctl status 服务名称 -l

查看一系列服务状态，例如下面是查看筛选包含nova关键字的服务。

systemctl --all | grep nova

查看进程端口等信息

查看所有进程消息

netstat -tulpn

查看进程信息包含 mysql 的进程

netstat -tulpn|grep mysql

卸载软件

yum remove 软件名称

查看日志

Hadoop 的日志通常都在$HADOOP_HOME/logs下，可以使用tail命令进行对日志尾部进行输出。

查看所有相关服务状态

例如查看所有nova的相关服务

systemctl -a|grep nova

修改系统时间

修改日期为 2021年3月11日

date -s  2021/03/11

修改时间为 10:38:29

date -s  10:38:29

写入CMOS

clock -w

修改 Linux 用户密码

修改当前用户密码

passwd

修改指定用户密码，注意需要提升到 root 权限才能修改。

passwd 指定用户名

切换 Linux 用户

su 用户名

递归修改目录下所有文件或目录的owner和group。

例如修改 /opt/hadoop 下所有文件或目录，owner 设置为 hadoop，group 设置为 wheel。

chown hadoop:wheel -R /opt/hadoop

如何清除 HDFS 回收站内容

立即从文件系统中删除过期的检查点

hadoop fs -expunge

如何不经过回收站直接删除 HDFS 文件

hdfs dfs -rm -skipTrash 文件路径

【常见问题】

1. 运行 Linux 命令遇到 Permission Deny 如何解决？

答：（1）确保当前用户对该文件或目录拥有权限，可以使用以下命令进行查看。

ls -l

（2）使用 chown 权限修改文件或目录的owner。

（3）使用 chmod 命令修改文件或目录的权限。

例如hadoop用户对脚本没有执行权限

[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rw-r--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh

通过运行 chmod 命令进行修改，获取执行权限。

[hadoop@nodea9999 sbin]$ chmod -744 start-hdp.sh

[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rwxr--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh

2. 提示 mvn 命令找不到如何解决？

答：参考实验4的步骤9

配置正常的情况下，在命令行终端运行以下命令：

echo %MAVEN_HOME%

正常应该会输出你的 Maven 安装路径，例如

D:\maven363

运行以下命令

%MAVEN_HOME%\bin\mvn -version

正常应该会输出类似以下 Maven 版本信息

Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: D:\maven363\bin\..
Java version: 1.8.0_321, vendor: Oracle Corporation, runtime: D:\runtimes\Java\jdk1.8.0_321\jre
Default locale: zh_CN, platform encoding: GBK
OS name: "windows 11", version: "10.0", arch: "amd64", family: "windows"

3. pom.xml 提示找不到 jar 包，或者下载 jar 包缓慢。

答：打开 Maven 安装路径\conf\settings.xml。

（1）确保本地仓库配置正确没有放在 XML 注释 内。

<localRepository>D:/maven363/repos</localRepository>

（2）确保远程仓库镜像配置没有放在 XML 注释 内。

<mirror>
  <id>nexus-aliyun</id>
  <mirrorOf>*</mirrorOf>
  <name>Nexus aliyun</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

#hadoop #大数据

扫码或长按识别访问

本页内容