《Hadoop 集群部署实战》V2版

2021-05-15
2分钟阅读时长

课程资源下载

链接:https://pan.baidu.com/s/1nczgrWxkGvV8xQautBhihQ 
提取码:heis

课程实践报告要求

  • 必须使用老师提供的课程设计报告模板。
  • 必须保留封面
  • 实验步骤每一步都有详细的文字操作步骤说明,步骤顺序号,截图。
  • 截图只需要截关键部分信息,不能全屏截图。可以用红色框或箭头标注截图重点信息。推荐使用 Snipaste(官网下载网盘下载) 进行截图和标记。

课程内容

(1)Part 1 - 配置开发环境

(2)Part 2 - MapReduce Java编程实践

(3)Part 3 - Hive实战实践1

(4)Part 4 - Hive实战实践2

常用命令

vi/vim 命令图

查看IP地址等网络配置信息

ip a

修改包括IP等网络配置命令

#如果你的网卡名为 enp0s3
vim /etc/sysconfig/network-scripts/ifcfg-enp0s3
#如果你的网卡名为 eth0
vim /etc/sysconfig/network-scripts/ifcfg-eth0
#如果你的网卡名为 ens33
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#地址
IPADDR=10.0.0.11
#掩码
PREFIX=24
#网关
GATEWAY=10.0.0.254
#DNS1
DNS1=233.5.5.5

查看某项服务状态

systemctl status 服务名称 -l

查看一系列服务状态,例如下面是查看筛选包含nova关键字的服务。

systemctl --all | grep nova

查看进程端口等信息

  • 查看所有进程消息
netstat -tulpn
  • 查看进程信息包含 mysql 的进程
netstat -tulpn|grep mysql

卸载软件

yum remove 软件名称

查看日志

  • Hadoop 的日志通常都在$HADOOP_HOME/logs下,可以使用tail命令进行对日志尾部进行输出。

查看所有相关服务状态

  • 例如查看所有nova的相关服务
systemctl -a|grep nova

修改系统时间

  • 修改日期为 2021年3月11日
date -s  2021/03/11
  • 修改时间为 10:38:29
date -s  10:38:29
  • 写入CMOS
clock -w

修改 Linux 用户密码

  • 修改当前用户密码
passwd
  • 修改指定用户密码,注意需要提升到 root 权限才能修改。
passwd 指定用户名

切换 Linux 用户

su 用户名

递归修改目录下所有文件或目录的owner和group。

  • 例如修改 /opt/hadoop 下所有文件或目录,owner 设置为 hadoop,group 设置为 wheel。
chown hadoop:wheel -R /opt/hadoop

遇到 Permission Deny 如何解决。

(1)确保当前用户对该文件或目录拥有权限,可以使用以下命令进行查看。

ls -l

(2)使用 chown 权限修改文件或目录的owner。

(3)使用 chmod 命令修改文件或目录的权限。

  • 例如hadoop用户对脚本没有执行权限
[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rw-r--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh
  • 通过运行 chmod 命令进行修改,获取执行权限。
[hadoop@nodea9999 sbin]$ chmod -744 start-hdp.sh
[hadoop@nodea9999 sbin]$ ll start-hdp.sh
-rwxr--r-- 1 hadoop wheel 119 Mar 19 22:56 start-hdp.sh

如何清除 HDFS 回收站内容

  • 立即从文件系统中删除过期的检查点
hadoop fs -expunge

如何不经过回收站直接删除 HDFS 文件

hdfs dfs -rm -skipTrash 文件路径

扫码或长按识别访问