【笔记】Hadoop 本地模式

发表于 更新于 阅读次数：

前言

Hadoop本地模式运行两个demo

MacOS环境下Hadoop3学习笔记

官方 Grep 案例

新建输入目录

1
mkdir input

拷贝数据文件

1
cp /usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/*.xml input

启动 demo

grep：主类名
input：输入目录
output：输出目录（必须不存在）

1
/usr/local/Cellar/hadoop/3.2.1/libexec/bin/hadoop jar /usr/local/Cellar/hadoop/3.2.1/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

查看结果

1
cat output/*

官方 WordCount 案例

创建输入目录

1
mkdir wcinput

创建数据文件

新建 wc.input 文件

1
touch wcinput/wc.input

编辑 wc.input 文件

  • 编辑文件
1
vim wcinput/wc.input
  • 输入文字
1
2
3
4
hadoop yarn
hadoop mapreduce
atguigu
atguigu

启动 demo

1
/usr/local/Cellar/hadoop/3.2.1/libexec/bin/hadoop jar /usr/local/Cellar/hadoop/3.2.1/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount wcinput wcoutput

查看结果

1
cat wcoutput/*

完成

参考文献

哔哩哔哩——zhvsvd