Hadoop 初探

安装hadoop

本文按照此教程学习安装

本人使用homebrew安装，推荐Mac用户使用homebrew

安装完成后在命令行中确认是否已经成功完成

hadoop version

按照教程，我们首先执行

hadoop jar /usr/local/Cellar/hadoop/3.2.1/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar

此时告诉我们我们需要几个参数，这个可以忽略

在当前用户目录找一个目录下，新建一个文件夹，并且把/usr/local/Cellar/hadoop/3.2.1目录下面的.txt文件复制到你创建的文件夹的input文件夹下

如图所示是我创建的文件夹，将txt文件复制到hadoop/demoOne/input文件夹下

然后执行

hadoop jar /usr/local/Cellar/hadoop/3.2.1/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount ~/mywebs/hadoop/demoOne/input  ~/mywebs/hadoop/demoOne/output

其中output文件夹不需要创建。执行成功后会显示如下信息

然后input同级目录下会出现output文件夹，并有生成出来的文件

然后我们打开output文件夹下的文件

cat output/*
```

这里面显示的就是刚刚我们input中.txt文件中的所有单词以及数量

![jamon-runtime.png](https://static.zmis.me/public/images/2019/12/28/c1889f47d34f12a43b333a21d51c8066.png)