如何安装Hadoop并运行WordCount程序

目录

• 一、安装 Java
• 二、安装 Hadoop
• 三、启动 Hadoop
• 四、运行 WordCount 程序

一、安装 Java

Hadoop 依赖 Java，首先需要安装 Java 开发工具包（JDK）。以 Ubuntu 为例：

sudo apt update
sudo apt instal编程l 编程openjdk-8-jdk

安装后，设置环境变量：

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> ~/.bashrc
source ~/.bashrwww.devze.comc

二、安装 Hadoop

下载 Hadoop：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz
tar -xzf hadoop-3.3.6.tar.gz
mv hadoop-3.3.6 /opt/hadoop

配置环境变量：

echo 'export HADOOP_HOME=/opt/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc
source ~/.bashrc

配置 Hadoop： core-site.XML：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/data/datanode</value>
    </property>
</configuration>

三、启动 Hadoop

格式化 NameNode：

hdfs namenhPZEzmPgJYode -format

启动 HDFS 和 YARN：

start-dfs.sh
start-yarn.sh

验证服务：

访问 http://localhost:9870 查看 HDFS 界面，http://localhost:8088 查看 YARN 界面。

四、运行 WordCount 程序

准备输入数据：

echo "Hello Hadoop World" > input.txt
hdfs dfs -mkdir -p /user/input
hdfs dfs -put input.txt /user/input

执行 WordCount：

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input /user/output

查看结果：

hdfs dfs -cat /user/output/part-r-00000

到此这篇关于如何安装Hadoop并运行WordCount程序的文章就介绍到这了,更多相关Hadoop安装和WordCount编程客栈程序内容请搜索编程客栈(www.devze.com)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程客栈(www.devze.com)！