Hadoop2.欧洲杯竞猜平台2 单机测量检验程序WordCount

Hadoop
wordcount程序是杰出的hadoop入门测量检验程序,首要基于提交一群众文化艺术件file1、file2…,总括出file1、file2…中单词出现的次数。
咱俩在单机上测验运转这一个程序,作者的测量试验系统是Mac OS。
1
下载hadoop包,地址:
2 安装到自由目录,作者设置在 /usr/local, 解压。
3 配置遭逢变量:
vi /etc/profile
将下面ADD进去。

#export JAVA_HOME=`/usr/libexec/java_home -v 1.7`
export HADOOP_HOME=/usr/local/hadoop-2.2.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS=”-Djava.security.krb5.realm=OX.AC.UK
-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk”
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4 新建namenode、datanode目录,目录路径随意钦定。
mkdir -p /urs/local/hadoop/mnode/namenode

mkdir -p /urs/local/hadoop/mnode/dataname
5 初始布局hadoop文件(xml):
  a)步向Hadoop文件配置目录,cd /usr/local/hadoop/etc/hadoop
  b) 更改 hadoop-env.sh
      把JAVA_HOME指定:export JAVA_HOME=`/usr/libexec/java_home -v
1.7`
  c)更改 yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce_shuffle</value>
    </property>
 <property>
   
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>

  d)更改 core-site.xml

<property>
 <name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
 </property>

  e)更改 hdfs-site.xml

<name>dfs.replication</name>
  <value>1</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/hadoop/mnode/namenode</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/hadoop/mnode/datanode</value>
  </property>

 f)更改 mapred-site.xml
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

6 格式化NameNode:
hadoop namenode -format

7 启动
start-all.sh

8 查看全部JAVA进度:
Jps

此时能够见到如下:

2234 Jps
1989 ResourceManager
2023 NodeManager
1856 DataNode
2060 JobHistoryServer
1793 NameNode
2049 SecondaryNameNode

9 那时能够查看hadoop的运转状态:

查看 NameNode :
查看 ResourceManager:

10 新建三个文本夹用于寄存原始数据(随意内定):
mkdir /Usrs/apple/hadoop/tmp
然后在此目录下,新建多个文件:file1、file2, 编辑file1: hello world,
编辑file2: hello hadoop,保存。

11 拷贝到HDFS
hadoop dfs -copyFromLocal /Users/apple/hadoop/tmp/ /in
(或者:hadoop fs -put /Users/apple/hadoop/tmp/ /input)
翻看输入目录:hadoop fs -ls /

12 RUN
率先步向example目录:cd /usr/local/hadoop/share/hadoop/mapreduce
然后run:hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount /in
/out

13 查看程序运转结果:

hadoop fs -cat /out/part-r-00000
hadoop  1
hello  2
world  1

Hadoop测量试验例子WordCount   

wordcount程序是卓绝的hadoop入门测验程序,主要基于提交一批文件file1、file2…,总计出file1、file2…中单词出现的次数。
大家在单机上测…

相关文章