Hadoop的简单测试及使用

2018年12月12日18:09:16 3 328 views

接上文Hadoop完全分布式环境搭建,本文介绍关于 Hadoop 的简单测试及使用

1、HDFS的简单使用测试

  • 创建文件夹

在HDFS上创建一个文件夹/test/input

  • 查看创建的文件夹

  • 向HDFS上传文件

创建一个文本文件words.txt

  • 从HDFS下载文件

将刚刚上传的文件下载到~/data文件夹中

2、运行第一个Map Reduce的例子程序:wordcount

用自带的demo--wordcount来测试hadoop集群能不能正常跑任务:

执行wordcount程序,并将结果放入/test/output/文件夹:

查看执行结果:

在output/part-r-00000可以看到程序执行结果:

3、运行例子程序:求圆周率

用自带的demo--pi来测试hadoop集群能不能正常跑任务:

执行pi程序:

用来求圆周率,pi是类名,第一个10表示Map次数,第二个10表示随机生成点的次数(与计算原理有关)

  • 微信小程序
  • 关注微信小程序
  • weinxin
  • 微信公众号
  • 关注微信公众号
  • weinxin
Honest1y

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:3   其中:访客  2   博主  1

    • avatar 楚狂人博客 1

      博主又更新了哦,支持下

        • avatar Clannad 博主

          @楚狂人博客 感谢支持 :!:

        • avatar 银色月航 1

          搞个手动安装集群,通过web管理工具管理起来