Hadoop的简单测试及使用

2,443 views次阅读
3条评论

接上文Hadoop完全分布式环境搭建,本文介绍关于 Hadoop 的简单测试及使用

1、HDFS的简单使用测试

  • 创建文件夹

在HDFS上创建一个文件夹/test/input

  • 查看创建的文件夹

  • 向HDFS上传文件

创建一个文本文件words.txt

  • 从HDFS下载文件

将刚刚上传的文件下载到~/data文件夹中

2、运行第一个Map Reduce的例子程序:wordcount

用自带的demo--wordcount来测试hadoop集群能不能正常跑任务:

执行wordcount程序,并将结果放入/test/output/文件夹:

Hadoop的简单测试及使用

查看执行结果:

在output/part-r-00000可以看到程序执行结果:

3、运行例子程序:求圆周率

用自带的demo--pi来测试hadoop集群能不能正常跑任务:

执行pi程序:

用来求圆周率,pi是类名,第一个10表示Map次数,第二个10表示随机生成点的次数(与计算原理有关)

Hadoop的简单测试及使用

Hadoop的简单测试及使用

Honest1y
版权声明:本站原创文章,由Honest1y于2018年12月12日发表,共计1895字。
转载提示:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(3条评论)
头像
楚狂人博客 评论达人LV.1
2018-12-16 16:38:07 回复

博主又更新了哦,支持下

头像
银色月航 评论达人LV.1
2018-12-22 21:55:29 回复

搞个手动安装集群,通过web管理工具管理起来