初见Hadoop—- 搭建MyEclipse 访问HDFS 上的文件

大数据 waitig 821℃ 百度已收录 0评论

因公司项目需要,开始接触大数据分析这块知识。网上关于大数据这块的知识还是比较多的。学习了一个礼拜了,再次记录一下,自己的学习过程,希望可以帮助后学者少走一些弯路。 
服务端的配置,由于公司项目经理已经配置好,我也就没有过多的接触,我所记录的更多的是如果使用大数据。(JDK 和Eclipse不讲了)

1、下载Hadoop开发环境,下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz 。(下载之后里面的bin文件夹下少两个文件hadoop.dll和winutils.exe需下载下来放入里面,地址:http://download.csdn.net/download/lyfzxf/9942732)下载之后需要配置环境变量。这个百度上都有,没难度。

2、首先是安装MyEclipse 插件, 
插件下载地址:http://download.csdn.net/download/lyfzxf/9942700。下载之后直接放到eclipse下面的plugins夹下就好

3、重启eclipse 在Windows –Preferences 下面会出现Hadoop Map/Reduce,点击关联到我们本地的Hadoop文件 
这里写图片描述
配置后,打开Map/Reduce视图模式这里写图片描述 
找到Map/Reduce Loacations操作栏,新建Location 并配置服务器路径这里写图片描述这里写图片描述

至此我们的配置就完成了,此时左边的文件结构一栏会出现 DFS Locations一栏。下面显示的就是服务器端的文件。我们可以通过鼠标右键对其文件进行增删。这里写图片描述 
也可以通过代码对其进行增删。我会在下篇博客介绍。


本文由【waitig】发表在等英博客
本文固定链接:初见Hadoop—- 搭建MyEclipse 访问HDFS 上的文件
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)