Hadoop伪分布式环境搭建
1.配置一个节点的hdfs系统
vi etc/hadoop/core-site.xml
2.新增hdfs文件系统节点
<property>
<name>fs.defaultFS</name>
&l... waitig 3年前 (2017-10-09) 679℃ 0评论 0赞
安装hadoop: hadoop-2.7.3.tar.gz
1、解压hadoop
mkdir /usr/hadoop
tar zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/
2、修改配置文件 #hadoop2.x的配置文件在/usr/had... waitig 3年前 (2017-10-06) 515℃ 0评论 0赞
打开VM虚拟,创建新的新的虚拟机这里选择自定义，也可以按照自己的意愿选择典型。下一步~下一步~选择你要创建虚拟机的名和位置，可以默认。... waitig 3年前 (2017-10-01) 945℃ 0评论 0赞
1 环境准备
1.1 建立虚拟集群
本博客内容基于虚拟的分布式集群进行Hadoop与Spark平台的搭建部署，运用Windows平台下的虚拟机软件VMware创建拥有3个节点的集群，其中集群拥有1个Master节点、2个Slave节点。
1．新建虚拟机
运用VMware软件新... waitig 3年前 (2017-09-25) 702℃ 0评论 0赞
第十四章 关于Flume设计宗旨是向Hadoop批量导入基于事件的海量数据。
典型例子：利用Flume从一组web服务器中收集日志文件，然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中以作进一步处理，其终点通常为HDFS。
Flume也可以将数据写到其他系统中，如H... waitig 3年前 (2017-09-19) 536℃ 0评论 0赞
学习hadoop，wmware以host-only方式安装虚拟机出现的ifconfig中网卡eth0变成了eth1，我在system-preferences-network connections 配置的ip192.168.17.100，connection name 为Sys... waitig 3年前 (2017-09-17) 654℃ 0评论 0赞
hadoop fs -count < hdfs path >
统计hdfs对应路径下的目录个数，文件个数，文件总计大小
显示为目录个数，文件个数，文件总计大小，输入路径例如：hadoop fs -count /data/dltb3yi/
1&nbs... waitig 3年前 (2017-09-16) 1559℃ 0评论 0赞
5.Hadoop搭建
5.1 hadoop单机版搭建
1.修改主机
查看主机：Hostname-f
修改主机：vim/etc/sysconfig/network
修改主机为hadoop01
修改映射关系
vim /etc/hosts
12... waitig 3年前 (2017-09-14) 682℃ 0评论 0赞
https://community.cloudera.com/t5/Hadoop-101-Training-Quickstart/Hive-Upgrade-from-1-1-0-to-2-0-0-in-CDH5-7-0/m-p/40626
... waitig 3年前 (2017-09-14) 1012℃ 1评论 0赞
Hadoop之为何不使用RAID–http://www.cnblogs.com/Richardzhu/p/5315064.html
... waitig 3年前 (2017-09-11) 727℃ 0评论 0赞
