Hadoop运行的三种模式：
Standalone (or local) mode
Pseudodistributed mode
Fully distributed mode模式的配置文件在 hadoop-2.8.1/etc/hadoop 目录：
core-s... waitig 3年前 (2017-11-26) 1257℃ 2评论 0赞
hadoop HDFS是常用的分布式文件系统，因此我在我网上搜集了一些命令
(1)-appendToFile
用法： hadoop fs -appendToFile
作用：附加文件到指定文件后。
示例:
hadoop fs -appendToFile localfile... waitig 3年前 (2017-11-26) 1338℃ 2评论 0赞
hadoop是目前常用的分布式文件存储系统，如果说是不小心误删了文件如何恢复呢？
在删除的时候通常可以看到如下：
Moved: 'hdfs://xxxxx/stock_1023' to trash at: hdfs://xxxxx/.Trash/Current
然后你转到后面的那... waitig 3年前 (2017-11-26) 1428℃ 2评论 1赞
hadoop文件的序列化Hadoop中序列化机制在每个类对象第一次出现时候保持了每个类的信息，如类名，第二次出现时候会有一个类的reference，导致空间浪费。
Java序列化不能复用对象，Java反序列化时候每次需要构造出新对象。在Hadoop序列化机制中，反序列化的对象... waitig 3年前 (2017-11-22) 887℃ 2评论 0赞
系列目录：
Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境
Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式
Hadoop实战（3）_虚拟机搭建CDH的全分布模式
Hadoop实战（4）_Hadoop的集群管理和资源分配
Cloudera Manag... waitig 3年前 (2017-10-29) 921℃ 1评论 0赞
hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs）1、hadoop启动不正常
用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：
a、在服务器的终端命令行使用jps查看相关进程
（namenode1个节点&... waitig 3年前 (2017-10-29) 614℃ 0评论 0赞
Hadoop 2.x HDFS新特性HDFS联邦
HDFS HA(要用到Zookeeper)
HDFS快照解决了namenode单点得问题
高可用性
我有一个3000个主机，是不是得写3000个hosts文件，3000两两面密码，所以在企业级应用得时候还是有问题得。 ... waitig 3年前 (2017-10-17) 667℃ 0评论 0赞
DataNode挂载的磁盘或者DataNode节点挂载多个磁盘，如果存在一些磁盘大小不一样，数据在落盘时就可能会出现磁盘使用率不均匀的情况，容量较小的盘容易被写满，而容量大的盘还剩很多空间。磁盘写满后，影响Hadoop集群的正常工作。国庆第一天，线上集群就报出了JournalNo... waitig 3年前 (2017-10-14) 1401℃ 2评论 0赞
下载https://mirrors.cnnic.cn/apache/hadoop/common/创建用户sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
... waitig 3年前 (2017-10-14) 770℃ 1评论 0赞
修改hadoop环境
Vi ~/profile
exportHADOOP_HOME="/opt/gnweb/Hadoop/hadoop-2.2.0"
export PATH=$PATH:$HADOOP_HOME/bin
source ~/profile
&n... waitig 3年前 (2017-10-13) 623℃ 0评论 0赞
