Hadoop运行的三种模式:
Standalone (or local) mode
Pseudodistributed mode
Fully distributed mode模式的配置文件在 hadoop-2.8.1/etc/hadoop 目录:
core-s... waitig 3年前 (2017-11-26) 1346℃ 2评论 0赞
hadoop HDFS是常用的分布式文件系统,因此我在我网上搜集了一些命令
(1)-appendToFile
用法: hadoop fs -appendToFile
作用:附加文件到指定文件后。
示例:
hadoop fs -appendToFile localfile... waitig 3年前 (2017-11-26) 1455℃ 2评论 0赞
hadoop是目前常用的分布式文件存储系统,如果说是不小心误删了文件如何恢复呢?
在删除的时候通常可以看到如下:
Moved: 'hdfs://xxxxx/stock_1023' to trash at: hdfs://xxxxx/.Trash/Current
然后你转到后面的那... waitig 3年前 (2017-11-26) 1531℃ 2评论 1赞
hadoop文件的序列化Hadoop中序列化机制在每个类对象第一次出现时候保持了每个类的信息,如类名,第二次出现时候会有一个类的reference,导致空间浪费。
Java序列化不能复用对象,Java反序列化时候每次需要构造出新对象。在Hadoop序列化机制中,反序列化的对象... waitig 3年前 (2017-11-22) 945℃ 2评论 0赞
系列目录:
Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境
Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式
Hadoop实战(3)_虚拟机搭建CDH的全分布模式
Hadoop实战(4)_Hadoop的集群管理和资源分配
Cloudera Manag... waitig 3年前 (2017-10-29) 974℃ 1评论 0赞
hadoop的日志目录(/home/hadoop/app/hadoop-2.6.4/logs)1、hadoop启动不正常
用浏览器访问namenode的50070端口,不正常,需要诊断问题出在哪里:
a、在服务器的终端命令行使用jps查看相关进程
(namenode1个节点&... waitig 3年前 (2017-10-29) 655℃ 0评论 0赞
Hadoop 2.x HDFS新特性HDFS联邦
HDFS HA(要用到Zookeeper)
HDFS快照解决了namenode单点得问题
高可用性
我有一个3000个主机,是不是得写3000个hosts文件,3000两两面密码,所以在企业级应用得时候还是有问题得。 ... waitig 3年前 (2017-10-17) 715℃ 0评论 0赞
DataNode挂载的磁盘或者DataNode节点挂载多个磁盘,如果存在一些磁盘大小不一样,数据在落盘时就可能会出现磁盘使用率不均匀的情况,容量较小的盘容易被写满,而容量大的盘还剩很多空间。磁盘写满后,影响Hadoop集群的正常工作。国庆第一天,线上集群就报出了JournalNo... waitig 3年前 (2017-10-14) 1489℃ 2评论 0赞
下载https://mirrors.cnnic.cn/apache/hadoop/common/创建用户sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
... waitig 3年前 (2017-10-14) 802℃ 1评论 0赞
修改hadoop环境
Vi ~/profile
exportHADOOP_HOME="/opt/gnweb/Hadoop/hadoop-2.2.0"
export PATH=$PATH:$HADOOP_HOME/bin
source ~/profile
&n... waitig 3年前 (2017-10-13) 656℃ 0评论 0赞