转载于“牛肉圆粉不加葱”
链接:http://www.jianshu.com/p/00b591c5f623一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,... waitig 3年前 (2017-11-26) 1466℃ 2评论 0赞
1、org.apache.hadoop.conf包
org.apache.hadoop.conf包位于hadoop-common模块下1.1 Configurable 接口
package org.apache.hadoop.conf;import org.apache... waitig 3年前 (2017-11-26) 1448℃ 2评论 0赞
Hadoop运行的三种模式:
Standalone (or local) mode
Pseudodistributed mode
Fully distributed mode模式的配置文件在 hadoop-2.8.1/etc/hadoop 目录:
core-s... waitig 3年前 (2017-11-26) 1300℃ 2评论 0赞
hadoop HDFS是常用的分布式文件系统,因此我在我网上搜集了一些命令
(1)-appendToFile
用法: hadoop fs -appendToFile
作用:附加文件到指定文件后。
示例:
hadoop fs -appendToFile localfile... waitig 3年前 (2017-11-26) 1396℃ 2评论 0赞
hadoop是目前常用的分布式文件存储系统,如果说是不小心误删了文件如何恢复呢?
在删除的时候通常可以看到如下:
Moved: 'hdfs://xxxxx/stock_1023' to trash at: hdfs://xxxxx/.Trash/Current
然后你转到后面的那... waitig 3年前 (2017-11-26) 1473℃ 2评论 1赞
流形学习
假设数据是均匀采样于一个高维欧氏空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,以实现维数约简或者数据可视化。它是从观测到的现象中去寻找事物的本质,找到产生数据的内在规律。流形学习方法是模式识别中的基... waitig 3年前 (2017-11-26) 1503℃ 2评论 0赞
本文是对何晓飞老师的论文Locality Preserving Projections及其代码的一些简单j介绍,论文及代码均可以在何老师主页上下载。一、LPP简介线性投影映射
最优化地保存了数据集的邻近结构
与PCA可作为二选一的技术
在外围空间各处均有定义(不只在训练... waitig 3年前 (2017-11-26) 1021℃ 1评论 0赞
流形学习 (manifold learning)
流形学习是个很广泛的概念。这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法。自从2000年以后,流形学习被认为属于非线性降维的一个分支。众所周知,引导这一领域迅速发展的是2000年Science杂志... waitig 3年前 (2017-11-26) 766℃ 2评论 0赞
前言: 上一次写了关于PCA与LDA的文章,PCA的实现一般有两种,一种是用特征值分解去实现的,一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中,往往是停留在纯粹的数学计算中。而且线性... waitig 3年前 (2017-11-26) 810℃ 2评论 0赞
数据的形式是多种多样的,维度也是各不相同的,当实际问题中遇到很高的维度时,如何给他降到较低的维度上?前文提到进行属性选择,当然这是一种很好的方法,这里另外提供一种从高维特征空间向低纬特征空间映射的思路。
数据降维的目的
数据降维,直观地好处是维度降低了,便于计算和可视化,... waitig 3年前 (2017-11-26) 944℃ 1评论 0赞