两个haoop集群之间迁移数据:

云计算 waitig 704℃ 百度已收录 0评论

1、迁移之前需要把两个集群的所有节点都互通/etc/hosts文件(重要,包括各个数据节点)
2、配置当前集群主节点到老集群各个节点的ssh免密登陆
3、由于老集群是HDP2.7.1,新集群是cdh5.8.5,版本不同,不能用hdfs协议直接拷贝,需要用http协议
即不能用:distcp hdfs://src:50070/foo /user**
而要用:distcp hftp://src:50070/foo /user**
最终的命令为:
hadoop distcp hftp://192.168.57.73:50070/hive3/20171008 /hive3/
4、如果两个集群的版本相同,则可以使用hdfs协议,命令如下:
hadoop distcp hdfs://namenodeip:9000/foo hdfs://namenodeip:9000/foo
5、由于迁移数据运行了mr任务,对集群资源有一定的消耗


本文由【waitig】发表在等英博客
本文固定链接:两个haoop集群之间迁移数据:
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)