从零开始系列之spark与mongodb连接的安装记录_java方向(1)

云计算 waitig 986℃ 百度已收录 0评论

1、前置条件

64位操作系统:ubuntu16.04LTS  

java: jdk 1.8.0_144
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

scala:2.12.1 下载地址:https://downloads.lightbend.com/scala/2.12.1/scala-2.12.1.tgz

spark:spark-2.1.0-bin-hadoop2.7 下载地址:https://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz

mongodb:3.4.9 安装方式 http://blog.csdn.net/xsj_blog/article/details/71106133?locationNum=7&fps=1

2、步骤

  • 首先安装mongodb,在执行“sudo apt-get update”命令时出错:
     Error in `xxx': double free or corruption (fasttop) 
     *****/libappstream.so.3****

          最后使用下面命令解决问题

     sudo apt-get purge libappstream3
  • 然后将jdk、scala、spark解压到某个路径下,如“/home/xx/Downloads/”,使用命令
       vi /etc/profile
    //打开profile文件,并在文件末尾加上
      export JAVA_HOME=/home/xx/Downloads/jdk1.8.0_144
      export JRE_HOME=${JAVA_HOME}/jre
      export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
      export PATH=${JAVA_HOME}/bin:$PATH
      export SCALA_HOME=/home/xx/Downloads/scala-2.12.1
      export PATH=${SCALA_HOME}/bin:$PATH
      export SPARK_HOME=/home/xx/Downloads/spark-2.1.0-bin-hadoop2.7
      export PATH=${SPARK_HOME}/bin:$PATH
    //保存并退出,使用
      source /etc/profile
    //命令使刚才的配置生效。依次输入
      java -version
      scala -version
    //看看能否正确显示对应的版本号,输入
      ${SPARK_HOME}/sbin/start-master.sh 
    //启动spark master,查看日志或者在浏览器中输入
      http://[spark服务器地址]:8080/
    //看是否启动成功(日志路径:${SPARK_HOME}/logs/。我在这里遇到了日志不能写入的问题,解决方法是手工创建logs目录,并用chmod 777给该文件夹开通权限)。
  • 关闭spark命令
    ${SPARK_HOME}/sbin/stop-all.sh
  • 要想使spark mongodb connetor工作,还需要向spark中附加一个worker,命令如下
    ${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://[ip]:[port]

    例如:

    ${SPARK_HOME}/bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.67.129:7077


本文由【waitig】发表在等英博客
本文固定链接:从零开始系列之spark与mongodb连接的安装记录_java方向(1)
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)