Spark集群搭建
scala压缩包
链接:https://pan.baidu.com/s/1GbeF8ggBrv9ZdHWnHR6m9Q
提取码:w655
spark压缩包
链接:https://pan.baidu.com/s/1f-cFda5bqBGuoux_1TPCQA
提取码:j0v6
1. 解压:
[root@master /]# cd /soft
[root@master soft]# tar -xzvf scala-2.11.8.tgz
[root@master soft]# tar -xzvf spark-3.0.0-preview2-bin-hadoop2.7.tgz
2. 创建软链接
[root@master soft]# ln -s spark-3.0.0-preview2-bin-hadoop2.7 /soft/spark
[root@master soft]# ln -s scala-2.11.8 /soft/scala
3.配置spark
[root@master soft]# cd /soft/spark/conf/
[root@master conf]# mv spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh
spark-env.sh 文件添加如下配置
export JAVA_HOME=/soft/jdk
export SCALA_HOME=/soft/scala
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=2G
export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop
[root@master conf]# mv slaves.template slaves
[root@master conf]# vi slavesslaves文件删除localhost,添加如下配置
master
slave1
slave2
4. 配置环境变量
[root@master soft]# vi /etc/profile
添加如下配置:
export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export SCALA_HOME=/soft/spark
export PATH=$PATH:$SCALA_HOME/bin
[root@master soft]# source /etc/profile #生效
5. 分发scala、spark到其他集群
[root@master conf]# scp -r /soft/spark/ root@slave1:/soft/
[root@master conf]# scp -r /soft/spark/ root@slave2:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave1:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave2:/soft/
6. 配置其他集群环境变量
同步骤4
7. 启动
[root@master ~]# start-all.sh #启动Hadoop
[root@master ~]# start-master.sh #启动spark master
[root@master ~]# start-slaves.sh #启动spark slaves
[root@master ~]# jps
8. 启动spark-shell
[root@master ~]# spark-shell
9. 网页验证http://192.168.110.11:8080/
原创:https://www.panoramacn.com
源码网提供WordPress源码,帝国CMS源码discuz源码,微信小程序,小说源码,杰奇源码,thinkphp源码,ecshop模板源码,微擎模板源码,dede源码,织梦源码等。专业搭建小说网站,小说程序,杰奇系列,微信小说系列,app系列小说
免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。
您必须遵守我们的协议,如果您下载了该资源行为将被视为对《免责声明》全部内容的认可-> 联系客服 投诉资源www.panoramacn.com资源全部来自互联网收集,仅供用于学习和交流,请勿用于商业用途。如有侵权、不妥之处,请联系站长并出示版权证明以便删除。 敬请谅解! 侵权删帖/违法举报/投稿等事物联系邮箱:2640602276@qq.com未经允许不得转载:书荒源码源码网每日更新网站源码模板! » Spark集群搭建(附压缩包安装包)
关注我们小说电影免费看关注我们,获取更多的全网素材资源,有趣有料!120000+人已关注
评论抢沙发