Spark集群搭建(附压缩包安装包)

Spark集群搭建

scala压缩包

链接:https://pan.baidu.com/s/1GbeF8ggBrv9ZdHWnHR6m9Q 
提取码:w655

spark压缩包

链接:https://pan.baidu.com/s/1f-cFda5bqBGuoux_1TPCQA 
提取码:j0v6

1. 解压:

[root@master /]# cd /soft
[root@master soft]# tar -xzvf scala-2.11.8.tgz
[root@master soft]# tar -xzvf spark-3.0.0-preview2-bin-hadoop2.7.tgz

 

2. 创建软链接

[root@master soft]# ln -s spark-3.0.0-preview2-bin-hadoop2.7 /soft/spark
[root@master soft]# ln -s scala-2.11.8 /soft/scala

 

3.配置spark

[root@master soft]# cd /soft/spark/conf/
[root@master conf]# mv spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh

 

spark-env.sh 文件添加如下配置

export JAVA_HOME=/soft/jdk

export SCALA_HOME=/soft/scala

export SPARK_MASTER_IP=master

export SPARK_WORKER_MEMORY=2G

export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop

[root@master conf]# mv slaves.template slaves
[root@master conf]# vi slaves

slaves文件删除localhost,添加如下配置

master

slave1

slave2

4. 配置环境变量

[root@master soft]# vi /etc/profile

添加如下配置:

export SPARK_HOME=/soft/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

export SCALA_HOME=/soft/spark

export PATH=$PATH:$SCALA_HOME/bin

 

[root@master soft]# source /etc/profile    #生效

5. 分发scala、spark到其他集群

[root@master conf]# scp -r /soft/spark/ root@slave1:/soft/
[root@master conf]# scp -r /soft/spark/ root@slave2:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave1:/soft/
[root@master conf]# scp -r /soft/scala/ root@slave2:/soft/

 

6. 配置其他集群环境变量

同步骤4

 

7. 启动

[root@master ~]# start-all.sh       #启动Hadoop
[root@master ~]# start-master.sh #启动spark master
[root@master ~]# start-slaves.sh #启动spark slaves
[root@master ~]# jps

Spark集群搭建(附压缩包安装包)Spark集群搭建(附压缩包安装包)Spark集群搭建(附压缩包安装包)

8. 启动spark-shell

[root@master ~]# spark-shell

Spark集群搭建(附压缩包安装包)

9. 网页验证http://192.168.110.11:8080/

 

Spark集群搭建(附压缩包安装包)

 

 

原创:https://www.panoramacn.com
源码网提供WordPress源码,帝国CMS源码discuz源码,微信小程序,小说源码,杰奇源码,thinkphp源码,ecshop模板源码,微擎模板源码,dede源码,织梦源码等。

专业搭建小说网站,小说程序,杰奇系列,微信小说系列,app系列小说

Spark集群搭建(附压缩包安装包)

免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。

您必须遵守我们的协议,如果您下载了该资源行为将被视为对《免责声明》全部内容的认可-> 联系客服 投诉资源
www.panoramacn.com资源全部来自互联网收集,仅供用于学习和交流,请勿用于商业用途。如有侵权、不妥之处,请联系站长并出示版权证明以便删除。 敬请谅解! 侵权删帖/违法举报/投稿等事物联系邮箱:2640602276@qq.com
未经允许不得转载:书荒源码源码网每日更新网站源码模板! » Spark集群搭建(附压缩包安装包)
关注我们小说电影免费看
关注我们,获取更多的全网素材资源,有趣有料!
120000+人已关注
分享到:
赞(0) 打赏

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

您的打赏就是我分享的动力!

支付宝扫一扫打赏

微信扫一扫打赏