Spark集群搭建

scala压缩包

链接：https://pan.baidu.com/s/1GbeF8ggBrv9ZdHWnHR6m9Q 
提取码：w655

spark压缩包

链接：https://pan.baidu.com/s/1f-cFda5bqBGuoux_1TPCQA 
提取码：j0v6

1. 解压：

[root@master /]# cd /soft

[root@master soft]# tar -xzvf scala-2.11.8.tgz

[root@master soft]# tar -xzvf spark-3.0.0-preview2-bin-hadoop2.7.tgz 

 
2. 创建软链接
[root@master soft]# ln -s spark-3.0.0-preview2-bin-hadoop2.7 /soft/spark

[root@master soft]# ln -s scala-2.11.8 /soft/scala

 
3.配置spark
[root@master soft]# cd /soft/spark/conf/

[root@master conf]# mv spark-env.sh.template spark-env.sh

[root@master conf]# vi spark-env.sh 

 
spark-env.sh 文件添加如下配置

export JAVA_HOME=/soft/jdk
export SCALA_HOME=/soft/scala
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=2G
export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop

[root@master conf]# mv slaves.template slaves

[root@master conf]# vi slaves 

slaves文件删除localhost，添加如下配置

master
slave1
slave2

4. 配置环境变量
[root@master soft]# vi /etc/profile

添加如下配置：

export SPARK_HOME=/soft/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export SCALA_HOME=/soft/spark
export PATH=$PATH:$SCALA_HOME/bin

 
[root@master soft]# source /etc/profile    #生效

5. 分发scala、spark到其他集群
[root@master conf]# scp -r /soft/spark/ root@slave1:/soft/

[root@master conf]# scp -r /soft/spark/ root@slave2:/soft/

[root@master conf]# scp -r /soft/scala/ root@slave1:/soft/

[root@master conf]# scp -r /soft/scala/ root@slave2:/soft/

 
6. 配置其他集群环境变量
同步骤4
 
7. 启动
[root@master ~]# start-all.sh       #启动Hadoop

[root@master ~]# start-master.sh    #启动spark master

[root@master ~]# start-slaves.sh    #启动spark slaves

[root@master ~]# jps


8. 启动spark-shell
[root@master ~]# spark-shell


9. 网页验证http://192.168.110.11:8080/
 

 
 
原创：https://www.panoramacn.com

源码网提供WordPress源码,帝国CMS源码discuz源码,微信小程序,小说源码,杰奇源码,thinkphp源码,ecshop模板源码,微擎模板源码,dede源码,织梦源码等。
专业搭建小说网站,小说程序,杰奇系列,微信小说系列,app系列小说


免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。
您必须遵守我们的协议，如果您下载了该资源行为将被视为对《免责声明》全部内容的认可->
联系客服
投诉资源
 www.panoramacn.com资源全部来自互联网收集，仅供用于学习和交流，请勿用于商业用途。如有侵权、不妥之处，请联系站长并出示版权证明以便删除。
敬请谅解！ 侵权删帖/违法举报/投稿等事物联系邮箱：2640602276@qq.com
                
                
未经允许不得转载：书荒源码源码网每日更新网站源码模板！ » Spark集群搭建（附压缩包安装包)
                                
                                    
Spark集群搭建（附压缩包安装包)
                                
                    

        

            
            
关注我们小说电影免费看
            
关注我们，获取更多的全网素材资源，有趣有料！
            
120000+人已关注
        
    
 
                
                    


                    
分享到：
        
                                赞(0)
        
                    打赏