docker搭建hadoop集群、hbase、postgresql、spark

docker搭建hadoop集群、hbase、postgresql、spark

镜像包内容:
docker搭建hadoop集群、hbase、postgresql、spark
1、安装包下载:
hadoop下载链接
hbase下载链接
2、制作Dockerfile,
Dockerfile文件内容:

FROM centos:8
#环境配置
RUN yum install -y openssh openssh-clients openssh-server which net-tools
RUN ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa && cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && chmod 0600 ~/.ssh/authorized_keys
RUN yum install -y java-1.8.0-openjdk-devel

#安装Hadoop
COPY ./hadoop-3.2.1.tar.gz /tmp/tar/hadoop-3.2.1.tar.gz
RUN cd /tmp/tar/ && tar -zxf hadoop-3.2.1.tar.gz -C /opt && rm -f hadoop-3.2.1.tar.gz
COPY ./.bashrc /root/.bashrc
COPY ./core-site.xml /opt/hadoop-3.2.1/etc/hadoop/core-site.xml
COPY ./hdfs-site.xml /opt/hadoop-3.2.1/etc/hadoop/hdfs-site.xml
COPY ./mapred-site.xml /opt/hadoop-3.2.1/etc/hadoop/mapred-site.xml
COPY ./yarn-site.xml /opt/hadoop-3.2.1/etc/hadoop/yarn-site.xml

#安装HBase
COPY ./hbase-2.3.1-bin.tar.gz /tmp/tar/hbase-2.3.1-bin.tar.gz
RUN cd /tmp/tar/ && tar -zxf hbase-2.3.1-bin.tar.gz -C /opt && rm -f hbase-2.3.1-bin.tar.gz
#修改$HBASE_HOME/conf/hbase-env.sh文件,添加JAVA_HOME配置
COPY ./hbase-env.sh /opt/hbase-2.3.1/conf/hbase-env.sh

#安装PostgreSQL
RUN yum install -y @postgresql:12

WORKDIR /opt

.bashrc文件内容:

# .bashrc

# User specific aliases and functions

alias rm='rm -i'
alias cp='cp -i'
alias mv='mv -i'

# Source global definitions
if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk/jre
export JRE_HOME=${JAVA_HOME}
export CLASSPAT=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_DATANODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

entrypoint.sh文件内容:

#!/bin/bash
systemctl start sshd
tail -f /dev/null

hbase-env.sh文件内容(配置hbase的JAVA_HOME):

#!/usr/bin/env bash
#修改了jre环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk/jre

以下几个xml文件是启动三种模式Hadoop集群所需要修改的配置:
Local (Standalone) Mode
Pseudo-Distributed Mode(core-site.xml、hdfs-site.xml)
Fully-Distributed Mode(mapred-site.xml、yarn-site.xml)
core-site.xml文件内容:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
</configuration>

hdfs-site.xml文件内容:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml文件内容:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>

yarn-site.xml文件内容:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

2、创建镜像:docker build -t hadoop .
3、查看镜像:docker images
docker搭建hadoop集群、hbase、postgresql、spark
4、docker镜像导出,tar镜像包可以拷贝到其他机器docker环境中加载:docker save hadoop -o hadoop.tar
5、将tar镜像包(hadoop.tar)拷贝到需要安装的服务器/容器上,然后:docker load -i hadoop.tar
docker搭建hadoop集群、hbase、postgresql、spark
6、运行镜像:docker run -itd --privileged --name hadoop -p 9000:9000 hadoop /usr/sbin/init
7、创建完成后: 使用以下命令进入容器
docker exec -it hadoop bash
安装完成!

原创:https://www.panoramacn.com
源码网提供WordPress源码,帝国CMS源码discuz源码,微信小程序,小说源码,杰奇源码,thinkphp源码,ecshop模板源码,微擎模板源码,dede源码,织梦源码等。

专业搭建小说网站,小说程序,杰奇系列,微信小说系列,app系列小说

docker搭建hadoop集群、hbase、postgresql、spark

免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。

您必须遵守我们的协议,如果您下载了该资源行为将被视为对《免责声明》全部内容的认可-> 联系客服 投诉资源
www.panoramacn.com资源全部来自互联网收集,仅供用于学习和交流,请勿用于商业用途。如有侵权、不妥之处,请联系站长并出示版权证明以便删除。 敬请谅解! 侵权删帖/违法举报/投稿等事物联系邮箱:2640602276@qq.com
未经允许不得转载:书荒源码源码网每日更新网站源码模板! » docker搭建hadoop集群、hbase、postgresql、spark
关注我们小说电影免费看
关注我们,获取更多的全网素材资源,有趣有料!
120000+人已关注
分享到:
赞(0) 打赏

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

您的打赏就是我分享的动力!

支付宝扫一扫打赏

微信扫一扫打赏