【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖

从Flink 1.11开始,flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。
如果想建立flink-shaded对供应商特定的Hadoop版本,您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。
运行以下命令以flink-shaded针对所需的Hadoop版本(例如对于version 2.6.5-custom)进行构建和安装:
mvn clean install -Dhadoop.version=2.6.5-custom
完成此步骤后,将flink-shaded-hadoop-2-uber jar放入/libFlink分发目录中。

Flink1.11编译Hadoop2.7.21. 下载/flink-shaded2. 解压至linux3. 进入flink-shaded-hadoop-2-parent,修改pom4. 进入flink-shaded-hadoop-2 修改pom5.进入flink-shaded-hadoop-2-uber 修改pom6. 返回进入flink-shaded-release-10.0下 修改pom7. 配置完毕,运行前提是需要linux配置maven8. 返回进入flink-shaded-release-10.0下 执行编译9. 找到jar 放入flinke1.11的lib下10. 完毕 我把我的jar链接放下面,需要帮到大家的给个赞顺便关注一下

1. 下载/flink-shaded

前往git 下载/flink-shaded 下载relese-10.0 因为10.0是包含hadoop-bin的,1.11 不包含hadoop
https://github.com/apache/flink-shaded.git

2. 解压至linux

【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

3. 进入flink-shaded-hadoop-2-parent,修改pom

cd   /opt/module/flink-shaded-release-10.0/flink-shaded-hadoop-2-parent
vi pom.xml

改成自己的hadoop版本 然后保存退出
【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

4. 进入flink-shaded-hadoop-2 修改pom

cd   flink-shaded-hadoop-2
vi pom.xml

将jar版本改为1.11 然后保存退出
【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

5.进入flink-shaded-hadoop-2-uber 修改pom

cd flink-shaded-hadoop-2-uber/
vi pom.xml

将jar版本改为1.11 然后保存退出
如果没有这两个配置 请添加
【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

    <dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-shaded-hadoop-2</artifactId>
<version>${hadoop.version}-11.0</version>
</dependency>
<dependency>
<groupId>commons-cli</groupId>
<artifactId>commons-cli</artifactId>
<version>1.3.1</version>
</dependency>

</dependencies>

6. 返回进入flink-shaded-release-10.0下 修改pom

这一步前面忘了修改 这里补上

cd flink-shaded-release-10.0/
vi pom.xml

【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖
这里其实也没啥 添加阿里云镜像就可以 快
【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

     <profile>
<id>vendor-repos</id>
<activation>
<property>
<name>vendor-repos</name>
</property>
</activation> <!-- Add vendor maven repositories -->
<repositories> <!-- Cloudera -->
<repository>
<id>cloudera-releases</id>
<url>https://maven.aliyun.com/repository/central</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
</profile>

7. 配置完毕,运行前提是需要linux配置maven

如果你还没有配置maven,可以参考这篇文章
Linux下安装maven环境,并测试使用

如果你有配置maven 请继续下一步

8. 返回进入flink-shaded-release-10.0下 执行编译

       ```
mvn clean install -DskipTests -Dhadoop.version=2.7.2 -Drat.skip=true
```

全程没ERROR 就是成功
【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

9. 找到jar 放入flinke1.11的lib下

cd flink-shaded-release-10.0/
vi pom.xml
cp flink-shaded-hadoop-2-uber-2.7.2-11.0.jar /opt/module/flink-1.11.1/lib/

【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

10. 完毕 我把我的jar链接放下面,需要帮到大家的给个赞顺便关注一下

flink-shaded-hadoop-2-uber jar包

【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

原创:https://www.panoramacn.com
源码网提供WordPress源码,帝国CMS源码discuz源码,微信小程序,小说源码,杰奇源码,thinkphp源码,ecshop模板源码,微擎模板源码,dede源码,织梦源码等。

专业搭建小说网站,小说程序,杰奇系列,微信小说系列,app系列小说

【Regal大数据】Flink1.11编译Hadoop2.7.2      编译flink-shaded-hadoop-2-uber  jar包依赖

免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。

您必须遵守我们的协议,如果您下载了该资源行为将被视为对《免责声明》全部内容的认可-> 联系客服 投诉资源
www.panoramacn.com资源全部来自互联网收集,仅供用于学习和交流,请勿用于商业用途。如有侵权、不妥之处,请联系站长并出示版权证明以便删除。 敬请谅解! 侵权删帖/违法举报/投稿等事物联系邮箱:2640602276@qq.com
未经允许不得转载:书荒源码源码网每日更新网站源码模板! » 【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖
关注我们小说电影免费看
关注我们,获取更多的全网素材资源,有趣有料!
120000+人已关注
分享到:
赞(0) 打赏

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

您的打赏就是我分享的动力!

支付宝扫一扫打赏

微信扫一扫打赏