CDH大数据平台内存交换,警告问题

前言

       博主在使用CDH大数据平台时发现,CDH长时间运行,Cloudera Manager管理页面在运行Spark任务时候经常会出现组件大量内存交换警告,前期博主直接忽略,毕竟不是什么大问题,后期发现如果长时间黄色警告不处理,会误导页面查看集群状态,并且交换空间所占用磁盘空间越来越大,并且警告越来越多,后续还会有从黄色变为红色异常等情况,后进入管理界面发现,CDH在安装时,Linux操作系统,有选择交换空间地址交给CDH内存不足情况下使用,测试发现手动释放会解决,管理界面警告问题(黄色警告,看着也不舒服)。

第一步:首先理解一下linux的内存机制

       我们知道,直接从物理内存读写数据要比从硬盘读写数据要快的多(硬盘磁道寻址),因此,我们希望所有数据的读取和写入都在内存完成,而内存大小是有限的,并且内存价格高于硬盘价格,这样就引出了物理内存与虚拟内存的概念。

物理内存:就是系统硬件提供的内存大小,是真正的内存,相对于物理内存(free -h)可查看。
虚拟内存:在linux下还有一个虚拟内存的概念,虚拟内存就是为了满足物理内存的不足而提出的策略,它是利用磁盘空间虚拟出             的一块逻辑内存,用作虚拟内存的磁盘空间被称为交换空间,称Swap Space,(swapon -s)可查看。

备注:阿里云默认不开启虚拟内存,不开启交换空间(不要问为什么,也许是为了挣钱)

第二步:进入CDH管理页面查看

①、由下图可知,组件发生警告20处

CDH大数据平台内存交换,警告问题

②、由下图发现,诸多服务组件均有发生。

CDH大数据平台内存交换,警告问题

③、点击主机,由下图知,三台服务器均发生内存交换。

CDH大数据平台内存交换,警告问题

第三步:查看Linux交换空间地址

随便选取一台服务器, swapon -s
由下图可知,Filename交换区挂载为文件/dev/dm-1,Type为分区,size大小为32833532kb,used使用为13568kb,级别为 -2

CDH大数据平台内存交换,警告问题

第四步:编写简单脚本,进行清空文件

CDH大数据平台内存交换,警告问题

脚本同样可以书写为

#!/bin/bash
#关闭所有交换空间
swapoff -a
#开启所有交换空间
swapoff -a
#输出
echo "释放完毕"

执行脚本

CDH大数据平台内存交换,警告问题

再次查看,下图知,交换空间使用为 0CDH大数据平台内存交换,警告问题

第五步:查看CDH管理页面,查看CDH管理服务

CDH大数据平台内存交换,警告问题

多台服务器均执行释放空间命令,发现交换空间为 0,同时警告消失,心情舒服多了

CDH大数据平台内存交换,警告问题

第六步:进行定时释放,避免空间占用过高

vi /etc/crontab

CDH大数据平台内存交换,警告问题

博主按天释放,因为大数据平台也就在每天执行大量离线计算,所以足够,各位按场景配置。

原创:https://www.panoramacn.com
源码网提供WordPress源码,帝国CMS源码discuz源码,微信小程序,小说源码,杰奇源码,thinkphp源码,ecshop模板源码,微擎模板源码,dede源码,织梦源码等。

专业搭建小说网站,小说程序,杰奇系列,微信小说系列,app系列小说

CDH大数据平台内存交换,警告问题

免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。

您必须遵守我们的协议,如果您下载了该资源行为将被视为对《免责声明》全部内容的认可-> 联系客服 投诉资源
www.panoramacn.com资源全部来自互联网收集,仅供用于学习和交流,请勿用于商业用途。如有侵权、不妥之处,请联系站长并出示版权证明以便删除。 敬请谅解! 侵权删帖/违法举报/投稿等事物联系邮箱:2640602276@qq.com
未经允许不得转载:书荒源码源码网每日更新网站源码模板! » CDH大数据平台内存交换,警告问题
关注我们小说电影免费看
关注我们,获取更多的全网素材资源,有趣有料!
120000+人已关注
分享到:
赞(0) 打赏

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

您的打赏就是我分享的动力!

支付宝扫一扫打赏

微信扫一扫打赏