不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

TmhHost香港三网CN2 GIA月付45元起,美国CN2 GIA高防VPS季付99元起

TmhHost是一家国内正规公司，具备ISP\ICP等资质，主营国内外云服务器及独立服务器租用业务，目前，商家新上香港三网CN2 GIA线路VPS及国内镇江BGP高防云主机，其中香港三网CN2 GIA线路最低每月45元起；同时对美国洛杉矶CN2 GIA线路高防及普通VPS进行优惠促销，优惠后美国洛杉矶Cera机房CN2 GIA线路高防VPS季付99元起。香港CN2 GIA安畅机房，三网回程CN2 ...

RAKsmartCloud服务器,可自定义配置月$7.59

RAKsmart商家一直以来在独立服务器、站群服务器和G口和10G口大端口流量服务器上下功夫比较大，但是在VPS主机业务上仅仅是顺带，尤其是我们看到大部分主流商家都做云服务器，而RAKsmart商家终于开始做云服务器，这次试探性的新增美国硅谷机房一个方案。月付7.59美元起，支持自定义配置，KVM虚拟化，美国硅谷机房，VPC网络/经典网络，大陆优化/精品网线路，支持Linux或者Windows操作...

Pacificrack：新增三款超级秒杀套餐/洛杉矶QN机房/1Gbps月流量1TB/年付仅7美刀

PacificRack最近促销上瘾了，活动频繁，接二连三的追加便宜VPS秒杀，PacificRack在 7月中下旬已经推出了五款秒杀VPS套餐，现在商家又新增了三款更便宜的特价套餐，年付低至7.2美元，这已经是本月第三波促销，带宽都是1Gbps。PacificRack 7月秒杀VPS整个系列都是PR-M，也就是魔方的后台管理。2G内存起步的支持Windows 7、10、Server 2003\20...