不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

妮妮云香港CTG云服务器1核 1G 3M19元/月

香港ctg云服务器香港ctg云服务器官网链接点击进入妮妮云官网优惠活动香港CTG云服务器地区CPU内存硬盘带宽IP价格购买地址香港1核1G20G3M5个19元/月点击购买香港2核2G30G5M10个40元/月点击购买香港2核2G40G5M20个450元/月点击购买香港4核4G50G6M30个80元/月点击购买香...

80VPS：香港服务器月付420元;美国CN2 GIA独服月付650元;香港/日本/韩国/美国多IP站群服务器750元/月

80vps怎么样？80vps最近新上了香港服务器、美国cn2服务器，以及香港/日本/韩国/美国多ip站群服务器。80vps之前推荐的都是VPS主机内容，其实80VPS也有独立服务器业务，分布在中国香港、欧美、韩国、日本、美国等地区，可选CN2或直连优化线路。如80VPS香港独立服务器最低月付420元，美国CN2 GIA独服月付650元起，中国香港、日本、韩国、美国洛杉矶多IP站群服务器750元/月...

CloudCone：$17.99/年KVM-1GB/50GB/1TB/洛杉矶MC机房

CloudCone在月初发了个邮件，表示上新了一个系列VPS主机，采用SSD缓存磁盘，支持下单购买额外的CPU、内存和硬盘资源，最低年付17.99美元起。CloudCone成立于2017年，提供VPS和独立服务器租用，深耕洛杉矶MC机房，最初提供按小时计费随时退回，给自己弄回一大堆中国不能访问的IP，现在已经取消了随时删除了，不过他的VPS主机价格不贵，支持购买额外IP，还支持购买高防IP。下面列...