不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

两款半月湾 HMBcloud 春节88折日本和美国CN2 VPS主机套餐

春节期间我们很多朋友都在忙着吃好喝好，当然有时候也会偶然的上网看看。对于我们站长用户来说，基本上需要等到初八之后才会开工，现在有空就看看是否有商家的促销。这里看到来自HMBcloud半月湾服务商有提供两款春节机房方案的VPS主机88折促销活动，分别是来自洛杉矶CN2 GIA和日本CN2的方案。八八折优惠码：CNY-GIA第一、洛杉矶CN2 GIA美国原生IP地址、72小时退款保障、三网回程CN2 ...

DMIT：香港国际线路vps,1.5GB内存/20GB SSD空间/4TB流量/1Gbps/KVM,$9.81/月

DMIT怎么样？DMIT是一家美国主机商，主要提供KVM VPS、独立服务器等，主要提供香港CN2、洛杉矶CN2 GIA等KVM VPS，稳定性、网络都很不错。支持中文客服，可Paypal、支付宝付款。2020年推出的香港国际线路的KVM VPS，大带宽，适合中转落地使用。现在有永久9折优惠码：July-4-Lite-10OFF，季付及以上还有折扣，非中国路由优化;AS4134，AS4837 均...

CheapWindowsVPS：7个机房可选全场5折,1Gbps不限流量每月4.5美元

CheapWindowsVPS是一家成立于2007年的老牌国外主机商，顾名思义，一个提供便宜的Windows系统VPS主机(同样也支持安装Linux系列的哈)的商家，可选数据中心包括美国洛杉矶、达拉斯、芝加哥、纽约、英国伦敦、法国、新加坡等等，目前商家针对VPS主机推出5折优惠码，优惠后最低4GB内存套餐月付仅4.5美元。下面列出几款VPS主机配置信息。CPU：2cores内存：4GB硬盘：60G...