不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

HaBangNet（6.95美元/月）美国vps 5TB流量/德国vps 香港双向CN2 GIA VPS

HaBangNet支持支付宝和微信支付，只是价格偏贵，之前国内用户并不多。这次HaBangNet推出三个特价套餐，其中美国机房和德国机房价格也还可以，但是香港机房虽然是双向CN2 GIA线路，但是还是贵的惊人，需要美国和德国机房的可以参考下。HaBangNet是一家成立于2014年的香港IDC商家，中文译名：哈邦网络公司，主营中国香港、新加坡、澳大利亚、荷兰、美国、德国机房的虚拟主机、vps、专用...

Hostodo（年付$34.99）， 8TB月流量 3个机房可选

Hostodo 算是比较小众的海外主机商，这次九月份开学季有提供促销活动。不过如果我们有熟悉的朋友应该知道，这个服务商家也是比较时间久的，而且商家推进活动比较稳，每个月都有部分活动。目前有提供机房可选斯波坎、拉斯维加斯和迈阿密。从机房的地理位置和实际的速度，中文业务速度应该不是优化直连的，但是有需要海外业务的话一般有人选择。以前一直也持有他们家的年付12美元的机器，后来用不到就取消未续约。第一、开...

vpsdime7美元/月，美国达拉斯Windows VPS,2核4G/50GB SSD/2TB流量/Hyper-V虚拟化

vpsdime怎么样?vpsdime是2013年成立的国外VPS主机商，以大内存闻名业界，主营基于OpenVZ和KVM虚拟化的Linux套餐，大内存、10Gbps大带宽、大硬盘，有美国西雅图、达拉斯、新泽西、英国、荷兰机房可选。在上个月搞了一款达拉斯Linux系统VPS促销，详情查看：vpsdime夏日促销活动,美国达拉斯vps,2G内存/2核/20gSSD/1T流量,$20/年，此次推出一款Wi...