不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

Sharktech：无限流量服务器丹佛，洛杉矶，荷兰$49/月起，1Gbps带宽哦！

鲨鱼机房(Sharktech)我们也叫它SK机房，是一家成立于2003年的老牌国外主机商，提供的产品包括独立服务器租用、VPS主机等，自营机房在美国洛杉矶、丹佛、芝加哥和荷兰阿姆斯特丹等，主打高防产品，独立服务器免费提供60Gbps/48Mpps攻击防御。机房提供1-10Gbps带宽不限流量服务器，最低丹佛/荷兰机房每月49美元起，洛杉矶机房最低59美元/月起。下面列出部分促销机型的配置信息。机房...

台湾云服务器整理推荐UCloud/易探云！

台湾云服务器去哪里买?国内有没有哪里的台湾云服务器这块做的比较好的?有很多用户想用台湾云服务器，那么判断哪家台湾云服务器好，不是按照最便宜或最贵的选择，而是根据您的实际使用目的选择服务器，只有最适合您的才是最好的。总体而言，台湾云服务器的稳定性确实要好于大陆。今天，云服务器网(yuntue.com)小编来介绍一下台湾云服务器哪里买和一年需要多少钱！一、UCloud台湾云服务器UCloud上市云商,...

hostio荷兰10Gbps带宽，10Gbps带宽，€5/月，最低配2G内存+2核+5T流量

成立于2006年的荷兰Access2.IT Group B.V.（可查：VAT: NL853006404B01，CoC: 58365400）一直运作着主机周边的业务，当前正在对荷兰的高性能AMD平台的VPS进行5折优惠，所有VPS直接砍一半。自有AS208258，vps母鸡配置为Supermicro 1024US-TRT 1U，2*AMD Epyc 7452(64核128线程)，16条32G D...