不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

亚洲云-浙江高防BGP.提供自助防火墙高防各种offer高防BGP！

亚洲云Asiayun怎么样？亚洲云Asiayun好不好？亚洲云成立于2021年，隶属于上海玥悠悠云计算有限公司（Yyyisp），是一家新国人IDC商家，且正规持证IDC/ISP/CDN，商家主要提供数据中心基础服务、互联网业务解决方案，及专属服务器租用、云服务器、云虚拟主机、专属服务器托管、带宽租用等产品和服务。Asiayun提供源自大陆、香港、韩国和美国等地骨干级机房优质资源，包括B...

Sharktech鲨鱼服务器商提供洛杉矶独立服务器促销不限流量月99美元

Sharktech（鲨鱼服务器商）我们还是比较懂的，有提供独立服务器和高防服务器，而且性价比都还算是不错，而且我们看到有一些主机商的服务器也是走这个商家渠道分销的。这不看到鲨鱼服务器商家洛杉矶独立服务器纷纷促销，不限制流量的独立服务器起步99美元，这个还未曾有过。第一、鲨鱼机房服务器方案洛杉矶机房，默认1Gbps带宽，不限流量，自带5个IPv4，免费60Gbps / 48Mpps DDoS防御。C...

Digital-VM80美元新加坡和日本独立服务器

Digital-VM商家的暑期活动促销，这个商家提供有多个数据中心独立服务器、VPS主机产品。最低配置月付80美元，支持带宽、流量和IP的自定义配置。Digital-VM，是2019年新成立的商家，主要从事日本东京、新加坡、美国洛杉矶、荷兰阿姆斯特丹、西班牙马德里、挪威奥斯陆、丹麦哥本哈根数据中心的KVM架构VPS产品销售，分为大硬盘型（1Gbps带宽端口、分配较大的硬盘）和大带宽型（10Gbps...

不要将大型RDD中所有元素发送到Driver端

亚洲云-浙江高防BGP.提供自助防火墙高防各种offer高防BGP！

Sharktech鲨鱼服务器商提供洛杉矶独立服务器促销 不限流量月99美元

Digital-VM80美元新加坡和日本独立服务器

Sharktech鲨鱼服务器商提供洛杉矶独立服务器促销不限流量月99美元