不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

Friendhosting 黑色星期五 VDS/VPS可享四五折优惠促销

Friendhosting商家在前面的篇幅中也又陆续介绍到，是一家保加利亚主机商，主要提供销售VPS和独立服务器出租业务，数据中心分布在：荷兰、保加利亚、立陶宛、捷克、乌克兰和美国洛杉矶等。这不近期黑色星期五活动，商家也有推出了黑五优惠，VPS全场一次性45折，虚拟主机4折，全球多机房可选，老用户续费可获9折加送1个月使用时长，VDS折后最低仅€14.53/年，有需要的可以看看。Friendhos...

1C2G5M轻量服务器48元/年,2C4G8M三年仅198元,COM域名首年1元起

腾讯云双十一活动已于今天正式开启了，多重优惠享不停，首购服务器低至0.4折，比如1C2G5M轻量应用服务器仅48元/年起，2C4G8M也仅70元/年起；个人及企业用户还可以一键领取3500-7000元满减券，用于支付新购、续费、升级等各项账单；企业用户还可以以首年1年的价格注册.COM域名。活动页面：https://cloud.tencent.com/act/double11我们分享的信息仍然以秒...

提速啦(24元/月）河南BGP云服务器活动买一年送一年4核 4G 5M

提速啦的来历提速啦是网站本着“良心便宜稳定”的初衷为小白用户避免被坑由赣州王成璟网络科技有限公司旗下赣州提速啦网络科技有限公司运营投资1000万人民币在美国Cera 香港CTG 香港Cera 国内杭州宿迁浙江赣州南昌大连辽宁扬州等地区建立数据中心正规持有IDC ISP CDN 云牌照公司。公司购买产品支持3天内退款超过3天步退款政策。提速啦的市场定位提速啦主...

不要将大型RDD中所有元素发送到Driver端

Friendhosting 黑色星期五 VDS/VPS可享四五折优惠促销

1C2G5M轻量服务器48元/年,2C4G8M三年仅198元,COM域名首年1元起

提速啦(24元/月）河南BGP云服务器活动 买一年送一年4核 4G 5M

提速啦(24元/月）河南BGP云服务器活动买一年送一年4核 4G 5M