不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

提速啦母鸡 E5 128G 61IP 1200元

提速啦（www.tisula.com）是赣州王成璟网络科技有限公司旗下云服务器品牌，目前拥有在籍员工40人左右，社保在籍员工30人+，是正规的国内拥有IDC ICP ISP CDN 云牌照资质商家，2018-2021年连续4年获得CTG机房顶级金牌代理商荣誉 2021年赣州市于都县创业大赛三等奖，2020年于都电子商务示范企业，2021年于都县电子商务融合推广大使。资源优势介绍：Ceranetwo...

BuyVM老牌商家新增迈阿密机房不限流量月付2美元

我们很多老用户对于BuyVM商家还是相当熟悉的，也有翻看BuyVM相关的文章可以追溯到2014年的时候有介绍过，不过那时候介绍这个商家并不是很多，主要是因为这个商家很是刁钻。比如我们注册账户的信息是否完整，以及我们使用是否规范，甚至有其他各种问题导致我们是不能购买他们家机器的。以前你嚣张是很多人没有办法购买到其他商家的机器，那时候其他商家的机器不多。而如今，我们可选的商家比较多，你再也嚣张不起来。...

TTcloud：日本独立服务器促销活动,价格$70/月起,季付送10Mbps带宽

ttcloud怎么样?ttcloud是一家海外服务器厂商，运营服务器已经有10年时间，公司注册地址在香港地区，业务范围包括服务器托管，机柜托管，独立服务器等在内的多种服务。我们后台工单支持英文和中文服务。TTcloud最近推出了新上架的日本独立服务器促销活动，价格 $70/月起，季付送10Mbps带宽。也可以跟进客户的需求进行各种DIY定制。点击进入：ttcloud官方网站地址TTcloud拥有自...

不要将大型RDD中所有元素发送到Driver端

提速啦母鸡 E5 128G 61IP 1200元

BuyVM老牌商家新增迈阿密机房 不限流量 月付2美元

TTcloud：日本独立服务器促销活动,价格$70/月起,季付送10Mbps带宽

BuyVM老牌商家新增迈阿密机房不限流量月付2美元