不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

v5server：香港+美国机房，优质CN2网络云服务器，7折优惠，低至35元/月

v5net当前对香港和美国机房的走优质BGP+CN2网络的云服务器进行7折终身优惠促销，每个客户进线使用优惠码一次，额外有不限使用次数的终身9折优惠一枚！V5.NET Server提供的都是高端网络线路的机器，特别优化接驳全世界骨干网络，适合远程办公、跨境贸易、网站建设等用途。官方网站：https://v5.net/cloud.html 7折优惠码：new，仅限新客户，每人仅限使用一次 9...

DogYun（300元/月），韩国独立服务器,E5/SSD+NVMe

DogYun(中文名称狗云)新上了一批韩国自动化上架独立服务器，使用月减200元优惠码后仅需每月300元，双E5 CPU，SSD+NVMe高性能硬盘，支持安装Linux或者Windows操作系统，下单自动化上架。这是一家成立于2019年的国人主机商，提供VPS和独立服务器租用等产品，数据中心包括中国香港、美国洛杉矶、日本、韩国、德国、荷兰等。下面分享这款自动化上架韩国独立服务器的配置和优惠码信息。...

速云：广州移动/深圳移动/广东联通/香港HKT等VDS,9折优惠,最低月付9元;深圳独立服务器1050元/首月起

速云怎么样？速云，国人商家，提供广州移动、深圳移动、广州茂名联通、香港hkt等VDS和独立服务器。现在暑期限时特惠，力度大。广州移动/深圳移动/广东联通/香港HKT等9折优惠，最低月付9元；暑期特惠，带宽、流量翻倍，深港mplc免费试用！点击进入：速云官方网站地址速云优惠码：全场9折优惠码：summer速云优惠活动：活动期间,所有地区所有配置可享受9折优惠,深圳/广州地区流量计费VDS可选择流量翻...