不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

稳爱云(26元),香港云服务器 1核 1G 10M带宽

稳爱云（www.wenaiyun.com）是创建于2021年的国人IDC商家，主要目前要出售香港VPS、香港独立服务器、美国高防VPS、美国CERA VPS 等目前在售VPS线路有三网CN2、CN2 GIA，该公司旗下产品均采用KVM虚拟化架构。机房采用业内口碑最好香港沙田机房，稳定，好用，数据安全。线路采用三网（电信，联通，移动）回程电信cn2、cn2 gia优质网络，延迟低，速度快。自行封装的...

VirMach：$7.2/年KVM-美元512MB/$7.2/年MB多个机房个机房可选_双线服务器租赁

Virmach对资源限制比较严格，建议查看TOS，自己做好限制，优点是稳定。 vCPU 内存空间流量带宽 IPv4 价格购买 1 512MB 15GB SSD 500GB 1Gbps 1 $7/VirMach:$7/年/512MB内存/15GB SSD空间/500GB流量/1Gbps端口/KVM/洛杉矶/西雅图/芝加哥/纽约等发布于 5个月前（01-05） VirMach，美国老牌、稳...

轻云互联22元/月，美国硅谷、圣何塞CN2GIA云服务器，香港沙田cn2建站vps仅25元/月

轻云互联怎么样?轻云互联，广州轻云网络科技有限公司旗下品牌，2018年5月成立以来，轻云互联以性价比的价格一直为提供个人,中大小型企业/团队云上解决方案。本次轻云互联送上的是美国圣何塞cn2 vps(免费50G集群防御)及香港沙田cn2 vps(免费10G集群防御)促销活动，促销产品均为cn2直连中国大陆线路、采用kvm虚拟技术架构及静态内存。目前，轻云互联推出美国硅谷、圣何塞CN2GIA云服务器...