不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

IntoVPS：按小时计费KVM月费5美元起($0.0075/小时),6个机房可选

IntoVPS是成立于2004年的Hosterion SRL旗下于2009年推出的无管理型VPS主机品牌，商家提供基于OpenStack构建的VPS产品，支持小时计费是他的一大特色，VPS可选数据中心包括美国弗里蒙特、达拉斯、英国伦敦、荷兰和罗马尼亚等6个地区机房。商家VPS主机基于KVM架构，最低每小时0.0075美元起($5/月)。下面列出几款VPS主机配置信息。CPU：1core内存：2GB...

香港 E5-2650 16G 10M 900元首月美国 E5-2660 V2 16G 100M 688元/月华纳云

华纳云双11钜惠出海：CN2海外物理服务器终身价688元/月，香港/美国机房，免费送20G DDos防御，50M CN2或100M国际带宽可选，（文内附带测评）华纳云作为一家专业的全球数据中心基础服务提供商，总部在香港，拥有香港政府颁发的商业登记证明，APNIC 和 ARIN 会员单位。主营香港服务器、美国服务器、香港/美国OpenStack云服务器、香港高防物理服务器、美国高防服务器、香港高防I...

亚洲云Asiayu,成都云服务器 4核4G 30M 120元一月

点击进入亚云官方网站（www.asiayun.com）公司名：上海玥悠悠云计算有限公司成都铂金宿主机IO测试图亚洲云Asiayun怎么样？亚洲云Asiayun好不好？亚云由亚云团队运营，拥有ICP/ISP/IDC/CDN等资质，亚云团队成立于2018年，经过多次品牌升级。主要销售主VPS服务器，提供云服务器和物理服务器，机房有成都、美国CERA、中国香港安畅和电信，香港提供CN2 GIA线路，CE...

不要将大型RDD中所有元素发送到Driver端

IntoVPS：按小时计费KVM月费5美元起($0.0075/小时),6个机房可选

香港 E5-2650 16G 10M 900元首月 美国 E5-2660 V2 16G 100M 688元/月 华纳云

亚洲云Asiayu,成都云服务器 4核4G 30M 120元一月

香港 E5-2650 16G 10M 900元首月美国 E5-2660 V2 16G 100M 688元/月华纳云