不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

青果云（590元/年)，美国vps洛杉矶CN2 GIA主机测评 1核1G 10M

青果网络QG.NET定位为高效多云管理服务商，已拥有工信部颁发的全网云计算/CDN/IDC/ISP/IP-VPN等多项资质，是CNNIC/APNIC联盟的成员之一，2019年荣获国家高薪技术企业、福建省省级高新技术企业双项荣誉。那么青果网络作为国内主流的IDC厂商之一，那么其旗下美国洛杉矶CN2 GIA线路云服务器到底怎么样？官方网站：https://www.qg.net/CPU内存系统盘流量宽带...

HostKvm5.95美元起，香港、韩国可选

HostKvm发布了夏季特别促销活动，针对香港国际/韩国机房VPS主机提供7折优惠码，其他机房全场8折，优惠后2GB内存套餐月付仅5.95美元起。这是一家成立于2013年的国外主机服务商，主要提供基于KVM架构的VPS主机，可选数据中心包括日本、新加坡、韩国、美国、中国香港等多个地区机房，均为国内直连或优化线路，延迟较低，适合建站或者远程办公等。下面分享几款香港VPS和韩国VPS的配置和价格信息。...

随风云25元/月，德阳高防云服务器 2核2G 10M 75元/月内蒙古三线BGP服务器 2核2G 5M

公司介绍成都随风云科技有限公司成立于2021年，是国内领先的互联网业务平台服务提供商。公司专注为用户提供低价高性能云计算产品，致力于云计算应用的易用性开发，并引导云计算在国内普及。目前公司研发以及运营云服务基础设施服务平台（IaaS），面向全球客户提供基于云计算的IT解决方案与客户服务，拥有丰富的国内BGP、双线高防、香港等优质的IDC资源。公司一直秉承”以人为本、客户为尊、永续创新&...

不要将大型RDD中所有元素发送到Driver端

青果云（590元/年)，美国vps洛杉矶CN2 GIA主机测评 1核1G 10M

HostKvm5.95美元起，香港、韩国可选

随风云25元/月 ，德阳高防云服务器 2核2G 10M 75元/月 内蒙古三线BGP服务器 2核2G 5M

随风云25元/月，德阳高防云服务器 2核2G 10M 75元/月内蒙古三线BGP服务器 2核2G 5M