修改16种常见的Hadoop错误整理(大讲台内部资料)

内部错误  时间:2021-04-07  阅读:()

16个hadoop常见问题及处理方法

这个是刚发的大讲台教学资料特地分享给hadoop爱好者们。mysql版本必须是MYSQL51。

查询办法mysqladmin version

在建立hive数据库的时候最好是:create database hive;oozie的数据库同样 create database oozie;

1 hadoop采集的字符集问题

修改/etc/sysconfig/i18n更改字符集为en_US UTF-8

重启机器生效。

重启机器的指令为在root下敲入如下指令 sync;sync;init 6

2修改mapreduce

在gateway/性能下修改MapReduce子Java基础选项、 Map任务Java选项库、 Reduce任务Java选项库全部配置成-X m x4294967296

在TASKTRACKER/性能下修改:MapReduce子Java基础选项、 Map任务Java选项库、 Reduce任务Java选项库全部配置成-X m x4294967296

3必须关注各个任务的详细情况

当出现如下的错误的时候请及时的将下载的进程数调小。vi /home/boco/oozie_wy/config/lte/mro/ftp/807101 xml将max_thread由原来的6个调整为3个,或者协调厂家加大FTP的最大线程数。stderr logs orgapachecommons netftp FTPConnectionClosedException: FTP response 421 received Server closed connectionat orgapachecommons netftp FTP__getReply(FTPjava:363)at orgapachecommons netftp FTP__getReply(FTPjava:290)

at orgapachecommons netftp FTPconnectAction(FTPjava:396)at orgapachecommons netftp FTPCl ientconnectAction(FTPCl ientjava:796)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:172)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:192)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:285)at com bocowangyou uti ls FtpconnectServer(Ftpjava:550)at combocowangyoultemroftptools FindFi leThreadrun(FindFi leThreadjava:67)

登录ft p服务器【10140177149】失败 FT P服务器无法打开orgapachecommons netftp FTPConnectionClosedException: FTP response 421 received Server closed connectionat orgapachecommons netftp FTP__getReply(FTPjava:363)at orgapachecommons netftp FTP__getReply(FTPjava:290)at orgapachecommons netftp FTPconnectAction(FTPjava:396)at orgapachecommons netftp FTPCl ientconnectAction(FTPCl ientjava:796)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:172)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:192)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:285)at com bocowangyou uti ls FtpconnectServer(Ftpjava:550)at combocowangyoultemroftptools FindFi leThreadrun(FindFi leThreadjava:67)

登录ft p服务器【10140177149】失败 FT P服务器无法打开orgapachecommons netftp FTPConnectionClosedException: FTP response 421 received Server closed connectionat orgapachecommonsnetftp FTP__getReply(FTPjava:363)at orgapachecommons netftp FTP__getReply(FTPjava:290)at orgapachecommons netftp FTPconnectAction(FTPjava:396)at orgapachecommons netftp FTPCl ientconnectAction(FTPCl ientjava:796)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:172)at orgapachecommons netSocketCl ientconnect(SocketCl ientjava:192)

4TASKTRACKER和HDFS组的问题

发现部分地方在安装的时候将所有的机器分组的问题。

如果分组需要将每个组的参数都要修改。

目前发现很多的地方TASKTRACKER和HDFS都分了组但是只修改一组的参数造成系统大量出问题。java heap size以及tasktracker被拉黑名单的问题。

5  namenode和datanode的内存配置问题。

建议将使用的内存修改为4G左右。

6建议将H IVE 2服务放到一个辅节点上。hive2放到辅节点上经常出现add_partation挂起报错。

7解决H IVE经常挂死的问题

修改zookeeper的最大客户端连接数maxClientCnxns修改为3600或者修改成0丌限制

自劢清空时间间隔 autopurge purgeInterval修改为1小时

8厂家XML配置的问题。

如果厂家是这样的/data/dataservice/mr/ltemro/huawei/20140815/01/362323/TD-LTE_MRO_HUAWEI_010133150144_362323_20140815011500xml gz

建议配置成这样的

路径/data/dataservice/mr/ltemro/huawei/$TIME$/$ENODEB$

时间格式yymmdd/hh

9在/home/boco/oozie_wy/config/lte/mro/ftp下禁止存放bak文件

有一个省份的mapper数超多导致解析很长时间没有完成。

进一步发现FTP在合并文件的时候报错再进一步发现同一个IP地址同一个OMC启劢了三个mapper进程去下载数据导致文件合并失败。

发现是修改了ftpxml文件没有删除原来的文件而是以一个bak文件存放。

删除这些bak文件mapper数量正常。

原mapper数1731个删除之后mapper数41个,采集正常。

打开50030看FT P的日志存在如下的报错java io Fi leNotFoundException: Fi le does not exist: /user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_303024_20140918111500xmlzipat orgapache hadoop hdfs servernamenodeINodeFi levalueOf(INodeFi lejava:39)at orgapache hadoop hdfs server namenode FSNamesystemgetBlockLocationsUpdateTimes(FSNamesystemjava:1

341)at orgapache hadoop hdfs server namenode FSNamesystemgetBlockLocationsInt(FSNamesystemjava:1293)at orgapache hadoop hdfs server namenode FSNamesystemgetBlockLocations(FSNamesystemjava:1269)at orgapache hadoop hdfs server namenode FSNamesystemgetBlockLocations(FSNamesystemjava:1242)at orgapache hadoop hdfs server namenode NameNodeRpcServergetBlockLocations(NameNodeRpcServerjava:39

2)at orgapache hadoop hdfs protocolPBCl ientNamenodeProtocolServerSideTranslatorPBgetBlockLocations(Cl ientNamenodeProtocolServerSideTranslatorPBjava:172)at org apache hadoop hdfs protocol proto Cl ientNamenodeProtocolProtos$Cl ientNamenodeProtocol$2 cal lBlockingMethod(Cl ientNamenodeProtocolProtosjava:44938)at orgapache hadoop ipc ProtobufRpcEngine$Server$ProtoBufRpcInvokercal l(ProtobufRpcEnginejava:453)at orgapache hadoop ipcRPC$Servercal l(RPCjava:1002)at orgapache hadoop ipcServer$Handler$1 run(Serverjava:1701)at orgapache hadoop ipc Server$Handler$1 run(Serverjava:1697)at java securityAccessControl lerdoPrivi leged(Native Method)

或者orgapache hadoopipc RemoteException(orgapache hadoop hdfs server namenode LeaseExpiredException):Lease mismatch on /user/boco/cache/wy/ltemro/1411032293348/xml/155/2014-09-18_11/TD-LTE_MRO_ERICSSON_OMC1_3030_20140918xml owned by DFSCl ient_NONMAPREDUCE_

-1274827212_1 but is accessed by DFSCl ient_NONMAPREDUCE_-216613905_1at orgapache hadoop hdfs servernamenode FSNamesystemcheckLease(FSNamesystemjava:2459)at orgapache hadoop hdfs servernamenode FSNamesystemcheckLease(FSNamesystemjava:2437)at orgapache hadoop hdfs servernamenode FSNamesystemcompleteFi leInternal(FSNamesystemjava:2503)at orgapache hadoop hdfs servernamenode FSNamesystemcompleteFi le(FSNamesystemjava:2480)

at orgapache hadoop hdfs servernamenode NameNodeRpcServercomplete(NameNodeRpcServerjava:535)at orgapache hadoop hdfs protocolPBCl ientNamenodeProtocolServerSideTranslatorPBcomplete(Cl ientNamenodeProtocolServerSideTranslatorPBjava:337)at org apache hadoop hdfs protocol proto Cl ientNamenodeProtocolProtos$Cl ientNamenodeProtocol$2 cal lBlockingMethod(Cl ientNamenodeProtocolProtosjava:44958)at orgapache hadoop ipc ProtobufRpcEngine$Server$ProtoBufRpcInvokercal l(ProtobufRpcEnginejava:453)at orgapache hadoop ipcRPC$Servercal l(RPCjava:1002)

解析时候报错错误如下rediscl ientsjedisexceptionsJedisConnectionException:Could not get a resource from the poolat redis cl ients uti l Pool getResource(Pooljava:22)at combocowangyouuti lsJedisUti lsgetJedis(JedisUti lsjava:47)at combocowangyou uti lsJedisUti lsgetTableValues(JedisUti lsjava:119)at com bocowangyou lte mro tdl tools LteMroXMLParser

此问题一般是因为REDIS没有启劢导致。

10克隆机器安装的问题

把一个节点的第二步都装好了把它克隆到其它主机上再把克隆到的主机的IP

(注意在修改IP配置文件的时候将HWaddr也改了一般是这种格式00:50:56:80:4E:D6

否则在连接时会找丌到硬盘)和主机名改下。

此种情况主要出现在使用vmvare vsphere克隆导致的。

注意

克隆之后的机器要修改IP地址主机名MAC地址。

11 redis挂死导致无法采集

#现象redis.clients.jedis.exceptions.JedisDataException:

MISCONF Redis is configured to save RDB snapshots,but is currently not able to persist on disk

启动客户端

/usr/local/redis/redis-cl i

输入config set stop-writes-on-bgsave-error no

12主节点7180无法访问

1)检查主节点是丌是日志空间满了如果满了需要删除/va r/l og/h ive下面日志

2)删除浏览器的cooki e访问记录hadoop相关服务启劢命令sudo service cloudera-scm-server stopsudo service cloudera-scm-server-db stopsudo service cloudera-scm-server startsudo service cloudera-scm-server-db start

13 LTEMRO采集报错

主要是在这一步报错CREATE_EXTERNAL_TABLE_NODE

有效的采样点数据是如下的八个字段必须有值

MR LteScEarfcn主小区频点

MR LteScPci主小区PCI

MR LteScRSRP主小区的RSRP

MR LteScRSRQ主小区RSRQ

MR LteNcEarfcn邻小区频点

MR LteNcPci邻小区PCI

MR LteNcRSRP邻小区的RSRP

MR LteNcRSRQ邻小区RSRQ

只要有有效数据就丌会报这个错。

14查看日志

H IVE的日志主要是在:/va r/l og/h ive/oozie的日志主要在: /va r/l og/oozie/

HDFS的日志主要在: /var/log/hadoop-hdfs/zookeeper的日志主要在:/var/log/zookeeper/

在出现问题的时候可以看看这些日志。

15 zookeeper无法启劢

处理办法到master主机的/var/lib/zookeeper 删除所有的文件重启zookeeper即可。sudo mkdir version-2sudo chown -R zookeeper:zookeeper version-2

16 loudera-manager-instal lerbin安装报错

报错如下

Loaded plugins: al iases, changelog, downloadonly, fastestmirror, kabi, presto,

: refresh-packagekit, security, tmprepo, verify, versionlock

Loading support for CentOS kernel ABI

Loading mirror speeds from cached hostfi lehttp://10233963/cdh430/cdh43/repodata/repomdxml : [Errno 14] PYCURL ERROR 22 - "The requested URL returned error:403"

Trying other mirror

Error:Cannot retrieve repository metadata (repomdxml) for repository: cloudera-cdh4 Please verify its path and try again

处理办法

删除集群中每一台机器上原有的repo文件 rm-rf/etc/yum repos d/*

然后修改cloudera-chd4 repo、 cloudera-impala repo和cloudera-manager repo文件将文件中的地址换成主节点的地址。

将cloudera-chd4 repo、 cloudera-impala repo和cloudera-manager repo文件上传到集群中每一台机器的/etc/yum repos d/目录下。

酷番云-618云上秒杀,香港1核2M 29/月,高防服务器20M 147/月 50M 450/月,续费同价!

官方网站:点击访问酷番云官网活动方案:优惠方案一(限时秒杀专场)有需要海外的可以看看,比较划算29月,建议年付划算,月付续费不同价,这个专区。国内节点可以看看,性能高IO为主, 比较少见。平常一般就100IO 左右。优惠方案二(高防专场)高防专区主要以高防为主,节点有宿迁,绍兴,成都,宁波等,节点挺多,都支持防火墙自助控制。续费同价以下专场。 优惠方案三(精选物理机)西南地区节点比较划算,赠送5...

PacificRack(年付低至19美元),夏季促销PR-M系列和多IP站群VPS主机

这几天有几个网友询问到是否有Windows VPS主机便宜的VPS主机商。原本他们是在Linode、Vultr主机商挂载DD安装Windows系统的,有的商家支持自定义WIN镜像,但是这些操作起来特别效率低下,每次安装一个Windows系统需要一两个小时,所以如果能找到比较合适的自带Windows系统的服务器那最好不过。这不看到PacificRack商家有提供夏季促销活动,其中包括年付便宜套餐的P...

90IDC-香港云主机,美国服务器,日本KVM高性能云主机,创建高性能CLOUD只需60秒即可开通使用!

官方网站:点击访问90IDC官方网站优惠码:云八五折优惠劵:90IDCHK85,仅适用于香港CLOUD主机含特惠型。活动方案:年付特惠服务器:CPU均为Intel Xeon两颗,纯CN2永不混线,让您的网站更快一步。香港大浦CN2測速網址: http://194.105.63.191美国三网CN2測速網址: http://154.7.13.95香港购买地址:https://www.90idc.ne...

内部错误为你推荐
新iphone也将禁售iPhone8plus在2020年还会有货吗360arp防火墙在哪谁知道360防火墙的arp防火墙文件在哪360防火墙在哪里怎么查找到360防火墙在自己电脑里的位置?并且关闭掉滴滴估值500亿滴滴拉屎 App 为何能估值 100 亿美金?是怎么计算出来的银花珠树晓来看下雪喝酒的诗句小型汽车网上自主编号申请如何从网上自选车牌号小型汽车网上自主编号申请请问各位大虾,如何在网上选车牌号?玖融网泰和网理财可信吗,泰和网理财是不是骗人的啊????????青岛网通测速家用电脑上网(青岛网通)512k网速算不算快,玩主流网游卡不卡温州都市报招聘劳务市场找工作可靠吗
动态域名 域名空间购买 泛域名绑定 wordpress主机 紫田 国外php空间 柚子舍官网 seednet 佛山高防服务器 七夕快乐英语 根服务器 上海电信测速 国外免费网盘 移动王卡 服务器机柜 ftp是什么东西 卡巴斯基免费下载 跟踪路由 达拉斯 ddos攻击器下载 更多