99热在线精品一区二区三区_国产伦精品一区二区三区女破破_亚洲一区二区三区无码_精品国产欧美日韩另类一区

一、跑etl任務(wù)，報錯：
Container [pid=31306,containerID=container_1479290736535_0004_01_000003] is running beyond physical memory limits. Current usage: 2.7 GB of 2.5 GB physical memory used; 4.4 GB of 7.5 GB virtual memory used. Killing container.

創(chuàng)新互聯(lián)公司專注于集美企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè),成都商城網(wǎng)站開發(fā)。集美網(wǎng)站建設(shè)公司,為集美等地區(qū)提供建站服務(wù)。全流程按需網(wǎng)站建設(shè)，專業(yè)設(shè)計，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

發(fā)現(xiàn)是一個小時任務(wù)打開了太多文件（大約7000多個，每個進(jìn)程占用的buffer太多，導(dǎo)致內(nèi)存不足）

解決辦法：
修改程序設(shè)置，
"orc.strip.size":1024*1024,
"orc.block.size":16*1024*1024,
"orc.row.index.stride":500,
"orc.compress.size":8*1024,

二、nodemanager自動關(guān)閉又恢復(fù)的問題：
2016-08-19 14:57:19,027 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/amos/data/hadoop/yarn-local error, used space above threshold of 90.0%, removing from list of valid directories
2016-08-19 14:57:19,027 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/amos/data/hadoop/yarn-log error, used space above threshold of 90.0%, removing from list of valid directories

10分鐘后nodemanager又恢復(fù)了，什么問題呢？
[root@~]# vim /opt/amos/conf/hadoop/yarn-site.xml

Interval in between cache cleanups.
yarn.nodemanager.localizer.cache.cleanup.interval-ms
600000

本地磁盤才30G，yarn的cache設(shè)置為40G，導(dǎo)致問題出現(xiàn)。
[root@~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 30G 25G 3.9G 87% /

解決方法：把yarn的緩存設(shè)置為20G
[root@~]# vim /opt/amos/conf/hadoop/yarn-site.xml

yarn.nodemanager.localizer.cache.target-size-mb
20480

三、hadoop 反復(fù)提交任務(wù)，但是失敗，原因是需要將map和reduce使用的內(nèi)存大小修改為jvm的1.5倍數(shù)

mapred.child.java.opts -Xmx2048M -Xms8M       2048*1.5=3172

mapreduce.map.memory.mb 1536 mapred-site.xml   改為3172

mapreduce.reduce.memory.mb 2048             改為3172

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享名稱：haoop任務(wù)失敗，修改代碼設(shè)置解決問題-創(chuàng)新互聯(lián)
路徑分享：http://www.ef60e0e.cn/article/jesid.html