建站
咨詢
售后
建站咨詢
新聞中心
使用hdfs是一項最常見的hadoop集群管理工作，雖然可以通過多種方式訪問HDFS，但命令行是管理HDFS存儲的最常用的方法。例如webHDFS、使用HttpFS網(wǎng)關(guān)通過防火墻訪問HDFS、通過Hue的文件瀏覽器。
創(chuàng)新互聯(lián)公司專注于網(wǎng)站建設，為客戶提供成都做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)頁設計開發(fā)服務，多年建網(wǎng)站服務經(jīng)驗，各類網(wǎng)站都可以開發(fā)，品牌網(wǎng)站制作，公司官網(wǎng)，公司展示網(wǎng)站，網(wǎng)站設計，建網(wǎng)站費用，建網(wǎng)站多少錢，價格優(yōu)惠，收費合理。
使用 hdfs ：dfs命令來管理HDFS
語法如下：
hdfs dfs ?[GENERIC_OPTION] ?[COMMAND_OPTION]
???1、列出HDFS的文件和目錄
hdfs ?dfs ?-ls ?/ ?????查看文件/路徑的文件及目錄
?
可以在ls后面加-d列出目錄及查看目錄相關(guān)信息 ?-R ?-h ?
hdfs ?dfs ?-cat ?/path/file.txt?????查看file.txt的內(nèi)容
關(guān)于hdfs dfs的更多選項可以輸入hdfs dfs -help
2、使用hdfs stat?命令獲取相關(guān)文件的詳細信息
?
%n 返回文件或者目錄名
%b 返回文件目錄的大小，byte。從上面看出目錄不占用空間，它的大小為0.
%g 返回group
%y 格式話時inode的mtime
%u 用戶
3、創(chuàng)建HDFS目錄
創(chuàng)建hdfs目錄和linux文件系統(tǒng)中創(chuàng)建目錄類似，可以使用mkdir命令創(chuàng)建hdfs創(chuàng)建
Hadfs ?dfs ?-mkdir ?/usr/hadoop/dir1???必須/usr/hadoop路徑存在才能創(chuàng)建
如果要沿路徑創(chuàng)建父目錄，指定-p參數(shù)
?
4、刪除HDFS文件和目錄
?
???刪除hdfs文件和目錄的命令類似于linux文件系統(tǒng)中的命令。使用-r|R選項遞歸方式刪除目錄及該目錄下的所有內(nèi)容。
-skipTrash 選項是繞過hdfs回收站立即刪除指定文件及目錄
hdfs ?dfs ?-rm -R /usr/hadoop/dir/????刪除dir目錄及dir目錄下的文件及目錄
5、更改文件目錄所有權(quán)和組
可以使用-chown命令更改素有者和組名稱
$hdfs dfs -chown sam:produser /usr/data/name.txt
使用chgrp命令僅更改用戶的組
$hdfs dfs -chgrp supergroup /data/sales/makrer.txt
更改hdfs文件權(quán)限
可以使用chmod命令更改文件或目錄的權(quán)限hadoop使用標準的linux文件權(quán)限。
$hdfs dfs -chmod -R ?/data/meta.txt????
只有超級用戶或文件及目錄的所有者才能更改權(quán)限，使用chgrp、chmod和chown命令并指定-R選項可以對指定目錄進行遞歸更改
6、使用dfsadmin使用程序執(zhí)行HDFS操作
使用dfsadmin命令從命令行管理HDFS，雖然hdfs dfs命令可以管理HDFS文件和目錄，但dfsadmin命令可以執(zhí)行HDFS特定的管理任務。
dfsadmin -report命令能夠顯示集群的基本統(tǒng)計信息，包括DataNode和NaneNode的狀態(tài)、配置的磁盤容量和數(shù)據(jù)塊的運行狀況等有用的信息。
?
dfsadmin -report命令顯示整個集群的HDFS信息，以及集群中每個節(jié)點的HDFS詳細信息。DFS命令顯示集群各個dataNode級的以下信息。
hdfsadmin -report命令可以檢查HDFS數(shù)據(jù)的平衡性，以及HDFS損壞情況。
Dfsadmin -refreshNodes命令用于更新連接到NameNode的DataNode列表。Namenode從dfs.hosts指向文件和hdfs-site.xml中的dfs.hosts.ex-clude配置參數(shù)讀取DataNode的主機名。Dfs.hosts文件列出了允許注冊到namenodede所有主機。dfs.hosts.exclude文件列出了所有需要停用的datanode
?
dfsadmin -metasave命令提供的信息比dfsadmin -report命令提供的更多。
文件保存在/hadoop/log/下，可以find命令在本機查找
?
HDFS用戶和超級用戶
?????在hadoop中創(chuàng)建用戶是一種誤稱，因為在HDFS中沒有辦法像linux系統(tǒng)中一樣創(chuàng)建用戶身份，在默認的身份驗證模式，hadoop依賴底層操作系統(tǒng)來確定客戶端身份，如果設置了kerbers系統(tǒng)測kerberos確定客戶端的身份。
由于hadoop中沒有用戶什么的概念，故hadoop沒有固定的超級用戶。Hadoop的系統(tǒng)超級用戶只是啟動NameNode的操作系統(tǒng)用戶。Hdfs的超級用戶不必是namenode主機的root用戶。可以將一組用戶分配給單獨的超級用戶組。
管理HDFS磁盤使用情況
?????可以使用df命令查找可用過的空間
?????$hdfs dfs -df -h
?
hdfs dfs -du -s -h 獲取已用空間的總和
檢查當前空間的配額
???使用dfs -count -q命令
?
當前標題：HDFS命令及管理HDFS
網(wǎng)站URL：http://www.ef60e0e.cn/article/gjcojc.html
