你的位置:首页 > 信息动态 > 新闻中心
信息动态
联系我们

hdfs基本操作

2021/11/18 21:49:15

hdfs分布式文件系统 , 将一个大的文件拆分成多个小文件存储在多台服务器中,
文件系统: 目录结构(树状结构)  "/" 树根,   目录结构在namenode中维护

浏览器输入 master:50070

进入到web提供的hdfs可视化界面 ——> Browse Directory

如何在Linux命令行操作hdfs?

1、创建目录   mkdir

mkdir : 创建目录
/data :路径 , 需要从 ”/“ 开始
hadoop dfs -mkdir /data

-p  : 递归创建多级目录
hadoop dfs -mkdir -p  /a/b/c


2、查看文件,ls , 需要指绝对路径

hadoop dfs -ls /data


3、上传文件 put 

创建路径
hadoop dfs -mkdir /data/student

上传学生表的数据到hdfs,

 students.txt: linux本地的一个文件,

/data/student: hdfs 目录
hadoop dfs -put students.txt /data/student


hadoop dfs -mkdir /data/score
hadoop dfs -put score.txt /data/score

4、下载文件  get

将hdfs文件下载到linux本地

hadoop dfs -get /data/student/students.txt


5、复制   cp

 /data/a.txt  :源文件或者目录
 / : 目标目录

hadoop dfs -cp /data/a.txt  /

 
6、查看文件内容 cat ,  如果数据量比较大,不能使用
hadoop dfs -cat /data/student/students.txt

7、移动  mv,    物理层面文件没有移动,只是改变了元数据(目录结构)
 hadoop dfs -mv /a.txt /a

 8、删除文件或者目录   rmr  

hadoop dfs -rm /test/s.txt          删除文件

hadoop dfs -rmr /test                 删除目录

hadoop dfs -rmr -skipTrash /user             跳过回收站,直接强制删除

并没有真正删除文件,只是将文件放到了回收站中,

/user/root/.Trash/Current  ; 每一个用户都有一个回收站

文件永久删除:
1)回收站自动清理

<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

2)手动删除回收站
Hadoop dfs -rmr /user/root/.Trash/Current 


9、查看文件末尾 tail    -f ; 一直等待查看
 hadoop dfs -tail /data/students/students.txt


10、查看文件的大小
hadoop dfs -du /data/students/students.txt 

11、查看帮助手册

hadoop dfs -help rm


hadoop dfsadmin -safemode get   命令是用来查看当前hadoop安全模式的开关状态
hadoop dfsadmin -safemode enter  命令是打开安全模式

通过命令操作hdfs可能会报一个错,hdfs被锁住(Name node is in safe mode 频繁开启hdfs服务)

解决方式:hadoop dfsadmin -safemode leave 命令是离开安全模式