Linux文件类基础命令
Linux文件类基础命令
本文介绍Linux中最基础的内容,包括文件相关的一些基础知识和一些最常用的命令。
关于文件路径
Linux中分绝对路径和相对路径,绝对路径一定是从/
开始写的,相对路径不从根开始写,还可能使用路径符号。
路径展开符号:
1 | . :(一个点)表示当前目录 |
切换路径用cd
命令;
显示当前所在目录用pwd
命令。若当前所在目录为链接目录,使用pwd
显示的将是链接自身,使用-P
选项将定位到链接的原始目录。
1 | [root@xuexi ~]# ll ; cd tmp; pwd; pwd -P |
获取文件名使用basename
命令,获取文件所在目录使用dirname
命令。注意,这两个命令其实不太完善,它不会检查文件或目录是否存在,只要写出来了就会去获取。
1 | [root@xuexi tmp]# basename /etc/shadow |
关于文件路径通配符
可以使用* ? []
等通配符来扩展路径或文件名。例如,ls *.log
将列出当前路径下所有以.log
字符结尾的文件名 (但不包括.
开头的隐藏文件)。
默认情况下,bash提供的通配符规则比较弱,例如*
无法匹配文件名开头的”.”,无法匹配路径分隔符号(即斜线”/“),但可以通过set或shopt命令开启额外的通配功能,实现更完善的通配符规则。
例如,默认情况下,想要匹配目录/path
下所有隐藏文件和非隐藏文件,如下:
1 | # 但这样也会匹配到两个特殊的文件 . 和 .. |
开启dotglob功能,* ?
就可以匹配以”.”开头的文件(但不包括.和..
):
1 | # 开启bash的dotglob功能 |
有时想要递归到目录内部,又想要匹配文件名,例如想要递归找出多层目录/path下所有的”.css”文件,这时可以开启globstar功能,使用**
就可以匹配匹配路径斜线。
1 | shopt -s globstar # 开启星号匹配模式 |
必须要说明的是,对于非bash内置命令,有些可能也提供了自己的通配符匹配方式,它们的通配模式和shell提供的可能并不一样。例如find的”-name”选项就可以采用自己的通配符,它的星号*
可以匹配以点开头的隐藏文件,如find /var/log -name "*.log"
。
查看目录内容(ls和tree)
ls命令列出目录中的内容,和dir命令完全等价。tree命令按树状结构递归列出目录和子目录中的内容,而ls使用-R选项时才会递归列出。
注意:ls的结果中是以制表符分隔多个文件的。
ls命令
ls 的各个选项说明如下:
1 | -l:(long) 长格式显示,即显示属性等信息 (包括mtime)。 |
注意,ls -h
显示文件大小时,一般显示的都是不带B的单位,如K/M/G,它们的转换比例是1024,如果显示的都是带了B的,如KB/MB/GB,则它们的转换比例为1000而非1024,一般很少显示带B的大小。
不得不说,ls本身不能显示出文件的全路径名是一大缺陷,不过好在使用find命令可以很简单的就获取到。
以下是使用ls -l显示文件长格式的属性。
1 | [root@xuexi ~]# ll /tmp |
可以查出7列属性。
tree命令
有可能tree命令不存在,需要安装tree包才有:
1 | yum -y install tree |
tree 命令的选项说明如下:
1 | 【 匹配选项:】 |
下图是一个较全的输出结果。
文件的时间戳 (atime/ctime/mtime)
文件的时间属性有三种:atime、ctime、mtime。
atime是access time,即上一次的访问时间;
mtime是modify time,是文件的修改时间;
ctime是change time,也是文件的修改时间,只不过这个修改时间计算的inode修改时间,也就是元数据修改时间。
文件还有一个创建时间(create time),大多数unix系统上都认为这是个无用的属性,一般工具无法获取这个时间,但是对于ext家族文件系统,通过它的底层调试工具debugfs可以获取create time。
对于普通文件而言,只有修改文件内容mtime才会改变,更准确的说是修改了它的data block部分;而ctime是修改文件属性时改变的,确切的说是修改了它的元数据部分,例如重命名文件、修改文件所有者、移动文件(移动文件没有改变data block,只是改变了其inode指针,或文件名)等。当然,修改文件内容时也一定会改变ctime(修改文件内容至少已经修改了inode记录上的mtime,这也是元数据),所以mtime的改变一定会引起ctime的改变。
如果还不知道什么是文件的data block、inode等,暂且忽略即可
对目录而言,考虑目录文件的data block,可知在目录中创建、删除文件以及目录内其他任意文件操作都会改变mtime,因为目录里的任何东西都是目录中的内容;而目录的ctime,除了目录的mtime引起ctime改变之外,对目录本身的元数据修改也会改变ctime。
总结下:
- (1).atime只在文件被打开访问时才改变,若不是打开文件编辑内容 (如重定向内容到文件中),则ctime和mtime的改变不会引起atime的改变;
- (2).mtime的改变一定引起ctime的改变,而访问文件时(例如cat),atime不一定会改变,所以atime”改变”(这个改变是假象,见下文分析)不一定会影响ctime。(见下面的relatime的说明)
关于relatime
atime/ctime/mtime是Posix标准要求操作系统维护的时间戳信息。但是每次将atime、ctime和mtime写入到硬盘中(这些不会写入缓存,只要修改就是写入磁盘,即使从缓存读取文件内容也如此)效率很低。有多低?下图是写ctime消耗的时间,几乎总要花费零点几秒。
mtime要被修改,必然是修改了文件内容,这时候将mtime写入到硬盘中是应该的。但是atime和ctime呢?很多情况下根本用不到atime和ctime,在频繁访问文件的时候,都要修改atime和ctime,这样效率会降低很多很多,所以mount有个noatime选项来避免这种负面影响。
CentOS6引入了一个新的atime维护机制relatime:除非两次修改atime的时间超过1天(默认设置86400秒),或者修改了mtime,否则访问文件的inode不会引起atime的改变。换句话说,当cat一个文件的时候,它的atime可能会改变,但是你稍后再cat,它不会再改变。
由于cat文件的时候atime可能不会改变,所以可能也就不会引起ctime的改变。
relatime维护的atime是可以控制的,详见man mount
的relatime和redhat 官方手册。
文件/目录的创建和删除
创建目录mkdir
1 | mkdir [-mp] 目录名 |
示例:
1 | # 在tmp目录中创建一个test1目录 |
创建文件touch
1 | touch file_name |
示例:
1 | [root@xuexi ~]# touch /tmp/test1/test1.txt |
多个{}
还可以交换扩展。类似(a+b)(c+d)=ac+ad+bc+bd
。
1 | # 创建 a_c、a_d、b_c、b_d 四个文件 |
touch主要是修改文件的时间戳信息,当touch的文件不存在时就自动创建该文件。可以使用touch –c
来取消创建动作。
touch可以更改最近一次访问时间(atime),最近一次修改时间(mtime),文件属性修改时间(ctime),这些时间可以通过命令stat file
来查看。其中ctime是文件属性上的更改,即元数据的更改,比如修改权限。
touch -a
修改atime,-m修改mtime,没有修改ctime的选项。因为使用touch改变atime或mtime,同时也都会改变ctime,虽说atime并不总是会影响 ctime(如cat 文件时)。
-t选项表示使用[[CC]YY]MMDDhhmm[.ss]
格式的时间替代当前时间。
1 | # 将file的atime修改为2012年12月21号12点12分 |
-d选项表示使用指定的字符串描述时间格式来替代当前时间,如3 days ago
,next Sunday
等很多种格式。
所以,touch命令选项说明如下:
1 | -c:强制不创建文件 |
删除文件/目录
1 | rm [-rfi] file_name |
1 | [root@xuexi ~]# rm -rf /tmp/test2 |
删除空目录时还可以使用rmdir。
在删除文件之前,一定一定要确定是否真的删除。最好使用rm -i
(默认已经在~/.bashrc
中定义了该别名),除非在脚本中,否则不要轻易使用-f选项。已经有非常多的人不小心rm -rf *
和rm -rf /NNNNN
了。例如想删除rm –rf /abc*
,结果习惯性的多敲了一个空格rm –rf /abc *
,完了。
查看文件类型file命令
这是一个简单查看文件类型的命令,查看文件是属于二进制文件还是数据文件还是ASCII文件。
1 | [root@xuexi tmp]# file /etc/aliases.db |
除了基本的查看文件类型的功能外,file
还有一个”-s”选项,是一个超强力的选项,可以查看设备的文件系统类型。像有些分区工具如parted在分区时是可以指定文件系统的 (虽然不建议这么做,CentOS 7的parted版本中已经取消了该功能),但在分区后格式化前,一般是比较难查看该分区的文件系统类型的,但使用file
可以查看到。
1 | [root@server1 ~]# file -s /dev/sda1 |
文件/目录复制和移动
cp命令
1 | cp [-apdriulfs] src dest # 复制单文件或单目录 |
一般使用cp -a
即可,对于目录加上-r
选项即可。
注意,bash内置命令在进行通配符匹配文件的时候,* ? []
是无法匹配到以”.”开头的文件的,所以*
不会匹配隐藏文件。要通配隐藏文件,可开启bash的dotglob
功能。
例如,复制/etc/skel目录下所有文件包括隐藏文件到/tmp目录下。
1 | shopt -s dotglob |
如果有重复文件,则即使加上-f选项,也一样会交互式询问。解决方法可以是使用yes
这个工具,它会不断的生成y
字母直到进程被杀掉,当然也可以自行指定要生成的字符串。
1 | yes | cp -a /etc/skel/. /tmp |
scp命令和执行过程分析
scp是基于ssh的安全拷贝命令(security copy),它是从古老的远程复制命令rcp改变而来,实现的是在主机与主机之间的拷贝,可以是本地到远程的、本地到本地的,甚至可以远程到远程复制。注意,scp可能会询问密码。
如果scp拷贝的源文件在目标位置上已经存在时(文件同名),scp会替换已存在目标文件中的内容,但保持其inode号,相当于先清空已存在的目标文件,然后粘贴拷贝的文件内容到目标文件。
如果scp拷贝的源文件在目标位置上不存在,则会在目标位置上创建一个空文件,然后将源文件中的内容填充进去。
之所以解释上面的两句,是为了理解scp的机制,scp拷贝本质是只是填充内容的过程,它不会去修改目标文件的很多属性,对于从远程复制到另一远程时,其机制见后文。
1 | scp [-12BCpqrv] [-l limit] [-o ssh_option] [-P port] [[user@]host1:]file1 ... [[user@]host2:]file2 |
示例:
- 把本地文件/home/a.tar.tz拷贝到远程服务器192.168.0.2上的/home/tmp,连接时使用远程的root用户
1 | scp /home/a.tar.tz root@192.168.0.2:/home/tmp/ |
- 目标主机不写路径时,表示拷贝到对方的家目录下
1 | scp /home/a.tar.tz root@192.168.0.2 |
- 把远程文件/home/a.tar.gz拷贝到本机
1 | # 不接本地目录表示拷贝到当前目录 |
- 拷贝远程机器的/home/目录到本地/tmp目录下
1 | scp -r root@192.168.0.2:/home/ /tmp |
- 从远程主机192.168.100.60拷贝文件到另一台远程主机192.168.100.62上
1 | scp root@192.168.100.60:/tmp/copy.txt root@192.168.100.62:/tmp |
在远程复制到远程的过程中,例如在本地执行scp命令将A主机(192.168.100.60)上的/tmp/copy.txt复制到B主机(192.168.100.62)上的 /tmp 目录下,如果使用-v选项查看调试信息的话,会发现它的步骤类似是这样的。
1 | # 以下是从结果中提取的过程 |
也就是说,远程主机A到远程主机B的复制,实际上是将scp命令行从本地传递到主机A上,由A自己去执行scp命令。因此,本地主机不会和主机B有任何交互行为,本地主机就像是一个代理执行者一样,只是帮助传送scp命令行以及帮助显示信息。
其实从本地主机和主机A上的~/.ssh/know_hosts
文件中可以看出,本地主机只是添加了主机A的信息,并没有添加主机B的信息,而在主机A上则添加了主机B的信息。
mv命令
mv命令移动文件和目录,还可以用于重命名文件或目录。
1 | mv [-iuf] src dest # 移动单个文件或目录 |
mv默认已经是递归移动, 不需要-r参数。
mv的一个经典问题(mv的本质)
该问题涉及文件系统操作文件的机制,若不理解,请先深入学习文件系统,或者先跳过。
mv不能实现里层同名目录覆盖外层同名目录。如/tmp下有a目录,a目录里还有a目录,将不能实现/tmp/a/a移动到/tmp。
1 | [root@toystory tmp]# tree -L 3 a -fC |
要解释为何会如此,先说明移动和覆盖动作的本质。
同文件系统下移动文件实际上是修改目标文件所在目录的data block,向其中添加一行指向inode table中待移动文件的inode的指针,如果目标路径下有同名文件,则会提示是否覆盖,实际上是覆盖指向该同名文件的inode指针,由于同名文件的inode 记录指针被覆盖,就无法再找到该文件的data block,所以该文件被标记为删除。
跨文件系统移动文件的本质:如果目标路径下没有同名文件,则先为此文件分配一个inode号,并在目标目录的data block中添加一条指向该inode号的新记录 (是全新的),然后将文件复制到目标位置,复制成功则删除源文件,复制失败则保留源文件;如果目标路径下有同名文件,则提示是否要覆盖,如果选择覆盖,则将该同名文件的inode指针指向新分配的inode号,然后将文件复制到目标位置,复制成功则删除源文件,复制失败则保留源文件。
也就是说,同文件系统下移动文件时,inode记录不变(如inode号),当然,时间戳是一定会改变的,因为移动过程中修改了inode指向data block的指针。而跨文件系统下移动文件时,inode记录完全改变,它是新添加的记录。
再考虑上面的问题,同文件系统下移动文件时先在目标位置/tmp的data block中添加一条记录,如果同名则提示覆盖,覆盖时会先删除/tmp的data block中的a对应的记录,再添加将要移动文件的记录。从上面的结果也可以看出是先提示覆盖再提示目录非空的错误。
设想下,如果/tmp/a/a移动到/tmp下并重命名为b,则其动作是直接向/tmp的data block中添加b的记录,如果此时正好/tmp下已有b目录,则先删除/tmp的data block中b目录对应的记录,再添加移动后的b记录。
但是现在不是重命名为b,而是覆盖/tmp/a,此时的动作按原理应该是先提示是否覆盖,如果是,则删除/tmp的data block中a对应的记录,但由于此时/tmp/a目录中还有文件,该记录无法删除 (因为如果要删除了该记录,代表删除了 /tmp/a整个目录,而删除整个/tmp/a目录需要删除里面所有的文件,在删除它们之前的一个动作是把/tmp/a中的所有目录和文件的inode号标记为未使用,但此刻要移动的源目录/tmp/a/a是在使用当中的),所以提示目录非空而无法删除,这里所指的非空目录指的是/tmp/a,而非是/tmp/a/a非空。
但是在Windows操作系统下,里层目录是可以直接覆盖外层同名目录的,这和文件系统的行为有关。
其实在这个问题中,可以看出mv的很多原理。
查看文件内容
cat命令
输出一个或多个文件的内容。
1 | cat [OPTION]... [FILE]... |
通常cat还会用于将分行输入的内容写入到一个文件中去(这属于bash重定向的内容)。
首先测试<<eof
,这表示将键入的内容追加到标准输入stdin中(不是从标准输入中读取),eof可以随便使用其他符号代替。
1 | [root@xuexi tmp]# cat <<eof |
再测试< eof
,发现没有输入的机会,并且此时只能使用eof作为符号,EOF或其他任何都不可以。因为<eof
是读取标准输入,会将eof当成输入文件处理。所以一定要使用<<eof
,这表示here document,而前后两个eof正是document的起始和结束标志。
1 | [root@xuexi tmp]# cat <eof |
再进一步测试<<eof
的功能,将键入的内容重定向到文件而非标准输入中。这时有两种书写方案(其实还有其他写法,暂时熟悉这两种常见写法即可):
第一种方案:>>filename<<eof
或>filename<<eof
1 | [root@xuexi ~]# cat >>/tmp/test.txt<<EOF # 输入到这里按回车键继续输入下一行 |
第二种方案:<<eof>filename
或<<eof>>filename
1 | [root@xuexi tmp]# cat <<eof>log.txt |
两种方案结果是一样的,且总是使用<<eof
,只不过所写的位置不同而已,不管写在哪个位置,它都表示将键入的内容追加到标准输入。然后再使用>filename
或>>filename
控制重定向的方式,将标准输入中的内容重定向到filename文件中。
tac
tac和cat字母正好是相反的,其作用也是和cat相反的,它会反向输出行,将最后一行放在第一行的位置输出,依此类推。但是,tac没有显示行号的参数。
1 | shell> echo -e '1\n2\n3\n4\n5' | tac |
head
head打印前面的几行。
1 | head [-n num] | [-num] [-v] filename |
-n num
是显示文件的前num行,num可以是+/-
或不加正负号的整数,如果是正整数或不写+
号,则显示前num行。如果是负整数,则从后向前数num行,并打印除了这些行的前面所有的行,即打印除了最后num行的所有行,也即总行数减num的前正数行。不写-n时默认是前10行。在有些版本的head命令中,正整数时-n num
可以直接简写为-num
。
不管怎么样,它取的都是前几行,哪怕是负整数也是前几行。
示例:
1 | # 取出默认前10行,但总共才有5行 |
或者
1 | # 取出前2行 |
tail
tail和head相反,是显示后面的行,默认是后10行。
1 | tail [OPTION]... [FILE]... |
-n -num
或-num
或-n num
(num为正整数)表示输出最后的num行。使用-n +num
(num为正整数) 则表示输出从第num行开始的所有行。
1 | # 等价于 tail -n 3和tail -n -3 |
tail还有一个重要的参数-f,监控文件的内容变化。当一个用户不断修改某个文件的尾部,另一个用户就可以通过这个命令来刷新并显示这些修改后的内容。
nl
以行号的方式查看内容。
常用-b a
,表示不论是否空行都显示行号,等价于cat -n
。不写选项时,默认-b t
,表示空行不显示行号,等价于cat -b
。
1 | # 默认空行不显示行号 |
more和less
按页显示文件内容。使用more时,使用/
搜索字符串,按下n或N键表示向下或向上继续搜索。
使用less时,还多了一个搜索功能,使用?
搜索字符串,同样,使用n或N键可以向上或向下继续搜索。
比较文件内容
1 | shell> diff file1 file2 |
文件查找类命令
搜索文件的路径在何处以及文件的名称为何。
which
显示命令或脚本的全路径,默认也会将命令的别名显示出来。
1 | shell> which mv |
whereis
找出二进制文件、源文件和man文档文件。
1 | shell> whereis cd |
whatis
列出给定命令(并非一定是命令)的man文档信息。
1 | shell> whatis passwd |
根据上面的结果,执行:
1 | man 1 passwd # 获取passwd命令的man文档 |
locate
没什么好说的。
find
内容太多,使用两篇单独的文章解释。