相关阅读
Linuxhttps://blog.csdn.net/weixin_45791458/category_12234591.html?spm=1001.2014.3001.5482
Linux中的所有进程,都拥有自己的文件描述符(File Descriptor, FD),它是操作系统在管理进程和文件时的一种抽象概念。每个文件描述符由一个非负整数表示,用来标识进程已打开的文件、输入输出流、网络套接字等资源。一个进程可以打开的文件描述符是有上限的,可以通过ulimit命令查询,如例1所示。
# 例1zhangchen@test:~$ ulimit -n # 查询当每个进程的文件描述符数量上限1048576
每个正在运行的进程,都会在虚拟文件系统的目录/proc下用一个子目录表示,目录名为进程的id号。当一个进程创建时,操作系统会为其分配一个未使用的id号并在目录/proc下创建相应的目录;当一个进程执行完毕退出时,操作系统会删除相应的目录并回收id号。
在目录/proc/pid/fd(pid指具体的进程id号)中,可以找到名为0、1、2...的链接文件,它们指向了相应的文件描述符代表的资源,例2展示了如何查看当前Bash进程的文件描述符。
# 例2zhangchen@test:~$ ps # 查询Bash进程的id号 PID TTY TIME CMD2556994 pts/3 00:00:00 bash2557252 pts/3 00:00:00 pszhangchen@test:~$ ls -al /proc/2556994/fd # 显示虚拟文件系统中bash进程的文件描述符目录lrwx------ 1 zhangchen test 64 9月 20 13:53 0 -> /dev/pts/3lrwx------ 1 zhangchen test 64 9月 20 13:53 1 -> /dev/pts/3lrwx------ 1 zhangchen test 64 9月 20 13:53 2 -> /dev/pts/3lrwx------ 1 zhangchen test 64 9月 20 13:53 255 -> /dev/pts/3
其中文件描述符0、1、2尤为重要,它们是所有进程在创建时就默认拥有的文件描述符,分别表示标准输入(stdin)、标准输出(stdout)和标准错误输出(stderr)。从例2中可以看出它们都指向了/dev/pts/0这个伪终端设备(Pseudo-Terminal Slave),这是因为该终端是从GUI界面启动的(ssh远程连接的终端也是如此),如果是利用Ctrl+Alt+F*启动的终端,则会显示是/dev/tty*之类的设备。
在目录/dev下可以找到三个链接文件stdin、stdout和stderr,它们指向了当前进程的文件描述符0、1、2,如例3所示。
# 例3zhangchen@test:~$ ls -al /dev/std* # 查询标准输入、输出、错误设备lrwxrwxrwx 1 root root 15 7月 12 17:37 /dev/stderr -> /proc/self/fd/2lrwxrwxrwx 1 root root 15 7月 12 17:37 /dev/stdin -> /proc/self/fd/0lrwxrwxrwx 1 root root 15 7月 12 17:37 /dev/stdout -> /proc/self/fd/1
其中/proc/self是一个链接文件,指向了当前进程的目录,也就是说如果使用ls /proc命令,则显示其指向的是进程ls的目录,如例4所示。
# 例4zhangchen@test:~$ ls -al /proc/self # 查询当前进程(即ls)的信息lrwxrwxrwx 1 root root 0 7月 12 17:37 /proc/self -> 2557940 # 指向了/proc/2557940zhangchen@test:~$ ls -al /proc/self # 查询当前进程(即ls)的信息lrwxrwxrwx 1 root root 0 7月 12 17:37 /proc/self -> 2557972 # 指向了/proc/2557972zhangchen@test:~$ ls -al /proc/self # 查询当前进程(即ls)的信息lrwxrwxrwx 1 root root 0 7月 12 17:37 /proc/self -> 2557975 # 指向了/proc/2557975
从例4中可以看出 ,连续三次使用ls命令得到的结果是不同的,这是因为每次执行ls命令都会创建一个新的进程并分配给一个未使用的id号(它们可能相等,因为执行完毕后id号会被回收,但在该例中不相等)。
有些偏题了,我们回到文件描述符,当创建了一个新的终端并查询其文件描述符时,会发现文件描述符0、1、2指向了另一个伪终端设备/dev/pts/8,如例5所示。
# 例5zhangchen@test:~$ ps # 查询Bash进程的id号 PID TTY TIME CMD2559706 pts/3 00:00:00 bash2559728 pts/3 00:00:00 pszhangchen@test:~$ ls -al /proc/2559706/fd # 显示虚拟文件系统中Bash进程的文件描述符目录lrwx------ 1 zhangchen test 64 9月 20 13:54 0 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 13:54 1 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 13:54 2 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 13:54 255 -> /dev/pts/8
默认情况下,子进程被创建并替换后会继承父进程的文件描述符(可以通过设置FD_CLOEXEC标志改变替换后是否继承文件描述符),为了进行验证,首先介绍一个命令exec。exec命令可以用于进程替换,也可用于操作Bash进程的文件描述符,如例6所示。在此基础上如果使用sleep 100 &命令,查询其文件描述符会发现与Bash进程的相同,如例7所示。
# 例6zhangchen@test:~$ exec 3> output.txt # 在当前Bash进程以写方式打开output.txt文件,分配文件描述符3zhangchen@test:~$ ps # 查询Bash进程的id号 PID TTY TIME CMD2559706 pts/3 00:00:00 bash2559947 pts/3 00:00:00 pszhangchen@test:~$ ls -al /proc/2559706/fd # 显示虚拟文件系统中Bash进程的文件描述符目录lrwx------ 1 zhangchen test 64 9月 20 13:54 0 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 13:54 1 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 13:54 2 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 13:54 255 -> /dev/pts/8l-wx------ 1 zhangchen test 64 9月 20 17:02 3 -> /home/zhangchen/output.txt
# 例7zhangchen@test:~$ sleep 100 & # 一个后台执行的测试命令[1] 2560074zhangchen@test:~$ ls -al /proc/2560074/fd # 显示虚拟文件系统中sleep进程的文件描述符目录lrwx------ 1 zhangchen test 64 9月 20 17:03 0 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 17:03 1 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 17:03 2 -> /dev/pts/8lrwx------ 1 zhangchen test 64 9月 20 17:03 255 -> /dev/pts/8l-wx------ 1 zhangchen test 64 9月 20 17:03 3 -> /home/zhangchen/output.txt
例8展示了在Python中打开一个文件,并显示其文件描述符。
# 例8# 文件:test.pyimport timefile = open('example.txt', 'w') # 打开文件fd = file.fileno() # 获取文件描述符print("File descriptor assigned: {}".format(fd)) # 输出文件描述符time.sleep(60) # 等待60秒file.close() # 关闭文件zhangchen@test:~$ python test.py & # 一个后台执行的Python进程[2] 11491File descriptor assigned: 3zhangchen@test:~$ ls -al /proc/11491/fd # 显示虚拟文件系统中python进程的文件描述符目录lrwx------ 1 zhangchen test 64 9月 20 17:06 0 -> /dev/pts/0lrwx------ 1 zhangchen test 64 9月 20 17:06 1 -> /dev/pts/0lrwx------ 1 zhangchen test 64 9月 20 17:06 2 -> /dev/pts/0l-wx------ 1 zhangchen test 64 9月 20 17:06 3 -> /home/zhangchen/example.txt
看起来像是Linux会选择优先当前未使用最小的文件描述符,这是对的!但是否Python进程只打开过example.txt一个文件?答案是否定的(显然,Python进程肯定还打开了test.py文件)。
一个命令的执行可能牵涉到多次打开文件、关闭文件的过程,例9使用了strace命令观察了cat命令执行的过程。
# 例9zhangchen@test:~$ strace cat ttexecve("/usr/bin/cat", ["cat", "tt"], 0x7fff10389408 /* 67 vars */) = 0brk(NULL) = 0x1472000mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f8c9f2f0000access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or directory)open("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib/tls/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)stat("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib/tls/x86_64", 0x7ffe8d6e3750) = -1 ENOENT (No such file or directory)open("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib/tls/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)stat("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib/tls", 0x7ffe8d6e3750) = -1 ENOENT (No such file or directory)open("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib/x86_64/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)stat("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib/x86_64", 0x7ffe8d6e3750) = -1 ENOENT (No such file or directory)open("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib/libc.so.6", O_RDONLY|O_CLOEXEC) = -1 ENOENT (No such file or directory)stat("/opt/Synopsys/LC2018/lc/O-2018.06-SP1/linux64/lc/shlib", {st_mode=S_IFDIR|0777, st_size=4096, ...}) = 0open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3fstat(3, {st_mode=S_IFREG|0644, st_size=126574, ...}) = 0mmap(NULL, 126574, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f8c9f2d1000close(3) = 0open("/lib64/libc.so.6", O_RDONLY|O_CLOEXEC) = 3read(3, "\177ELF\2\1\1\3\0\0\0\0\0\0\0\0\3\0>\0\1\0\0\0`&\2\0\0\0\0\0"..., 832) = 832fstat(3, {st_mode=S_IFREG|0755, st_size=2156240, ...}) = 0mmap(NULL, 3985920, PROT_READ|PROT_EXEC, MAP_PRIVATE|MAP_DENYWRITE, 3, 0) = 0x7f8c9ed02000mprotect(0x7f8c9eec5000, 2097152, PROT_NONE) = 0mmap(0x7f8c9f0c5000, 24576, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_DENYWRITE, 3, 0x1c3000) = 0x7f8c9f0c5000mmap(0x7f8c9f0cb000, 16896, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) = 0x7f8c9f0cb000close(3) = 0mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f8c9f2d0000mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f8c9f2ce000arch_prctl(ARCH_SET_FS, 0x7f8c9f2ce740) = 0mprotect(0x7f8c9f0c5000, 16384, PROT_READ) = 0mprotect(0x60b000, 4096, PROT_READ) = 0mprotect(0x7f8c9f2f1000, 4096, PROT_READ) = 0munmap(0x7f8c9f2d1000, 126574) = 0brk(NULL) = 0x1472000brk(0x1493000) = 0x1493000brk(NULL) = 0x1493000open("/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3fstat(3, {st_mode=S_IFREG|0644, st_size=106172832, ...}) = 0mmap(NULL, 106172832, PROT_READ, MAP_PRIVATE, 3, 0) = 0x7f8c987c0000close(3) = 0fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 0), ...}) = 0open("tt", O_RDONLY) = 3fstat(3, {st_mode=S_IFREG|0664, st_size=6, ...}) = 0fadvise64(3, 0, 0, POSIX_FADV_SEQUENTIAL) = 0read(3, "test\n\n", 65536) = 6write(1, "test\n\n", 6test) = 6read(3, "", 65536) = 0close(3) = 0close(1) = 0close(2) = 0exit_group(0) = ?+++ exited with 0 +++
可以看出,cat命令在执行时,打开过三类文件(标准输入、输出和错误不用打开,因为它们继承自父进程),而且文件描述符的值其实就是系统调用open函数的返回值。
# 动态链接相关的文件open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3 # 分配文件描述符3*****close(3) # 关闭文件描述符3open("/lib64/libc.so.6", O_RDONLY|O_CLOEXEC) = 3 # 分配文件描述符3*****close(3) # 关闭文件描述符3# 本地语言环境文件open("/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3 # 分配文件描述符3*****close(3) # 关闭文件描述符3# 目标文件(tt)open("tt", O_RDONLY) = 3 # 分配文件描述符3*****close(3) # 关闭文件描述符3