Linux下文件重定向

一 重定向的基本使用

在Linux系统中，文件重定向是一种非常实用的机制，它可以改变命令的输入输出方向，将原本输出到终端的内容发送到文件中，或者从文件获取输入等。以下是几种常见的文件重定向操作：

1. 标准输出重定向

• 覆盖输出（>）：
  • 命令格式：命令 > 文件名。
  • 作用：将命令执行后的标准输出结果覆盖写入到指定的文件中。如果文件不存在，则会创建该文件；如果文件已经存在，那么原有文件内容会被清除，然后写入新的输出内容。
  • 例如，使用ls命令列出当前目录下的文件列表，并将结果重定向到一个名为filelist.txt的文件中：

ls > filelist.txt

执行完这个命令后，filelist.txt文件里就存放了当前目录下文件列表的相关信息，之前该文件若有内容则被覆盖掉了。

• 追加输出（>>）：
  • 命令格式：命令 >> 文件名。
  • 作用：把命令执行后的标准输出结果追加到指定文件的末尾。如果文件不存在，同样会创建新文件。
  • 例如，要将date命令获取的当前日期时间信息不断追加到一个名为log.txt的日志文件中，可以这样操作：

date >> log.txt

每执行一次这个命令，新的日期时间信息就会添加到log.txt文件已有内容的后面。

2. 标准错误输出重定向

• 覆盖错误输出（2>）：
  • 命令格式：命令 2> 文件名。
  • 作用：用于将命令执行过程中产生的错误信息（标准错误输出）覆盖写入到指定文件中。比如，当执行一个不存在的命令时，错误提示可以被重定向保存下来。
  • 示例，尝试执行一个不存在的命令abcd，并将错误信息重定向到error.txt文件：

abcd 2> error.txt

这时打开error.txt文件，就能看到类似“命令未找到”这样的错误提示内容。

• 追加错误输出（2>>）：
  • 命令格式：命令 2>> 文件名。
  • 作用：把命令执行时产生的错误信息追加到指定文件的末尾。
  • 例如，在一个脚本中多次执行不同命令，想要把每次出现的错误信息都依次记录到同一个错误日志文件中，就可以用这种方式进行重定向。

3. 同时重定向标准输出和标准错误输出

• 覆盖输出（&> 或 >&）：
  • 命令格式：命令 &> 文件名 或者 命令 >& 文件名。
  • 作用：将命令执行的标准输出和标准错误输出都覆盖写入到同一个指定的文件中。
  • 例如：

some_command &> result.txt

这样，不管命令执行过程中是正常输出还是产生错误输出，都会全部写入到result.txt文件中，原文件内容被覆盖。

• 追加输出（&>>）：
  • 命令格式：命令 &>> 文件名。
  • 作用：将命令执行的标准输出和标准错误输出都追加到指定文件的末尾。方便在记录信息时不断累积命令执行的各种结果和错误提示等内容。
  • 比如：

script.sh &>> combined_log.txt

执行script.sh脚本时，其正常输出和出现的错误输出都会依次添加到combined_log.txt文件里。

4. 输入重定向（<）

• 命令格式：命令 < 文件名。
• 作用：让命令从指定的文件中获取输入内容，而不是从标准输入（通常是键盘）获取。例如，有一个test.txt文件里面存了一些文本内容，使用wc -l命令（用于统计行数）可以通过输入重定向来统计该文件内容的行数，如下：

wc -l < test.txt

此时wc命令会把test.txt文件里的内容当作输入来进行行数统计，而不是等待用户从键盘输入内容。

这些文件重定向操作在Linux系统的命令行使用、脚本编写等场景中经常被用到，能够帮助更灵活地处理命令的输入输出，便于记录和管理相关信息。

二 重定向基本原理

1. 文件描述符概念

在Linux系统中，文件描述符（File Descriptor）是一个用于标识打开文件或其他输入/输出资源的非负整数。每个运行中的进程都会维护一张文件描述符表，用于管理它所涉及的各种输入输出操作对应的资源。

• 标准输入（stdin）：其文件描述符为0，默认情况下对应的是键盘输入，也就是进程从这里获取标准的输入数据。例如，当你在命令行中执行一个命令，等待你输入内容时，它就是从标准输入读取数据，对应的底层就是文件描述符0在发挥作用。
• 标准输出（stdout）：文件描述符为1，默认情况下是将进程产生的正常输出结果显示到终端屏幕上，像执行ls命令后看到的文件列表展示，就是通过标准输出（文件描述符1）将结果输出到终端的。
• 标准错误输出（stderr）：文件描述符是2，用于输出进程执行过程中产生的错误提示、警告等相关信息，例如执行一个不存在的命令时，系统反馈的错误消息就是通过标准错误输出（文件描述符2）发送到终端的。

2.什么是文件描述符

文件描述符就是从0开始的小整数。当我们打开文件时，操作系统在内存中要创建相应的数据结构来描述目标文件。于是就有了file结构体。表示一个已经打开的文件对象。而进程执行open系统调用，所以必须让进程和文件关联起来。每个进程都有一个指针*files, 指向一张表files_struct,该表最重要的部分就是包涵一个指针数组，每个元素都是一个指向打开文件的指针！所以，本质上，文件描述符就是该数组的下标。所以，只要拿着文件描述符，就可以找到对应的文件。

3. 文件描述符的分配规则

初始分配与默认对应关系

在Linux系统中，当一个新进程被创建时（例如通过fork系统调用创建子进程），会继承父进程的文件描述符表，并且会有三个默认的、预先分配好的文件描述符，它们具有固定的对应关系：

• 文件描述符0：默认分配给标准输入（stdin），通常关联到终端设备的输入，意味着进程从这里等待获取用户输入的数据，例如在命令行中执行一个交互式命令时，命令会从这个文件描述符对应的输入流读取用户从键盘敲入的内容。
• 文件描述符1：对应标准输出（stdout），其默认情况是将进程产生的正常输出内容输出到终端屏幕上，像我们执行常见的命令（如ls命令列出文件列表、echo命令输出文本等），输出结果就是通过这个文件描述符流向终端显示出来的。
• 文件描述符2：被分配给标准错误输出（stderr），用于输出进程执行过程中出现的错误信息、警告提示等内容，比如执行一个不存在的命令或者命令执行出现不符合预期的错误时，相应的错误消息就会通过这个文件描述符发送到终端展示给用户。

动态分配规则

除了上述这三个默认分配的文件描述符外，当进程需要打开更多的文件或者其他输入/输出资源时，系统会按照以下规则动态分配新的文件描述符：

• 从小到大依次分配：新的文件描述符会从最小的未使用的非负整数开始分配。一般来说，在程序运行过程中，进程每打开一个新的文件（通过open系统调用等方式），系统会从3开始，按照自然数顺序依次寻找空闲的数字来作为这个新打开文件的文件描述符。例如，进程首先打开了一个文件，系统会分配文件描述符3给它；接着再打开另一个文件时，就会分配文件描述符4，以此类推。
• 文件关闭后的回收利用：当一个文件被关闭（通过close系统调用）后，对应的文件描述符就会被释放，重新进入可分配的状态。后续如果进程又需要打开新的文件，系统有可能会再次利用这些已经回收的文件描述符进行分配。不过，需要注意的是，系统并不会刻意去保证一定会优先复用刚释放的文件描述符，只是按照从小到大找空闲数字的规则来进行动态分配，有可能之前释放的文件描述符会被后续打开的多个文件“跳过”而未被立即复用。

4. 重定向的本质

C语言代码：

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>
int main()
{
	close(1);
	int fd = open("newfile", O_WRONLY|O_CREAT, 0644);
	if(fd < 0)
	{
	perror("open");
	return 1;
	}
	printf("fd: %d\n", fd);
	fflush(stdout);
	close(fd);
	exit(0);
}

代码功能概述

这段代码的主要目的是尝试将标准输出（文件描述符为 1）重定向到一个名为 newfile 的文件中，然后往这个“重定向后的标准输出”（也就是实际指向 newfile 的文件描述符对应的输出流）写入一些内容，最后关闭相关文件描述符并正常退出程序。

代码详细解读

1. 关闭标准输出

close(1);

这里通过 close 系统调用关闭了文件描述符为 1 的标准输出。在类 UNIX 系统（包括 Linux、macOS 等）中，文件描述符 0 通常代表标准输入，1 代表标准输出，2 代表标准错误输出。关闭标准输出是为后续重定向做准备，不过这样做有一定风险，如果后续操作失败没能正确重定向恢复，可能导致后续本应输出到终端的信息无法正常显示等问题。

2. 打开文件并获取文件描述符

int fd = open("newfile", O_WRONLY|O_CREAT, 0644);
if(fd < 0){
    perror("open");
    return 1;
}

使用 open 系统调用尝试打开（如果不存在则创建）名为 newfile 的文件。O_WRONLY 标志表示以只写方式打开文件，O_CREAT 表示如果文件不存在则创建它，0644 是文件的权限掩码（表示所有者有读写权限，所属组和其他用户有读权限）。如果 open 调用失败（返回的文件描述符小于 0），则通过 perror 输出错误信息，并以错误码 1 退出程序。成功打开后，会得到一个有效的文件描述符赋值给变量 fd。

3. 输出文件描述符编号并刷新缓冲区

printf("fd: %d\n", fd);
fflush(stdout);

这里尝试使用 printf 输出刚获得的文件描述符的值，注意此时由于之前关闭了标准输出（文件描述符 1）并重新打开了文件，所以这里的 printf 实际是往新打开的 newfile 文件中写入内容（前提是重定向成功了）。而 fflush(stdout) 是强制刷新标准输出缓冲区，确保数据能及时写入文件（因为 printf 等函数输出内容时，有时候是先缓冲起来，等缓冲区满或者显式刷新时才真正写入到对应的输出目标）。

4. 关闭文件描述符并退出程序

close(fd);
exit(0);

首先通过 close 调用关闭之前打开的文件对应的文件描述符，释放相关系统资源，然后使用 exit(0) 正常退出程序，表示程序执行成功结束。

三 重定向常用接口

dup2是Linux系统中一个非常重要且常用于实现文件重定向的系统调用接口

1. 函数原型与头文件

dup2函数的原型如下：

#include <unistd.h>
int dup2(int oldfd, int newfd);

它定义在<unistd.h>头文件中，使用时需要包含该头文件。

2. 参数含义

• oldfd参数：
  这是一个已经存在的文件描述符，代表着要被复制的“源”，也就是原有的输入/输出资源对应的标识。例如，它可能是已经打开的某个文件对应的文件描述符，或者是标准输入（文件描述符为0）、标准输出（文件描述符为1）、标准错误输出（文件描述符为2）等这些默认的输入输出资源对应的描述符。这个“源”所关联的具体内容（比如文件的读写状态、当前读写位置等）会被复制到目标文件描述符所对应的地方。
• newfd参数：
  是目标文件描述符，dup2函数会将oldfd所关联的资源复制到这个newfd对应的地方，使得newfd最终和oldfd指向同一个输入/输出资源。需要注意的是，如果newfd已经有了与之关联的其他资源（也就是已经打开了别的文件或者指向了其他输入输出设备等情况），那么dup2函数会先自动关闭newfd原来所关联的资源，然后再进行复制操作，将oldfd对应的资源关联到newfd上。

3. 工作原理及实现过程

• 当调用dup2函数时，系统内核会根据提供的参数进行如下操作：
  • 首先，检查newfd是否已经被使用（即是否已经关联了其他资源），如果是，则关闭newfd对应的原有资源。这一步确保了目标文件描述符在后续操作前处于一个“干净”的状态，避免出现资源冲突等问题。
  • 然后，将oldfd对应的输入/输出资源（比如文件的打开状态、读写权限、当前读写位置等属性）复制到newfd上，使得newfd与oldfd在功能上完全等效，指向同一个资源。从效果上来说，就好像把oldfd所代表的“管道”接到了newfd这边，后续通过newfd进行操作就等同于通过oldfd进行操作。
  • 例如，在实现标准输出重定向到一个文件的场景中，先通过open系统调用打开目标文件（假设返回的文件描述符为fd），然后调用dup2(fd, 1)，这里的1就是标准输出对应的文件描述符，dup2函数会先关闭原来标准输出关联的终端设备（默认的输出指向），再把fd所对应的文件资源关联到文件描述符1上，这样之后所有原本应该输出到终端的内容（比如通过printf等函数输出的内容）就会被重定向到这个新打开的文件中了。

4. 返回值

• dup2函数执行成功时，会返回新的文件描述符（也就是newfd的值），这是为了方便后续可能的进一步操作，虽然在实际重定向场景中通常我们重点关注的是重定向是否成功实现，而不是具体返回的这个值本身。
• 如果dup2函数执行出现错误，例如oldfd或newfd参数不合法（比如超出了系统允许的文件描述符范围等情况），或者在关闭newfd原有资源等操作时遇到系统层面的问题，那么函数会返回-1，并且可以通过perror等函数来查看具体的错误原因，以便进行相应的错误处理。

5. 示例代码

：实现标准输出重定向到文件（覆盖写入）

#include <stdio.h>
#include <fcntl.h>
#include <unistd.h>

int main() {
    int fd = open("output.txt", O_WRONLY | O_CREAT | O_TRUNC, 0666);
    if (fd == -1) {
        perror("open error");
        return 1;
    }
    // 使用dup2将标准输出重定向到打开的文件output.txt对应的文件描述符fd上
    dup2(fd, 1);
    printf("This text will be written to the output.txt file instead of the terminal.\n");
    close(fd);
    return 0;
}

在这个示例中，首先通过open系统调用打开output.txt文件（若不存在则创建，并且以覆盖原有内容的方式打开），获取到文件描述符fd，然后调用dup2(fd, 1)将标准输出（文件描述符1）重定向到该文件，接着使用printf输出内容，此时输出的内容就会被写入到output.txt文件中，而不是显示在终端屏幕上，最后关闭fd。