【Linux】详谈 基础I/O
目录
一、理解文件
狭义的理解：
广义理解：
文件操作的归类认知
系统角度
二、系统文件I/O
2.1 标志位的传递
系统级接口open
编辑
open返回值
写入文件
读文件
三、文件描述符
3.1（0 & 1 & 2）
3.2 文件描述符的分配规则
3.3 重定向
3.4 dup2系统调用
标准错误
一、理解文件
文件类型：
- 普通文件：包含用户数据，如文本文件、二进制可执行文件、图像文件、音频文件等。文本文件可以用文本编辑器打开查看和编辑，二进制文件则包含了机器可执行的指令或特定格式的数据。
- 目录文件：用于组织和管理其他文件和目录，类似于 Windows 系统中的文件夹。它包含了指向其他文件和目录的索引信息。
- 设备文件：在Linux中，硬件设备也被视为文件，分为字符设备文件和块设备文件。字符设备文件通常用于像串口、终端这样以字符流方式进行数据传输的设备；块设备文件用于如硬盘、U盘等以块为单位进行数据读写的设备。
- 链接文件：类似于 Windows系统中的快捷方式，分为硬链接和软链接（符号链接）。硬链接是同一个文件的多个名称，它们共享相同的 inode号；软链接则是指向另一个文件的特殊文件，有自己独立的 inode 号。
- 管道文件：主要用于进程间通信，允许两个或多个进程之间进行数据的传递和共享。
- 套接字文件：用于网络通信或本地进程间通信，是网络编程和一些进程间通信机制的重要组成部分。
狭义的理解：
• 文件在磁盘里
• 磁盘是永久性存储介质，因此文件在磁盘上的存储是永久性的
• 磁盘是外设（即是输出设备也是输入设备）
• 磁盘上的文件 本质是对文件的所有操作，都是对外设的输入和输出 简称 IO
广义理解：
Linux 下一切皆文件（键盘、显示器、网卡、磁盘…… 这些都是抽象化的过程）
文件操作的归类认知
• 对于 0KB 的空文件是占用磁盘空间的
• 文件是文件属性（元数据）和文件内容的集合（文件 = 属性（元数据）+ 内容）
• 所有的文件操作本质是文件内容操作和文件属性操作
系统角度
• 对文件的操作本质是进程对文件的操作
• 磁盘的管理者是操作系统
• 文件的读写本质不是通过 C 语言 / C++ 的库函数来操作的（这些库函数只是为用户提供方便），而、是通过文件相关的系统调用接口来实现的
二、系统文件I/O
打开文件的方式不仅仅是fopen，ifstream等流式，语言层的方案，其实系统才是打开文件最底层的方案。不过，在学习系统文件IO之前，先要了解下如何给函数传递标志位，该方法在系统文件IO接口中会使用到：
2.1 标志位的传递
系统级接口open
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);
pathname: 要打开或创建的⽬标⽂件
flags: 打开⽂件时，可以传⼊多个参数选项，⽤下⾯的⼀个或者多个常量进⾏“或”运算，构成
flags。
参数:
O_RDONLY: 只读打开
O_WRONLY: 只写打开
O_RDWR : 读，写打开
这三个常量，必须指定⼀个且只能指定⼀个
O_CREAT : 若⽂件不存在，则创建它。需要使⽤mode选项，来指明新⽂件的访问
权限
O_APPEND: 追加写
返回值：
成功：新打开的⽂件描述符
失败：-1
open返回值
在认识返回值之前，先来认识⼀下两个概念: 系统调⽤ 和 库函数
• 上⾯的 fopen fclose fread fwrite 都是C标准库当中的函数，我们称之为库函数（libc）。
• ⽽ open close read write lseek 都属于系统提供的接⼝，称之为系统调⽤接⼝
系统调⽤接⼝和库函数的关系，⼀⽬了然。
所以，可以认为， f# 系列的函数，都是对系统调⽤的封装，⽅便⼆次开发。
写入文件
清空并写入
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>
#include <unistd.h>
int main()
{
umask(0);
int fd=open("log.txt",O_CREAT | O_WRONLY | O_TRUNC,0666);
if(fd<0)
{
perror("open");
return 1;
}
printf("fd: %d\n",fd);
const char* msg="hello hhh";
int cnt=1;
while(cnt--)
{
write(fd,msg,strlen(msg));
}
close(fd);
return 0;
}
追加并写入
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>
#include <unistd.h>
int main()
{
umask(0);
int fd=open("log.txt",O_CREAT | O_WRONLY | O_TRUNC ,0666);
if(fd<0)
{
perror("open");
return 1;
}
printf("fd: %d\n",fd);
const char* msg="hello bbbb";
int cnt=1;
while(cnt--)
{
write(fd,msg,strlen(msg));
}
close(fd);
return 0;
}
注意上面的加入函数umask(0);就可以自己规范权限。
读文件
int main()
{
int fd = open("myfile", O_RDONLY);
if(fd < 0)
{
perror("open");
return 1;
}
const char *msg = "hello bit!\n";
char buf[1024];
while(1)
{
ssize_t s = read(fd, buf, strlen(msg));//类⽐write
if(s > 0)
{
printf("%s", buf);
}
else
{
break;
}
}
close(fd);
return 0;
}
这里的接口都是系统调用，而上面的c语言的文件操作都是语言层面上的调用。其实语言层里面的调用里面都封装着系统级别的调用。
三、文件描述符
文件描述符是一个非负整数，它是 Linux 内核为了管理文件操作而给每个打开的文件或其他 I/O 资源（如管道、套接字等）分配的一个标识符。可以将其理解为一个指向内核中代表打开文件的数据结构的索引，通过这个索引，程序能够方便地对相应的文件或资源进行各种读写等操作。
在操作系统层面接口层面，系统只认文件描述符(fd)。所有根据前面所讲，语言层面肯定封装了文件fd。
3.1（0 & 1 & 2）
• Linux进程默认情况下会有3个缺省打开的文件描述符，分别是标准输入0， 标准输出1， 标准错误2.
• 0,1,2对应的物理设备一般是：键盘，显示器，显示器
所以输⼊输出还可以采⽤如下⽅式：
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>
int main()
{
char buf[1024];
ssize_t s = read(0, buf, sizeof(buf));
if(s > 0)
{
buf[s] = 0;
write(1, buf, strlen(buf));
write(2, buf, strlen(buf));
}
return 0;
}
而现在知道，文件描述符就是从0开始的小整数。当我们打开文件时，操作系统在内存中要创建相应的数据结构来描述目标文件。于是就有了file结构体。表示一个已经打开的文件对象。而进程执行open系统调用，所以必须让进程和文件关联起来。每个进程都有一个指针*files, 指向一张表files_struct,该表最重要的部分就是包含一个指针数组，每个元素都是一个指向打开文件的指针！所以，本质上，文件描述符就是该数组的下标。所以，只要拿着文件描述符，就可以找到对应的文件。
对于以上原理结论我们可通过内核源码验证：
首先要找到task_struct 结构体在内核中为位置，地址为： /usr/src/kernels/3.10.0-1160.71.1.el7.x86_64/include/linux/sched.h （3.10.0-1160.71.1.el7.x86_64是内核版本，可使用 uname -a 自行查看服务器配置， 因为这个文件夹只有一个，所以也不用刻意去分辨，内核版本其实也随意）
3.2 文件描述符的分配规则
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
int main()
{
int fd = open("myfile", O_RDONLY);
if(fd < 0)
{
perror("open");
return 1;
}
printf("fd: %d\n", fd);
close(fd);
return 0;
}
输出发现是fd: 3
关闭0或者2，在看
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
int main()
{
close(0);
//close(2);
int fd = open("myfile", O_RDONLY);
if(fd < 0)
{
perror("open");
return 1;
}
printf("fd: %d\n", fd);
close(fd);
return 0;
}
发现是结果是： fd: 0 或者 fd 2 ，可⻅，文件描述符的分配规则：在files_struct数组当中，找到当前没有被使⽤的最小的⼀个下标，作为新的文件描述符。
3.3 重定向
那如果关闭1呢？看代码：
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>
int main()
{
close(1);
int fd = open("myfile", O_WRONLY|O_CREAT, 00644);
if(fd < 0)
{
perror("open");
return 1;
}
printf("fd: %d\n", fd);
fflush(stdout);
close(fd);
exit(0);
}
此时，我们发现，本来应该输出到显⽰器上的内容，输出到了⽂件 myfile 当中，其中，fd＝1。这种现象叫做输出重定向。常见的重定向有: > ,>> ,<
重定向的本质
3.4 dup2系统调用
int main() {
// 打开文件，如果文件不存在则创建，同时以读写模式打开
int fd = open("./log", O_CREAT | O_RDWR);
if (fd < 0) {
perror("open");
return 1;
}
// 关闭标准输出文件描述符
close(1);
// 将文件描述符 fd 复制到标准输出文件描述符（1）
dup2(fd, 1);
for (;;) {
char buf[1024] = {0};
// 从标准输入读取数据到缓冲区
ssize_t read_size = read(0, buf, sizeof(buf) - 1);
if (read_size < 0) {
perror("read");
break;
}
// 输出读取到的内容
printf("%s", buf);
// 刷新标准输出缓冲区
fflush(stdout);
}
return 0;
}标准错误
向标准输出和标准错误里打信息
标准输出和标准错误都是显示器文件，想把标准输出和标准错误的信息重定向一个文件。这样是不行的。可以发现两者在两个文件中
用下面这个指令进行重定向，重定向到了两个文件
用下面这个指令可以把两者重定向到一个文件
存在一个标准错误，可以通过重定向能力把常规消息和错误消息进行分离。以方便后续用户进行操作好区分。
本篇完，下篇见！
