当前位置：首页 > article >正文

Linux的缓存I/O和无缓存IO

article 2025/3/3 17:58:22

一、I/O缓存的背景

I/O缓存是指在内存里开辟一块区域，存放用来接收用户输入和用于计算机输出的数据，以减小系统开销和提高外设效率。linux对IO文件的操作分为不带缓存的IO操作和带缓存的IO操作（标准IO操作）。为什么存在C标准I/O库函数与Unbuffered I/O函数？它们有什么区别?

二、带缓存的I/O操作

带缓存IO（标准IO），不依赖系统内核，所以移植性强，使用标准IO操作为了减少对read()和write()的系统调用次数，带缓存IO其实就是在用户层再建立一个缓存区，这个缓存区的分配和优化长度等其他细节都是标准IO库代你处理好了。系统调用如图所示

比如要写数据到文件上，内核缓存区长度是100字节，我们调用不带缓存的IO函数write()就要调用10次，这样系统效率低。

现在我们在用户层建立另一个缓存区（用户层缓存区或者叫流缓存），假设流缓存的长度是50字节，我们用标准C库函数的fwrite()将数据写入到这个流缓存区里面，流缓存区满50字节后在进入内核缓存区，此时再调用系统函数write()将数据写入到文件（实质是磁盘）上标准IO操作fwrite()最后还是要掉用无缓存IO操作write,这里进行了两次调用fwrite()写100字节也就是进行两次系统调用write()函数。

无缓存IO操作数据流向路径：数据——内核缓存区——磁盘
标准IO操作数据流向路径：数据——流缓存区——内核缓存区——磁盘

标准I/O对每个I/O流自动进行缓存管理（标准I/O函数通常调用malloc来分配缓存）。它提供了三种类型的缓存：
1) 全缓存：缓存满时I/O操作。磁盘上的文件通常是全缓存的。
2）行缓存。当输入输出遇到新行符或缓存满时.stdin、stdout通常是行缓存的。
3)无缓存。相当于read、write了。stderr通常是无缓存的

三、无缓存I/O（Unbuffered ）I/O函数

刚看到这个"unbuffered"，读者就觉得奇怪，操作系统不是对所有的输入输出都会做缓存吗(delayed write)，为什么还会存在unbuffered?

其实，这里的ubuffered，是指的是针对与read和write本身来说，它们是没有缓存机制，比如read(fd,temp,100),在读够100个字节后或者遇到文件EOF后就返回，非常单纯。而C标准库函数中的fread和fwrite，就是利用缓存技术来调用read和write，可以说是buffered I/O。

但是，叫做无缓存IO是因为在用户层没有缓存，但对于Linux内核来说，还是进行了缓存，只是用户层看不到罢了。

这些不带缓存的I/O函数不是标准 C的组成部分，但是，它们是POSIX.1和Single UNIX Specification的组成部分。C标准库函数是C标准的一部分，而Unbuffered I/O函数是UNIX标准的一部分。只有在UNXI平台上才能用Unbuffered I/O函数,windows上不行。所以C标准I/O库函数在头文件stdio.h中声明，而read、 write等函数在头文件unistd.h中声明。

四、两种I/O函数使用场景

open、read、write、close等系统函数称为无缓冲I/O（Unbuffered I/O）函数，用户程序在读写文件时既可以调用C标准I/O库函数,也可以直接调用底层的Unbuffered I/O函数，那个各自使用场景是什么呢？

用Unbuffered I/O函数每次读写都要进内核，调一个系统调用比调一个用户空间的函数要慢很多，所以在用户程序开辟I/O缓冲区还是必要的，用C标准I/O库函数比较方便，省去自己开辟内存空间。
用C标准I/O库函数要时刻注意I/O缓冲区和实际文件有可能不一致，在必要时调用fflush(3)。
UNIX的传统是Everything is a file，I/O函数不仅可以读写文件还可以读写设备。在读写设备时通常是不希望有缓冲的。比如网络设置的读写就希望是实时读写，而不希望只写到缓冲区里，所以网络编程通常直接调用Unbuffered I/O函数。