【C++高并发服务器WebServer】-5：内存映射与进程通信
本文目录
- 一、内存映射与进程通信
- 二、匿名映射与进程通信
一、内存映射与进程通信
内存映射Memory-mapped I/O指的是将磁盘文件的数据映射到内存，用户通过修改内存就能够修改磁盘文件，如下图所示（进程地址空间指的是虚拟地址空间）。
如果两个进程都对同一块文件进行内存映射，也可以达到进程通信（进程之间有无关系都可以实现）的效果。
如果两个进程都使用了 MAP_SHARED 标志，那么它们共享同一块物理内存区域。这意味着操作系统会将文件的内容加载到物理内存中，并将两个进程的虚拟地址空间中的相应地址映射到同一块物理内存。
当一个进程修改了共享内存区域中的数据时，这些修改会反映到物理内存中，其他进程访问时也会看到这些修改。
虚拟地址空间本身并不是“加载”到物理内存中的。虚拟地址空间是一个逻辑上的地址范围，由操作系统管理。物理内存是实际存储数据的地方。当进程访问虚拟地址空间中的某个地址时，操作系统会通过页表将虚拟地址映射到物理内存地址。如果物理内存不足，操作系统会将一些不常用的页面交换到磁盘上的交换空间（Swap Space）中，以释放物理内存供其他用途。虚拟地址空间中的地址并不是直接对应物理内存的地址，而是通过页表（Page Table）映射到物理内存或其他存储设备（如磁盘）。
打个比方，假设现在有两个进程：
进程1：虚拟地址空间中的地址范围 [0x1000, 0x2000) 被映射到文件 shared_file。操作系统将这个虚拟地址范围映射到物理内存中的某个区域，例如 [0x10000, 0x11000)。
对于进程2：进程2：虚拟地址空间中的地址范围 [0x3000, 0x4000) 也被映射到文件 shared_file。操作系统将这个虚拟地址范围映射到相同的物理内存区域 [0x10000, 0x11000)。
下面是内存映射相关系统的调用。
#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t
offset);
int munmap(void *addr, size_t length);
我们来使用个简单的案例demo来看看如何通过内存映射进行进程通信。
首先创建实现mmap的代码，然后在同级目录下写一个test.txt文件，里面可以写任意数据。
/*
#include <sys/mman.h>
void *mmap(void *addr, size_t length, int prot, int flags,int fd, off_t offset);
- 功能：将一个文件或者设备的数据映射到内存中(在当前调用进程的虚拟地址空间中)
- 参数：
- void *addr: NULL, 由内核指定
- length : 要映射的数据的长度，这个值不能为0。建议使用文件的长度。
获取文件的长度：stat lseek（默认取分页的大小）
- prot : 对申请的内存映射区的操作权限
-PROT_EXEC ：可执行的权限
-PROT_READ ：读权限
-PROT_WRITE ：写权限
-PROT_NONE ：没有权限
要操作映射内存，必须要有读的权限。
PROT_READ、PROT_READ|PROT_WRITE（Read按位或Write）
- flags :
- MAP_SHARED : 映射区的数据会自动和磁盘文件进行同步，进程间通信，必须要设置这个选项
- MAP_PRIVATE ：不同步，内存映射区的数据改变了，对原来的文件不会修改，会重新创建一个新的文件。（copy on write）
- fd: 需要映射的那个文件的文件描述符
- 通过open得到，open的是一个磁盘文件
- 注意：文件的大小不能为0，open指定的权限不能和prot参数有冲突。
prot: PROT_READ open:只读/读写
prot: PROT_READ | PROT_WRITE open:读写
- offset：偏移量，一般不用。必须指定的是4k的整数倍，0表示不偏移。
- 返回值：返回创建的内存的首地址
失败返回MAP_FAILED，(void *) -1
int munmap(void *addr, size_t length);
- 功能：释放内存映射
- 参数：
- addr : 要释放的内存的首地址
- length : 要释放的内存的大小，要和mmap函数中的length参数的值一样。
*/
/*
使用内存映射实现进程间通信：
1.有关系的进程（父子进程）
- 还没有子进程的时候
- 通过唯一的父进程，先创建内存映射区
- 子进程会继承父进程的虚拟内存空间，包括所有已映射的内存区域。
如果先创建子进程，再在父进程中创建内存映射区，
那么子进程将无法访问这个映射区，因为它是在子进程创建之后才被创建的。
- 有了内存映射区以后，创建子进程
- 父子进程共享创建的内存映射区
2.没有关系的进程间通信
- 准备一个大小不是0的磁盘文件
- 进程1 通过磁盘文件创建内存映射区
- 得到一个操作这块内存的指针
- 进程2 通过磁盘文件创建内存映射区
- 得到一个操作这块内存的指针
- 使用内存映射区通信
注意：内存映射区通信，是非阻塞。
*/
#include <stdio.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <sys/types.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <wait.h>
int main() {
// 1.打开一个文件
int fd = open("test.txt", O_RDWR);
int size = lseek(fd, 0, SEEK_END); // 获取文件的大小
// 2.创建内存映射区
void *ptr = mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
//MAP_FAILED是一个宏，通常是一个空指针（NULL）或者一个特殊的无效地址。
if(ptr == MAP_FAILED) {
perror("mmap");
exit(0);
}
// 3.创建子进程
pid_t pid = fork();
if(pid > 0) {
wait(NULL);
// 父进程
char buf[64];
//strcpy的原型；char *strcpy(char *dest, const char *src);
//buf 是目标字符串的指针，类型为 char *。
//ptr 是 void * 类型，而strcpy的第二个参数需要的是 const char *类型
//所以进行了强制转换。
strcpy(buf, (char *)ptr); //strncpy 会在遇到 \0 时停止拷贝
printf("read data : %s\n", buf);
}else if(pid == 0){
// 子进程
strcpy((char *)ptr, "nihao a, son!!!");
}
// 关闭内存映射区
munmap(ptr, size);
return 0;
}
下面是一些使用内存映射的注意事项：
-
如果对mmap的返回值(ptr)做++操作(ptr++), munmap是否能够成功？
可以对ptr进行++操作，但是munmap会错误，需要提前保存++前的内存地址 -
如果open时O_RDONLY, mmap时prot参数指定 PROT_READ | PROT_WRITE 会怎样？
错误， 会返回 MAP_FAILED （即，void* -1）
open() 函数中的权限建议和prot参数的权限保持一致。 -
如果文件偏移量为1000会怎样？
偏移量必须是4k的整数倍， 返回MAP_FAILED (分页大小) -
mmap什么情况下会调用失败？
- 第二个参数： length = 0
- 第三个参数： prot权限有问题
- 只指定了写权限
- prot PROT_READ | PROT_WRITE
第五个参数fd 通过open函数时 未指定 O_RDONLY | O_WRONLY
-
可以open的时候O_CREATE一个新文件来创建映射区吗？
- 可以， 但是创建文件大小为0的话，肯定不行
- 可以对新的文件进行扩展
- lseek()
- truncate()
-
mmap后关闭文件描述符，对mmap映射有没有影响？
int fd = open(“xxx”)
mmap(, fd, 0);
close(fd);
映射区还存在， 创建映射区的fd被关闭， 没有任何影响 -
对ptr越界操作会怎样？
越界操作，操作的是非法内存，-> 段错误
接下来我们实现一个使用内存映射来完成文件拷贝的功能demo：
/*
基于内存映射实现文件的拷贝功能
思路：
1、对原始文件进行内存映射。
2、创建一个新文件（拓展该文件）
3、把新文件的数据映射到内存中。
3、通过内存拷贝将第一个文件的内存数据拷贝到新的文件内存中。
5、释放资源。
*/
#include<stdio.h>
#include<sys/mman.h>
#include<sys/types.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<unistd.h>
#include<string.h>
#include<stdlib.h>
int main(){
int fd = open("english.txt",O_RDWR);
if (fd == -1){
perror("open");
exit(0);
}
int len = lseek(fd,0,SEEK_END);
int fd1 =open("cpy.txt",O_RDWR | O_CREAT,0664);
if(fd1==-1){
perror("open");
}
truncate("cpy.txt",len);
write(fd1,"",1);
//分别做一个内存映射
void *ptr = mmap(NULL,len,PROT_READ | PROT_WRITE,MAP_SHARED,fd,0);
void *ptr1 = mmap(NULL,len,PROT_READ | PROT_WRITE,MAP_SHARED,fd1,0);
if(ptr==MAP_FAILED){
perror("ptr");
exit(0);
}
if(ptr1==MAP_FAILED){
perror("ptr1");
exit(0);
}
//执行内存拷贝
memcpy(ptr1,ptr,len);
//释放资源+关闭
munmap(ptr1,len);
munmap(ptr,len);
close(fd1);
close(fd);
return 0;
}
二、匿名映射与进程通信
匿名映射（Anonymous Mapping）是 mmap 函数的一种特殊用法，它不与任何文件关联，而是直接在进程的虚拟地址空间中分配一块内存区域。这种映射方式常用于创建匿名共享内存或分配动态内存。
匿名映射的初始内容通常被清零（即所有字节都设置为 0）匿名映射不涉及任何文件描述符（fd），因此不会从文件中加载数据。它直接在进程的虚拟地址空间中分配一块内存区域。
匿名映射可以用于动态分配内存，类似于 malloc，但更灵活。它可以直接在虚拟地址空间中分配内存，而不需要通过堆分配器。
/*
匿名映射：不需要文件实体进程一个内存映射
*/
#include <stdio.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
#include <sys/wait.h>
int main() {
// 1.创建匿名内存映射区
int len = 4096;
void * ptr = mmap(NULL, len, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
if(ptr == MAP_FAILED) {
perror("mmap");
exit(0);
}
// 父子进程间通信
pid_t pid = fork();
if(pid > 0) {
// 父进程
strcpy((char *) ptr, "hello, world");
wait(NULL);
}else if(pid == 0) {
// 子进程
sleep(1);
printf("%s\n", (char *)ptr);
}
// 释放内存映射区
int ret = munmap(ptr, len);
if(ret == -1) {
perror("munmap");
exit(0);
}
return 0;
}