您现在的位置是:首页 > 正文

零拷贝技术(DMA、MMAP、sendfile)

2024-04-01 07:33:08阅读 1

零拷贝mmap、sendfile

定义

零拷贝技术主要是解决传统网络I/O操作中发送文件的性能问题:如下图表示一次read和write时传统I/O涉及到的CPU操作:

在这里插入图片描述

  • 涉及到4次用户态↔内核态上下文切换,其中read切换两次、write切换两次;
  • 涉及到4次数据拷贝。其中DMA拷贝两次、CPU拷贝两次;

上述操作多次的上下文切换与拷贝会影响性能。

可以使用零拷贝技术mmap+writesendfilesplice来优化。

DMA

DMA(Direct Memory Access),即直接存储器存取,是一种快速传送数据的机制。利用它进行数据传送时不需要CPU的参与

使用DMA拷贝数据会获取一部分系统数据总线资源,用来传输数据,而不需要CPU参数。IO读取也不会引发中断。CPU读取IO操作,系统调用时是会引发中断的。

mmap

mmap(memory map)采用虚拟内存,地址映射来减少一次拷贝。可以减少将数据从内核态拷贝到用户态的性能消耗。

在这里插入图片描述

如上图所示,从数据并没有从内核态拷贝到用户态,而是直接通过内存映射的方式得到待传文件的虚拟内存地址,在发送的时候,可以通过共享的虚拟内存地址将待发送文件信息拷贝到socket缓存区,发送出去。

#include <sys/mman.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <unistd.h>
#include <fcntl.h>
#include <cstring>

int main() {
    // 打开文件并将其映射到内存中
    int fd = open("file.txt", O_RDONLY);
    size_t size = lseek(fd, 0, SEEK_END);
    char* data = (char*) mmap(nullptr, size, PROT_READ, MAP_PRIVATE, fd, 0);

    // 创建套接字并连接到目标地址
    int sock = socket(AF_INET, SOCK_STREAM, 0);
    sockaddr_in addr;
    addr.sin_family = AF_INET;
    addr.sin_addr.s_addr = inet_addr("127.0.0.1");
    addr.sin_port = htons(1234);
    connect(sock, (sockaddr*) &addr, sizeof(addr));

    // 将内存中的数据直接写入套接字
    write(sock, data, size);//

    // 关闭套接字和文件,并解除内存映射
    close(sock);
    munmap(data, size);
    close(fd);

    return 0;
}

mmap这里只是减少了copy,但还是需要4次上下文切换。那是否有什么方式可以减少上下文切换,这时sendfile就出来了。

sendfile

sendfile可以减少文件发送时的上下文切换。

从 Linux 2.1 版本开始,Linux 引入了 sendfile来简化操作。sendfile方式可以替换上面的mmap/write方式来进一步优化。

sendfile将以下操作:

  mmap();
  write();

替换为:

 sendfile();

这样就减少了上下文切换,因为少了一个应用程序发起write操作,直接发起sendfile操作。

在这里插入图片描述

直接通过DMA将磁盘数据复制到缓存区,在内核态将缓冲区的数据拷贝到socket缓存区,不需要用户态参与。

#include <sys/socket.h>
#include <fcntl.h>
#include <cstring>

int main() {
    // 打开文件并获取文件描述符
    int fd = open("file.txt", O_RDONLY);

    // 创建套接字并连接到目标地址
    int sock = socket(AF_INET, SOCK_STREAM, 0);
    sockaddr_in addr;
    addr.sin_family = AF_INET;
    addr.sin_addr.s_addr = inet_addr("127.0.0.1");
    addr.sin_port = htons(1234);
    connect(sock, (sockaddr*) &addr, sizeof(addr));

    // 使用sendfile函数将文件信息发送到套接字
    off_t offset = 0;
    struct stat stat_buf;
    fstat(fd, &stat_buf);
    sendfile(sock, fd, &offset, stat_buf.st_size);//直接使用sendfile发送文件,避免上下文切换

    // 关闭套接字和文件
    close(sock);
    close(fd);

    return 0;
}

可以看到sendfile经历了3次的copy动作,而且没有频繁的用户态↔内核态的状态切换。

那sendfile是不是就是完美的,还可不可以把cpu copy也节省呢?

带有 scatter/gather 的 sendfile方式

Linux 2.4 内核进行了优化,提供了带有 scatter/gather 的 sendfile 操作,这个操作可以把最后一次 CPU COPY 去除。其原理就是在内核空间 Read BUffer 和 Socket Buffer 不做数据复制,而是将 Read Buffer 的内存地址、偏移量记录到相应的 Socket Buffer 中,这样就不需要复制。其本质和虚拟内存的解决方法思路一致,就是内存地址的记录。

下图展示了scatter/gather 的 sendfile 的原理:

在这里插入图片描述

splice

sendfile不同的是,splice允许任意两个文件互相连接,而并不只是文件与socket进行数据传输。

对于从一个文件描述符发送数据到socket这种特例来说,一直都是使用sendfile系统调用;

splice一直以来就只是一种机制,它并不仅限于sendfile的功能。也就是说 sendfile 是 splice 的一个子集。

和 sendfile 不同的是,splice 不需要硬件支持。

详细内容参考:
https://juejin.cn/post/6995519558475841550
https://juejin.cn/post/7126195733471952910

网站文章