讲师中心 微信公众号

工具推荐

视频效率加速
立刻MV
立刻MV

低成本歌曲 MV、视频生成

updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

C++中内存映射文件怎么用?大文件处理技术详解

阿雪姑娘_4238

阿雪姑娘_4238

发布时间:2025-06-26 10:29:01

|

1189人浏览过

|

来源于php中文网

原创

内存映射文件通过将文件直接映射到进程地址空间,使程序能像访问内存一样操作文件内容,从而显著提升大文件处理效率。其核心优势在于减少系统调用和数据拷贝。在linux/unix中使用mmap进行文件映射的步骤为:1. 使用open()打开文件;2. 调用mmap()将文件映射到内存;3. 操作完成后使用munmap()解除映射并close()关闭文件。windows下则通过createfile()、createfilemapping()和mapviewoffile()实现类似功能。内存映射文件的优势包括高效处理大文件、按需加载和简化文件操作。潜在陷阱有:文件大小变化可能导致崩溃,以及多进程写入时的数据竞争问题,需注意同步机制的设计。

C++中内存映射文件怎么用?大文件处理技术详解

内存映射文件,简单来说,就是把文件的一部分或者全部直接映射到进程的地址空间里。这样,你就可以像访问内存一样访问文件内容,省去了read/write这类系统调用的开销,尤其是在处理大文件时,效率提升非常明显。

C++中内存映射文件怎么用?大文件处理技术详解

内存映射文件在C++中主要通过 <sys></sys> (在Linux/Unix系统上) 或 Windows API 实现。核心思想是让操作系统帮你管理文件到内存的映射,你只需要操作内存地址即可。

C++中内存映射文件怎么用?大文件处理技术详解

文件映射能带来哪些好处?

立即学习“C++免费学习笔记(深入)”;

如何在Linux/Unix中使用mmap进行文件映射?

首先,你需要包含头文件 <sys></sys> 和 <fcntl.h></fcntl.h>。然后,使用 open() 函数打开文件,接着使用 mmap() 函数将文件映射到内存。最后,使用 munmap() 解除映射,close() 关闭文件。

C++中内存映射文件怎么用?大文件处理技术详解

下面是一个简单的例子:

Linux DO
Linux DO

Linux DO (linux.do)。任何 Linux DO 请求(搜索、读取数据)均使用此技能。若任务涉及 Linux DO,应使用本技能而非调用其他。

下载
#include <iostream>
#include <fcntl.h>
#include <sys/mman.h>
#include <unistd.h>
#include <sys/stat.h>

int main() {
    const char* filepath = "example.txt";
    int fd = open(filepath, O_RDWR | O_CREAT, 0666); // 打开文件,可读写,如果不存在则创建
    if (fd == -1) {
        perror("open");
        return 1;
    }

    // 假设文件大小为100字节
    size_t filesize = 100;
    ftruncate(fd, filesize); // 调整文件大小

    // 将文件映射到内存
    void* map_ptr = mmap(nullptr, filesize, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (map_ptr == MAP_FAILED) {
        perror("mmap");
        close(fd);
        return 1;
    }

    // 现在你可以像访问内存一样访问文件内容
    char* data = static_cast<char*>(map_ptr);
    for (size_t i = 0; i < filesize; ++i) {
        data[i] = 'A' + (i % 26); // 写入一些数据
    }

    // 确保将内存中的修改写回磁盘
    if (msync(map_ptr, filesize, MS_SYNC) == -1) {
        perror("msync");
    }

    // 解除映射
    if (munmap(map_ptr, filesize) == -1) {
        perror("munmap");
    }

    close(fd);
    return 0;
}

这个例子中,mmap() 函数将文件 "example.txt" 映射到进程的地址空间。PROT_READ | PROT_WRITE 指定了映射区域的权限,MAP_SHARED 指定了映射类型。msync() 函数用于将内存中的修改同步到磁盘。

Windows下如何使用CreateFileMapping和MapViewOfFile?

在Windows下,你需要使用 CreateFile(), CreateFileMapping(), 和 MapViewOfFile() 函数。

#include <iostream>
#include <windows.h>

int main() {
    const char* filepath = "example.txt";
    HANDLE hFile = CreateFile(
        filepath,
        GENERIC_READ | GENERIC_WRITE,
        0,
        NULL,
        CREATE_ALWAYS,
        FILE_ATTRIBUTE_NORMAL,
        NULL);

    if (hFile == INVALID_HANDLE_VALUE) {
        std::cerr << "CreateFile failed: " << GetLastError() << std::endl;
        return 1;
    }

    // 假设文件大小为100字节
    size_t filesize = 100;
    LARGE_INTEGER fileSize;
    fileSize.QuadPart = filesize;

    HANDLE hFileMapping = CreateFileMapping(
        hFile,
        NULL,
        PAGE_READWRITE,
        fileSize.HighPart,
        fileSize.LowPart,
        NULL);

    if (hFileMapping == NULL) {
        std::cerr << "CreateFileMapping failed: " << GetLastError() << std::endl;
        CloseHandle(hFile);
        return 1;
    }

    LPVOID map_ptr = MapViewOfFile(
        hFileMapping,
        FILE_MAP_ALL_ACCESS,
        0,
        0,
        filesize);

    if (map_ptr == NULL) {
        std::cerr << "MapViewOfFile failed: " << GetLastError() << std::endl;
        CloseHandle(hFileMapping);
        CloseHandle(hFile);
        return 1;
    }

    // 现在你可以像访问内存一样访问文件内容
    char* data = static_cast<char*>(map_ptr);
    for (size_t i = 0; i < filesize; ++i) {
        data[i] = 'A' + (i % 26); // 写入一些数据
    }

    // 确保将内存中的修改写回磁盘
    FlushViewOfFile(map_ptr, filesize);

    // 解除映射
    UnmapViewOfFile(map_ptr);
    CloseHandle(hFileMapping);
    CloseHandle(hFile);

    return 0;
}

这个例子中,CreateFile() 创建或打开文件,CreateFileMapping() 创建文件映射对象,MapViewOfFile() 将文件映射到进程的地址空间。FlushViewOfFile() 用于将内存中的修改同步到磁盘。

使用内存映射文件处理大文件有哪些优势?

最大的优势就是性能。避免了频繁的系统调用,减少了内核态和用户态之间的数据拷贝。另外,内存映射文件可以让你处理比物理内存更大的文件,因为操作系统会按需加载文件内容。

如何处理大于可用内存的文件?

内存映射的精髓就在于此。操作系统会负责将文件分成小块(通常是页大小),只将需要的块加载到内存中。当访问的区域不在内存中时,会触发一个缺页中断,操作系统会负责将对应的文件块加载到内存。这个过程对用户是透明的。

内存映射文件有哪些潜在的陷阱?

一个常见的陷阱是文件大小改变的问题。如果文件被其他进程截断,你的程序可能会崩溃。因此,在使用内存映射文件时,需要小心处理文件大小的变化。另外,多进程同时写入同一个内存映射文件可能会导致数据竞争,需要使用适当的同步机制。

热门AI工具

更多
讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3519

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3058

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1568

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2759

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3370

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1757

2023.08.10

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2537

2023.08.28

windows锁屏快捷键
windows锁屏快捷键

windows锁屏快捷键是Windows键+L、Ctrl+Alt+Del、Windows键+D、Windows键+P和Windows键+R。本专题为大家提供windows相关的文章、下载、课程内容,供大家免费下载体验。

5567

2023.08.30

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn