讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

SoundView
SoundView

字幕擦除翻译、配音口型同步

Seko
Seko

AI短剧一键生成成片

关于大数据量,数据传输和存储问题

阿瑶吖_7587

阿瑶吖_7587

发布时间:2016-06-06 20:35:30

|

1486人浏览过

|

来源于php中文网

原创

场景一

条件:

数据库有表a,里面有100w条数据。

操作

把表里面的数据全部取出来,进行处理

问题

  1. 能不能一次全部取出来?既通过select 字段1,字段2 from A来取出数据?
    (除了防止取出数据取出太多导致内存溢出,还有什么需要考虑的吗?)
  2. 这里需要确定每次需要取出来的数据的个数,需要考虑到哪些因素?

场景二

条件:

A服务有一批数据,需要调用B服务的接口来获取详细信息.B服务提供的是一个批量的接口

操作

A服务通过RPC调用B服务

Java基础版
Java基础版

编写健壮 Java 代码的基础能力,覆盖空指针防护、相等性判断与基础异常处理。

下载

问题:

  1. 这里的一批数据能不能通过B服务的批量接口,通过一次RPC全部取过来(如果不能。主要担心的是什么?)
  2. 这里需要确定每次查询数据的个数,需要考虑到哪些因素?

回复内容:

场景一

条件:

数据库有表a,里面有100w条数据。

操作

把表里面的数据全部取出来,进行处理

问题

  1. 能不能一次全部取出来?既通过select 字段1,字段2 from A来取出数据?
    (除了防止取出数据取出太多导致内存溢出,还有什么需要考虑的吗?)
  2. 这里需要确定每次需要取出来的数据的个数,需要考虑到哪些因素?

场景二

条件:

A服务有一批数据,需要调用B服务的接口来获取详细信息.B服务提供的是一个批量的接口

操作

A服务通过RPC调用B服务

问题:

  1. 这里的一批数据能不能通过B服务的批量接口,通过一次RPC全部取过来(如果不能。主要担心的是什么?)
  2. 这里需要确定每次查询数据的个数,需要考虑到哪些因素?

问题1
1. 可以先全部取出来,看看取出的数据有多大,如果只点几M的内存,一次性取出处理,应该没啥问题
2. 如果分批取,注意排序,防止分页取出相同的数据

问题2:
1.看数据量,如果并不大,就一次调用处理掉就好了
2.先去做吧,是问题总归会暴露出来的,从你简单的描述看,不知道有啥问题。

2个场景先单纯的说一下


场景一:

1.能不能一次全部取出来?既通过select 字段1,字段2 from A来取出数据? (除了防止取出数据取出太多导致内存溢出,还有什么需要考虑的吗?) 2.这里需要确定每次需要取出来的数据的个数,需要考虑到哪些因素?

第一,你括弧中写的就是最大的问题。
第二,不考虑第一里面的括弧,这第二个问题最需要考虑。

你的需求是怎样的?有没有时间的限定?全拿一起处理也许会很慢,要不要分批分线程处理?当然全拿还要考虑db查询的速度和数据的准确性,100W如果字段不多没有大字段类型(text,blob等)应该还好。


场景二:

1.这里的一批数据能不能通过B服务的批量接口,通过一次RPC全部取过来(如果不能。主要担心的是什么?)
2.这里需要确定每次查询数据的个数,需要考虑到哪些因素?

第一,这取决于B接口是怎么设计的,如果你想问的是能不能做到,答案是可以,主要担心的就是别给它太多了,它查的慢了?返回的太大了?
第二,见下


2个场景连起来说一下吧。

其实你的问题还是性能,100W的数据处理要分批,但不知道怎样做是最好的,我建议你先把这个处理的环境搭起来之后带入数据自己测一下,这方面的问题很复杂不是一两句能说清楚的。

根据测试的结果自己来调节处理的速度和程序的性能,性能里面包含了实现,实现的方式也有很多种的,比如上面我提到的多线程处理,这还要看你查询的数据是否能使用分批的去做。

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

20

2026.11.20

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

20

2026.11.20

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

0

2026.11.20

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

60

2026.11.20

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

0

2026.11.20

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

40

2026.11.20

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

40

2026.11.20

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

80

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

100

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
dev.java 官方:Learn Java
dev.java 官方:Learn Java

共0课时 | 0人学习

Java JDBC数据库连接官方教程
Java JDBC数据库连接官方教程

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn