python - 如何在少动内存的情况下加载数据库里的数据？

Question

现在有这样一个问题：

1、数据在数据库里；
2、function Func(data),其中data需要大概100k条数据；

一般情况下，先把100k的数据读到内存中，通过函数Func调用，但耗内存；

如何在少动内存的情况下把数据库里的数据加载进Func(data)；

感觉用迭代器似乎可以？但不确定

请教？

Answer 1

分成两部分来回答这个问题吧

1. 从数据库里query，需要切分从数据库里查询的内容，可以使用id作为游标，把100k的数据切割成比如每次100条query回来，然后调用Func处理
2. func本身的逻辑应该不需要全部的100kdata都在内村里才能完成，如果是比较简单的操作，func处理每一个切割开的数据片都没有问题的话，可以把最后的结果累加起来（或者reduce出来可能更合适）

对于迭代器来说，主要是用来封装对于数据库的查询的切分而言的，也就是每次查询100条还是10000条数据，使用迭代器封装后，对于func来说都是一样的。