mysql - 关系型数据库用做统计分析

Question

最近朋友提了个需求，有十亿条记录，放在一个表里面，1-2G左右。字段都是浮点数。

现有情况下，能不能实现SQL count, sum ,group by 这样的分析

起初我以为，1-2G左右，都可以直接加载到内存了，用内存数据库应该是妥妥的。 所以用了一个SQLite，生成了一亿条记录，3G左右，十个字段，都是随机整数。

完了之后，试图用 select count(*) from data，直接报了 Out of Memory 错误 (机器是服务器，32G内存)。

我想问一下，现有的SQL关系数据库，到底可以实现这种 数据不大，但量很多的 统计分析吗?

目前暂不考虑hadoop 和其他分治算法。就是兴趣想研究一下，能不能用 SQL实现。

Answer 1

其实简单来说，最好是数据库做存储和简单查询。复杂条件数据库肯定不如专业软件。比如elasticsearch

Answer 2

参考numpy