php - mysql海量数据查询的问题

Question

现在有一个表，表的数据主要是有一个phone字段，这个字段会有很多重复的数据
现在我需要查出这个表的数据并根据phone这个字段去除重复数据

我现在是用group by处理 但是发现数据量大了之后有性能问题

求问下有没有什么办法可以解决

Answer 1

对于内容重复率特别高的列(如性别)加索引,并不能实现优化,反而会增加索引维护的开销.

如果phone列重复率不是那么高,可以考虑创建索引,具体用MySQL的explain来执行对该列建立索引后的查询,看看相比原来是否有更好的性能.如果发现MySQL放弃使用该列索引,那么该列应该是不适合建立索引的.

题外话:建立联合索引时,也要考虑把重复率低而又用得多的列放在前面.

Answer 2

加索引 or 建分表

Answer 3

给phone字段加上索引

Answer 4

索引，分库，分表，nosql定时写库。

Answer 5

分组统计操作放到程序中

Answer 6

为什么不先查询出来，然后在进行数组去重呢？

Answer 7

建索引，使用sphinx辅助mysql

Answer 8

海量的数据不可能是要全部显示吧，可以分批处理，交由php处理

Answer 9

1、如果不需要即时获取这个信息的话，可以异步处理，利用定时任务或mysql事件和存储过程来不停处理这个任务。
2、如果实时性要求高的话，可以使用redis或memcache再缓存一下。
3、海量数据的话要考虑分表，这样可以快速的获取需要的数据。