84669 person learning
152542 person learning
20005 person learning
5487 person learning
7821 person learning
359900 person learning
3350 person learning
180660 person learning
48569 person learning
18603 person learning
40936 person learning
1549 person learning
1183 person learning
32909 person learning
定时任务清理一个大表大概有4000W左右的数据量,每天定时按照 delete from tableXX where date='2015-09-08' date varchar 字段有索引,删除数据量百万级 导致整个db实例响应变慢,大概会影响2分钟左右,过程中所有表的增、删、改、查均变慢,响应时间从10ms级 变成10+s级别;有没有了解MySQL innodb引擎的大神能帮忙解释一下
业精于勤,荒于嬉;行成于思,毁于随。
你可以在执行这条语句的时候,关注一下io的负载,从你的描述来看肯定会大很多。虽然date有索引,但是只要影响的记录数量足够多,那么肯定会拖慢的整体的速度(除了io之外,还有其他的字段影响的锁)。如果你的表是存储一个月的数据,每次删一天的数据的话,也会直接影响整个表1/30的内容,其实这个量是非常大的。
对于你的情形,一种手段是把负载摊开,比如把查询变成很多个
delete from tableXX where date='2015-09-08' limit N
这样每次的删除都很快,然后在每次执行之间sleep一下,这样整体的运行时间会拉长很多,但是可以消除掉负载的峰值。
你可以在执行这条语句的时候,关注一下io的负载,从你的描述来看肯定会大很多。虽然date有索引,但是只要影响的记录数量足够多,那么肯定会拖慢的整体的速度(除了io之外,还有其他的字段影响的锁)。如果你的表是存储一个月的数据,每次删一天的数据的话,也会直接影响整个表1/30的内容,其实这个量是非常大的。
对于你的情形,一种手段是把负载摊开,比如把查询变成很多个
这样每次的删除都很快,然后在每次执行之间sleep一下,这样整体的运行时间会拉长很多,但是可以消除掉负载的峰值。