我有一个表,记录1024个IP的带宽、HTTP请求数及时间戳,记录间隔是秒,即每秒钟会收集这1024个IP的数据然后入到数据库里。
根据业务需求,每秒钟的数据保留1天(计算得出数据量为 8847万条),1-7天之前的数据,保留1分钟精度,超过7天的,保留5分钟精度。
算法为:
1-7天:计算1分钟里的 最大带宽值 作为这分钟的带宽,计算1分钟里 请求数的和 作为这分钟的请求数
超过7天:算法同上,时间跨度改为5分钟
我只想到两个方案:
1) 每天定时执行,计算后写入新的表,然后删除过期数据。但每天计算 8847 万条数据,担心数据库的性能问题,而且这个MySQL语句似乎挺复杂(不太懂数据库)。
2) 增加Redis作为缓存,每分钟和每五分钟执行一次,按算法算出值后,写入每分钟和每五分钟的数值到MySQL里。然后定时清理每秒的数据即可。
不知道哪个方案比较好。或者MySQL有更好的方案可以自动实现数据的整理?
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
为什么不用rrd
额。一般使用第一种。
可以这样,估计下大概数据量,先写比如5分钟到内存表,然后计算并保存需要的值,之后该写数据写数据。
就看你的io够不够。