发表于 2024年9月3日1年前 有这样一个需求，首先是有 100 万个 md5 值(不重复，提前录入) 然后每隔 10 秒会产生 300 个新的 md5 值 现在的要求是拿这 300 个去与 100 万个对比，查询出这 300 个里面哪些是包含在那 100 万个里面的，需要极致的速度，越快完成越好。 之前同事用 redis 集合处理，据说好像是 30-40 毫秒(我不确定这个时间是否准确)，依旧说还没达到要求，还能不能再极限一点 对了，还有个要求，就是那 100 万个 md5 值，不能丢，需要持久化保存，系统重启之后依旧要在。 求大佬们指点一下思路，主要是速度要快，快，快。 先提前感谢各位大佬的思路。
有这样一个需求，首先是有 100 万个 md5 值(不重复，提前录入)
然后每隔 10 秒会产生 300 个新的 md5 值
现在的要求是拿这 300 个去与 100 万个对比，查询出这 300 个里面哪些是包含在那 100 万个里面的，需要极致的速度，越快完成越好。
之前同事用 redis 集合处理，据说好像是 30-40 毫秒(我不确定这个时间是否准确)，依旧说还没达到要求，还能不能再极限一点
对了，还有个要求，就是那 100 万个 md5 值，不能丢，需要持久化保存，系统重启之后依旧要在。
求大佬们指点一下思路，主要是速度要快，快，快。
先提前感谢各位大佬的思路。