前端请求php写入数据的接口太频繁,导致mysql中出现大量重复数据,如何处理
认证高级PHP讲师
这个问题从三个方面来回答题主:
前端的话要对请求进行限制,通过disabled提交按钮或者是设置定时器来禁止用户多重提交。
接口一定要做好limit,但是这个并不是解决这个问题的关键点,因为你不可能设置一个limit为1 time per min。为什么关注这个点是因为有时候用户并不是一个人,可能是恶意程序。
1 time per min
个人觉得这个是重点,它包括PHP端和Mysql。我不清楚你的数据是怎样的,我举例新浪微博。如果一个用户写好微博然后快速点击了两次发送,你会看到什么?两条相同微博么?不可能,出现了你来找我好了。最简单的做法,要对上次数据缓存,然后校验是否是重复提交的。Mysql结构要设计好,如果你的数据要唯一,那么你的字段和主键设计时候要设置确保唯一性。
先码这么多,解决方法有好多种,可以去搜索一下。
高并发还行吧,防止重复一般都是从数据上去处理的,前端也会做限制,因为重复数据肯定是重复请求,那么页面上防止重复点击肯定是要做的,这肯定不是什么特别有效的方式,加上唯一的约束肯定是最好的方式,无论是请求时第三方的唯一约束,还是时间或者其他你们数据能称作唯一的肯定是最好的。不过重复感觉很难避免,百度贴吧或者微信,qq有时候也会出现重复,尤其是服务器性能降低卡顿的时候。
前端的请求是冗余的吗,是的话前端要做请求防重
最佳解决思路为:将并行转换为串行。
转换的方法有很多,常见的就是队列形式。
首先你可以用UNIQUE INDEX给相应的field防止重复写入
比如 ALTER TABLE thetable ADD UNIQUE INDEX(pageid, name);
其次,要你的选择可以是:
// 选择一:覆盖之前同id的词条 INSERT INTO thetable (pageid, name, somefield) VALUES (1, "foo", "first") ON DUPLICATE KEY UPDATE (somefield = 'first') // 选择二:添加重复计数器 INSERT INTO thetable (pageid, name) VALUES (1, "foo"), (1, "foo") ON DUPLICATE KEY UPDATE (pagecount = pagecount + 1)
最后,可以在写入之前先查找,求count(*),不过这种效率比较低。
好像没有有效的方式完美解决这个问题,可以设置一个缓存判断,执行过写入一次,就不再执行下次同一写入
熟悉linux可参考sudo锁;
缓存吧 内存建key 插入关系数据库 延迟销毁 key
好奇怪你们难道都不知道mysql的共享锁吗
加锁啊,共享锁
这个问题从三个方面来回答题主:
前端
前端的话要对请求进行限制,通过disabled提交按钮或者是设置定时器来禁止用户多重提交。
接口
接口一定要做好limit,但是这个并不是解决这个问题的关键点,因为你不可能设置一个limit为
1 time per min
。为什么关注这个点是因为有时候用户并不是一个人,可能是恶意程序。后端服务
个人觉得这个是重点,它包括PHP端和Mysql。我不清楚你的数据是怎样的,我举例新浪微博。如果一个用户写好微博然后快速点击了两次发送,你会看到什么?两条相同微博么?不可能,出现了你来找我好了。最简单的做法,要对上次数据缓存,然后校验是否是重复提交的。Mysql结构要设计好,如果你的数据要唯一,那么你的字段和主键设计时候要设置确保唯一性。
先码这么多,解决方法有好多种,可以去搜索一下。
高并发还行吧,防止重复一般都是从数据上去处理的,前端也会做限制,因为重复数据肯定是重复请求,那么页面上防止重复点击肯定是要做的,这肯定不是什么特别有效的方式,加上唯一的约束肯定是最好的方式,无论是请求时第三方的唯一约束,还是时间或者其他你们数据能称作唯一的肯定是最好的。不过重复感觉很难避免,百度贴吧或者微信,qq有时候也会出现重复,尤其是服务器性能降低卡顿的时候。
前端的请求是冗余的吗,是的话前端要做请求防重
最佳解决思路为:将并行转换为串行。
转换的方法有很多,常见的就是队列形式。
首先你可以用UNIQUE INDEX给相应的field防止重复写入
其次,要你的选择可以是:
最后,可以在写入之前先查找,求count(*),不过这种效率比较低。
好像没有有效的方式完美解决这个问题,可以设置一个缓存判断,执行过写入一次,就不再执行下次同一写入
熟悉linux可参考sudo锁;
缓存吧 内存建key 插入关系数据库 延迟销毁 key
好奇怪你们难道都不知道mysql的共享锁吗
加锁啊,共享锁