数据库有几十万条数据，求高手指点如何处理并发

Question

流程是这样，几万条是监听任务，需要从数据库一条一条的读取，拿到数据库的结果请求第三方网站，得到结果再更新数据库。最好能再5分钟内处理完几十万条

目前服务情况，MYSQL两台主主复制，3台WEB负载均衡

Answer 1

如果有20万条数据，5分钟内处理完成，那么每秒最少要处理600多条数据。你这个瓶颈在三个方面：

本地数据库读写，你这个需要数据库表不人导致死锁的，这个可以通过堆硬件性能（IO和CPU主频），数据库做好对应的索引提升查询速度，返回的结果先缓存到redis里，然后再写回去，应该是可以解决的

提交速度，每秒提交600条，这个靠单线程是肯定解决不了的，这需要多任务多线程处理。。。最好的方式是第三方网站可以批量查询

你以这么快的速度提交过去，第三方接口不一定能处理完成，可能有QPS限速的。这就不是你解决的了，需要第三方提升性能。