1亿条数据批量插入 MySQL，哪种方式最快？

Answer 1

在对MySQL查询效率进行深入研究时，发现少量数据（10万级别）的测试不足以得出准确结论，因为EXPLAIN无法提供充分的对比依据。为了解决这个问题，我决定使用随机生成的大规模数据（1亿条）来测试SQL优化效率。在数据生成过程中，不同插入方法的性能差距显著。

我采取了三种策略，包括Mybatis轻量级插入、JDBC直接处理（开启和关闭事务）以及JDBC批处理（开启和无事务）。以下是测试结果：

Mybatis轻量级插入：虽然Mybatis因其轻便性而高效，但在处理大规模数据时，由于ORM转换和未开启事务，插入52万条数据耗时约7到9分钟，对1万条数据的插入也需28.6秒。
JDBC直接处理：开启事务后，插入10万数据的时间缩短至3.9秒/万条，而无事务状态下则为21.2秒/万条。
JDBC批处理：无论是开启还是关闭事务，批处理都能大幅提高效率。无事务时，10万条数据耗时2.1秒；开启事务后，耗时1.9秒。

总结来说，在处理大规模单条数据插入时，JDBC批处理配合事务是最快的方法。实测1亿条数据的插入耗时为174756毫秒。进一步的补充测试显示，即使在处理1千万数据（100次，每次50万条）时，开启和关闭事务的差距不大。