java - poi导入大量数据如何处理？

Question

我用的是poi框架去解析excel数据，大概有十万条。
我想先通过一行一行地读取，然后保存在一个集合里面list。
解析完成了，这个list就包含了十万个对象的信息了。
然后，再把这个list导入 数据库。

我的困惑是：十万条，一条有二十个字段，一下子保存在集合中，会不会内存不够，或者其他事故呢？如何存在，如何改变上面的思路，减少事故发生。

比如，我可不可以边解析边导入，导入后就删除list的呢？这个过程怎么实现？给个思路。

Answer 1

Vous pouvez essayer la méthode de lecture et d'écriture en même temps, qui consiste à lire une ligne à partir du POI, puis à écrire une ligne dans la base de données et à la soumettre. Lorsque les données sont lues à partir du POI, l'écriture de la base de données est également terminée. Le défaut de cette méthode est que si l'écriture des données échoue et que le programme est interrompu, vous devez redémarrer la lecture et l'écriture à partir de la ligne interrompue. Vous devrez donc peut-être enregistrer le nombre de lignes interrompues afin de pouvoir continuer la dernière progression si ça échoue.

Answer 2

La méthode de @一书生VOID peut également être améliorée pour lire des centaines ou des milliers de lignes à la fois (le nombre dépend de la quantité de mémoire dont vous disposez), puis écrire, ce qui occupera moins de mémoire et réduira le nombre d'opérations de base de données.