txtファイルのデータを読み取ってデータベースに保存する問題

txt レコード ファイル (過去 7 日間のレコード) をダウンロードしてデータベースにインポートしています。txt ファイルには約 2,000 件のレコードがあり、その 80% はすでにデータベースに存在しており、そのうちの約 20% のみです。データは新しいデータであり、ループでtxtファイルを直接読み込んでデータベースに書き込むと失敗しますが、これは効率が悪すぎると思います。

ディスカッションへの返信 (解決策)

txt 内の新しいデータはファイルの最後に固定されていますか、それとも古いデータにランダムに散在していますか?

データが過去 7 日間のものであることがわかっている場合、次のことができます
1. 開始日以降のデータをデータベースから配列に読み取ります
2. データ ファイルを配列に読み取ります
3. 2 つの配列間の差分セット
4 、差分セットをデータベースに挿入します

これを新しいテーブルにインポートします...
次に、 に SQL バッチ挿入を書き込みます 、
入っていない場所を書き込みます (インポートされた新しいテーブルの主キーを選択します)フォームの txt ファイルから) の条件で
お役に立てれば幸いです。 3 new.txt ファイルの指定された行番号から読み取りを開始します

参考のみです。