用 python 给数据打标签，500 万条数据怎样提高效率？

Question

新手向大家求助，需要用python对一列word打标签，标签规则是包含其中某些词就标记成某个标签。word数量比较多大约有500万个词。我用下面的代码标注，效率特别低，需要一个多小时才能标注完。求问有什么优化更快的...

迷茫 · Answer

では、本当にパンダをデータ読み取りツールとして使用しているのでしょうか?

あなたが言ったタグとして列 is_tobacco を追加しました

filter_query はこれらの単語を含むリストを返し、効率が向上しました

2 番目に、それを分割し、マルチプロセスを使用して実行できます。これにより、プロセスが大幅に高速化されます。

リーリー

怪我咯 · Answer

正規表現を使用してみることができます:

リーリー

ringa_lee · Answer

KMP アルゴリズム

天蓬老师 · Answer

KMP
Manacher
TireTree

php 8、私も来ます