python - sklearn을 사용하여 큰 텍스트의 tfidf 기능을 찾으시겠습니까?

Question

위 데이터는 Reuters 데이터 세트의 7303 훈련 세트에서 얻은 것이며 sklearn을 사용하여 tfidf 기능을 가져온 결과는 모두 0입니다. 무슨 일이 일어나고 있는 걸까요?

이 데이터의 일부를 사용하면 데이터의 작은 부분에 대해 올바른 tfidf 결과를 얻을 수 있습니다.

Answer 1

위 코드는 정확도가 너무 낮거나 min_count 때문일 수 있습니다

예를 들어 단어 빈도가 1이고 총 단어 수가 1e9인 경우 해당 tf는 1e-9이므로 무시됩니다.