84669 Lernen von Personen
152542 Lernen von Personen
20005 Lernen von Personen
5487 Lernen von Personen
7821 Lernen von Personen
359900 Lernen von Personen
3350 Lernen von Personen
180660 Lernen von Personen
48569 Lernen von Personen
18603 Lernen von Personen
40936 Lernen von Personen
1549 Lernen von Personen
1183 Lernen von Personen
32909 Lernen von Personen
如题,最近有需求要做文章相似度分析,需求很简单,具体就是对比两篇分别300字左右的文章的相似度情况,目前查到的方法,需要先中文分词(jieba),然后对比相似度,时间紧任务重,不知道有没有做过类似功能的大神可以指点一二的
认证0级讲师
第一步你已经给出了,首先对文章进行中文分词,然后计算每个词在两篇文章中的tf-idf值。然后计算两个文章的余弦相似度,可以用Python中的gensim实现。
有疑问请继续提问。
补一下一楼的答案在食用余弦相似性或TF-IDF,应该首先去掉停止词。
停止词,是由英文单词:stopword翻译过来的,原来在英语里面会遇到很多a,the,or等使用频率很多的字或词,常为冠词、介词、副词或连词等。因为副词,连词这类词语并不会十分影响我们对语义的判断。
但是单纯的余弦相似性和TF-IDF某种情况下并不能十分的可靠。推一波自己的链接2333这里
建议使用textrank和以上算法进行结合
第一步你已经给出了,首先对文章进行中文分词,然后计算每个词在两篇文章中的tf-idf值。然后计算两个文章的余弦相似度,可以用Python中的gensim实现。
有疑问请继续提问。
补一下一楼的答案
在食用余弦相似性或TF-IDF,应该首先去掉停止词。
但是单纯的余弦相似性和TF-IDF某种情况下并不能十分的可靠。
推一波自己的链接2333这里
建议使用textrank和以上算法进行结合