python如何检测两篇文章的相似度？
网友回复
1、nshash，他的原理就是对一篇文章的最长n句话分别计算hash值，作为该文章的n个指纹，两篇文章只要有一个指纹相同就认为这两篇文章相同，从而达到文章去重的目的。
github地址：https://github.com/chenghao00/nshash
示例代码：
#!/usr/local/python3/bin/python3
# -*- coding: utf-8 -*
import sys
sys.path.append("/data/wwwroot/default/lib/python")
import nshash
nsh = nshash.NSHash(name='test', hashfunc='farmhash', hashdb='memory')
similar_id = nsh.get_similar("BFW是互联网技术培训学习开发交流一站式平台，秉承追求极致的用户开发体验，从技术入门培训及求职，到项目在线开发，再到项目管理11、代码托管、模板交易、代码部署33，bug测试33，体验从学习开发再到部署一站式服务。")
similar_id2 = nsh.get_similar("BFW是互联网技术培训学习开发交流一站式平台，秉承追求极致的用户开发体验，从技术入门培训及求职，到项目在线开发，再到项目管理、代码托管22、模板交易33、代码部署，bug测试，体验从学习开发再到部署一站式服务。")
if similar_id2==similar_id:
print("两者相似重复")
elif similar_id2!=similar_id:
print("两者不相似重复")
2、Simhashsimhash核心思想就是，对文本进行分词，并统计词频(相当于权重)，然后，进行对每个词进行hash操作，并将结果按二进制位乘以权重；然后将所有结果，按位相加，统计出文本的“指纹”。 此处以一个例子进行介绍更为形象： 假设，需要进行simhash的文本为：“我很想要打游戏，但是女朋友会生气！”；
首先，就是对文本进行分词操作，使用结巴分词的全分词模式，结果为：['我', '很', '想要', '打游戏', '游戏', '但是', '女朋友', '朋友', '会生...
点击查看剩余70%
by thinkfuture
我知道答案，我要回答
私活外包
最新提问
有没有免费让ai自动帮你接管操作电脑的mcp服务？
mcp为啥用Streamable HTTP 替代 HTTP + SSE？
scratchjr有没有开源的前端html网页版本源代码？
多模态大模型能否根据ui交互视频来来模仿写出前端交互动画效果ui代码？
如何用阿里云oss+函数计算fc+事件总线EventBridge+消息队列+数据库+redis缓存打造一个高并发弹性系统？
阿里云函数计算 FC如何在海外节点搭建一个代理网络？
ai studio中gemini build的代码如何发布到github pages等免费网页托管上 ？
如何在cursor、qoder、trae中使用Claude Skills功能？
有没有不用u盘就能重装系统的开源工具？
python如何固定摄像头实时计算停车场停车位剩余数量？
