加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
README.md 1.51 KB
一键复制 编辑 原始数据 按行查看 历史
Jtyoui 提交于 2019-03-17 18:53 . 更新 README.md

Neologism jtyoui

这是一个无监督训练文本词库与分词

训练代码(文本是UTF-8格式)

if __name__ == '__main__':
    neologism_words = analysis(file='西游记.txt', thread_num=10, flag=True)
    for k, v in neologism_words.items():
        print('key:{0} number:{1} frequency:{2} cond:{3} free:{4}'.format(k, v[0], v[1], v[2], v[3]))

接口参数

def analysis(file, thread_num=10, split_num=4, frequency=0.0001, cond=10, free=0.1, flag=False)
   """
:param file: 训练的文本
:param thread_num: 线程数
:param split_num: 匹配个数
:param frequency: 频率
:param cond: 凝聚度
:param free: 自由度
:param flag:是否是并且还是或者,默认是或者,满足一个就过滤
:return: 分析完毕的字典
"""

爬虫的新闻数据一部分截图(大概100M纯文本)

训练政治新闻后的结果

马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化