加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
word_freq.py 1.54 KB
一键复制 编辑 原始数据 按行查看 历史
王_博 提交于 2019-03-27 15:52 . 优化程序
# filename: word_freq.py
# 阅读注释,在所有pass处删除pass,添加代码
from string import punctuation
def process_file(dst): # 读文件到缓冲区
try: # 打开文件
f = open(dst,"r")
except IOError as s:
print (s)
return None
try: # 读文件到缓冲区
bvffer = f.read()
except:
print ("Read File Error!")
return None
f.close()
return bvffer
def process_buffer(bvffer):
if bvffer:
word_freq = {}
bvffer = bvffer.lower() #将文本内容都改为小写
# 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq
for ch in '“‘!;,.?”': # 除去文本中的中英文标点符号
bvffer = bvffer.replace(ch, " ")
words = bvffer.strip().split()
# strip()删除空白符(包括'/n', '/r','/t');split()以空格分割字符串
for word in words:
word_freq[word] = word_freq.get(word, 0) + 1
return word_freq
def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print(item)
if __name__ == "__main__":
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('dst')
args = parser.parse_args()
dst = args.dst
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化