Python은 단어가 나타나는 횟수를 계산합니다

Python은 단어가 나타나는 횟수를 계산합니다_python

不言

풀어 주다： 2018-04-04 16:18:02

원래의

5082명이 탐색했습니다.

최근에 매니저님이 파일에서 각 단어의 발생 횟수를 세어 가장 자주 발생하는 5개의 단어를 나열하라는 작업을 주셨습니다. 이 글은 파이썬에서 단어 개수 세기 아이디어에 대한 분석을 제공합니다. 필요한 친구들은 참고하면 됩니다

제목:

파일에 각 단어가 나타나는 횟수를 세고 가장 자주 사용되는 단어 5개를 나열하세요.

서문:

이 질문은 수년간 CET-4 및 CET-6 시험에 등장한 고주파 어휘 통계와 같은 실제 응용 시나리오에서 널리 사용되는 것으로 기억합니다. 암기책을 출간한 그의 프로그래밍 실력은 베스트셀러 어휘집으로, 빈도에 따라 단어를 암기하는 방식으로 학생들 사이에서 큰 인기를 끌고 있다. 이는 프로그래밍 기술을 사용하여 실제 문제를 해결하는 일반적인 시나리오입니다. 또한 데이터 분석 중에 이러한 단어 클라우드 효과는 기본적으로 단어 빈도 통계를 기반으로 글꼴 크기를 조정합니다. Python의 지식을 능숙하게 사용하여 문제를 해결할 수 있다면 Python을 실제로 시작했다는 의미입니다.

Analytics

이 질문은 주로 다음 지식 포인트를 검토합니다.

1 파일을 올바르게 읽고 쓰는 방법

파이썬에서 파일을 읽고 쓰려면 내장 함수 open을 사용할 수 있습니다. () 및 open 함수 python2와 python3 사이에는 특정 차이점이 있습니다. 예를 들어 Python은 파일을 읽고 쓰기 위한 인코딩 형식을 지정할 수 있지만 Python 2와 3 모두와 호환되기 위해 일반적으로 다음을 사용합니다. io 모듈 아래의 open 기능을 통해 문서를 확인할 수 있으며, 둘 사이의 차이점을 이해하고, 능동적인 학습 능력과 정보를 찾는 습관을 기를 수 있습니다.

또 다른 요점은 파일을 읽고 쓴 후 파일 설명자를 닫아야 한다는 것입니다. try...Exception...finally 구문을 사용하는 것 외에도 더 우아한 with...as 구문을 사용할 수도 있습니다. 파일을 자동으로 닫습니다.

2. 데이터 정렬 방법

정렬 함수는 자주 사용되는 내장 함수로, 매개변수 키를 지정하여 사용자 정의 정렬을 수행할 수 있기 때문에 사용법도 매우 강력합니다. 숫자와 문자를 정렬할 수도 있지만 목록, 사전, 사용자 정의 개체도 정렬할 수 있습니다. 예를 들어 사람 개체의 경우 연령별로 정렬할 수 있습니다. 또한, list.sort와 sorted의 차이점을 명확히 구분할 수 있다면 유연하게 사용할 수 있다는 의미입니다.

3. 사전 데이터 유형의 사용

단어 빈도 통계를 수행하려면 의심할 여지 없이 사전을 사용하는 것이 가장 적합한 데이터 유형입니다. 단어는 사전에서 키로 사용되며, 단어가 나타나는 횟수는 다음과 같습니다. 사전의 가치 각 단어의 빈도를 기록하는 것은 매우 편리합니다. 사전은 전화번호부와 비슷하며 각 이름은 전화번호와 연결되어 있습니다. 또한, 사전의 가장 큰 특징은 질의 속도가 매우 빠르다는 점이다. 이상적으로는 시간 복잡도가 O(1)입니다. 사전에 대해 더 자세히 알아보려면 https://www.laurentluce.com/posts/python-dictionary-implementation/

문서를 읽어보세요. 4. 정규식의 사용

텍스트 및 문자열 처리의 경우 정규식은 데이터 크롤링이든 데이터 정리든 널리 사용됩니다. 물론 정규식은 Python에만 국한되지 않습니다. 우리가 해야 할 일은 정규식뿐만 아니라 해당 API도 배우는 것입니다. API에 익숙해져야만 실제 시나리오에 적용할 수 있습니다. 정규식에 관한 기사를 추천합니다: http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html 또한 일부 학생들이 jieba 단어 분할 라이브러리를 도입한 것을 발견했습니다. 도서관에서 하고 있는 중국어 단어 분할은 매우 유용합니다. 관심이 있으시면 배워보세요.

구현

분석 후 실제로 매우 빠르게 구현할 수 있습니다. 따라서 요구사항을 받으면 먼저 요구사항을 명확히 하고 이를 달성하기 위해 어떤 기술을 사용할 수 있는지 생각한 다음 코드 작성을 시작해야 합니다. 실제로 직장에서는 코드 작성에 소요되는 시간이 절반도 안 됩니다.

# -*- coding:utf-8 -*-
import io
import re
class Counter:
 def __init__(self, path):
 """
 :param path: 文件路径
 """
 self.mapping = dict()
 with io.open(path, encoding="utf-8") as f:
  data = f.read()
  words = [s.lower() for s in re.findall("\w+", data)]
  for word in words:
  self.mapping[word] = self.mapping.get(word, 0) + 1
 def most_common(self, n):
 assert n > 0, "n should be large than 0"
 return sorted(self.mapping.items(), key=lambda item: item[1], reverse=True)[:n]
if __name__ == &#39;__main__&#39;:
 most_common_5 = Counter("importthis.txt").most_common(5)
 for item in most_common_5:
 print(item)

로그인 후 복사

인쇄 결과:

('is', 10)
('better', 8)
('than', 8)
('the', 6)
('to', 5)

요약

귀하의 코드를 보면 여전히 이름이 불규칙한 코드가 많고(PEP8을 읽는 것이 좋습니다) 코드 레이아웃도 혼란스럽습니다(읽기 어렵습니다. 서식 변경 시에는 Pycharm을 사용하는 것이 좋습니다). 구현 방법이 매우 복잡해 보이는 코드도 많이 있습니다(코드가 복잡할수록 일반적으로 버그가 더 많습니다). 물론 구현 방법이 유일한 것은 아닙니다.

예를 들어, Python 모듈 자체는 dict 클래스에서 상속되고 통계에 사용되는 collections.Counter 클래스를 제공합니다. 일부 학생들은 이 클래스를 사용하여 이를 구현합니다. 구현된 카운터는 컬렉션 아래의 카운터와 매우 유사합니다. 휠 만들기는 프로그래밍 사고를 연습할 수 있습니다. 물론 이미 만들어진 것이 있으면 직접 만들 필요가 없습니다. 당신이 더 많은 일을 할 수 있다는 확신이 없다면 바퀴. Python이 카운터 도구를 제공하지 않은 경우 어떻게 할지 생각해 볼 수도 있습니다.

또한 이 모듈은 순서가 지정된 사전 개체 OrderedDict도 제공하므로 수동 정렬 작업을 수행할 필요가 없습니다. 마지막으로, 위에서 언급한 내용을 모두 공부하고 요약해 보시길 권합니다. 100일만 버티시면 파이썬을 잘 이해하실 수 있으실 거라 믿습니다.