Python을 사용하여 텍스트 데이터를 조작하는 방법은 무엇입니까?

파이썬을 사용하여 텍스트 데이터 처리

실험 목적

파이썬의 기본 데이터 구조와 파일의 입출력을 익힙니다.

실험 데이터

XXXX의 xx 머신러닝 컨퍼런스에서 나온 평가 데이터와 평가 작업을 사용하세요. 데이터에는 훈련 세트와 테스트 세트가 포함되어 있습니다. 평가 작업은 테스트 세트의 관계가 긍정적인지 예측하는 것입니다. 주어진 훈련 데이터를 통해 부정적인 예를 들어, 각 샘플의 끝에 1 또는 0을 제공합니다.

데이터는 다음과 같이 설명됩니다. 첫 번째 열은 관계 유형, 두 번째와 세 번째 열은 사람 이름, 네 번째 열은 제목, 다섯 번째 열은 관계가 긍정적인지 부정적인지 여부입니다. 1은 긍정적인 예이고 0은 부정적인 예입니다. 여섯 번째 열은 훈련 세트를 나타냅니다. ㅋㅋㅋ 훈련 세트에서 유일한 차이점은 다섯 번째 열의 긍정적인 예인지 부정적인 예인지는 중요하지 않습니다.

관계	캐릭터 1	캐릭터 2	이벤트		실험 콘텐츠 처음 5개 열만 남기고 훈련 세트 데이터를 처리하면 출력 텍스트의 이름이 exp1_1.txt로 지정됩니다. 첫 번째 단계에서 얻은 데이터를 기반으로 19가지 관계 카테고리가 생성됩니다. 생성된 텍스트는 관계 카테고리가 나타나는 순서에 따라 1에 저장됩니다. txt. 두 번째 관계 카테고리는 19.txt까지 2.txt에 저장됩니다. 테스트 세트는 트레이닝 세트의 19개 카테고리 순서대로 각 샘플을 관계 카테고리에 따라 분류합니다. 즉, 동일한 관계 유형의 데이터를 텍스트 파일에 담고, 19개 카테고리의 테스트 파일도 형식은 테스트 파일과 동일하게 유지됩니다. exp1_test 폴더에 저장된 각 카테고리의 파일 이름은 여전히 ​​1_test.txt, 2_test.txt...입니다. 동시에 원본 테스트 세트의 각 샘플 위치가 기록되며 19개의 테스트 파일에 해당합니다. 하나씩. 예를 들어 첫 번째 유형의 "소문 불화"의 각 샘플이 원본 텍스트에서 어떤 줄에 있는지 색인 파일에 기록되어 index1.txt, index2.txt... 문제 해결 아이디어 파일에 저장됩니다. 1. 첫 번째 질문은 파일 작업 및 목록에 대한 지식을 테스트하는 것입니다. 가장 어려운 점은 요구 사항에 따라 처리한 후 txt 파일이 생성되는 것입니다. 구현: import os # 创建一个列表用来存储新的内容 list = [] with open("task1.trainSentence.new", "r",encoding='xxx') as file_input: # 打开.new文件,xxx根据自己的编码格式填写 with open("exp1_1.txt", "w", encoding='xxx') as file_output: # 打开exp1_1.txt,xxx根据自己的编码格式填写文件如果没有就创建一个 for Line in file_input: # 遍历每一行的文件 arr = Line.split('\t') # 以\t为分隔符读取 if arr[0] not in list: # if the word is not in the list list.append(arr[0]) # add the word to the list file_output.write(arr[0]+"\t"+arr[1]+"\t"+arr[2]+"\t"+arr[3]+"\t"+arr[4]+"\n") # write the line to the file file_input.close() #关闭.new文件 file_output.close() #关闭创建的txt文件 2. 두 번째 질문은 여전히 ​​파일 작업을 검사합니다. 질문 1에서 생성된 파일을 기반으로 이벤트를 동일한 유형으로 분류할 수 있는지 여부는 루프 조건을 사용하여 해결해야 합니다. 구체적인 코드를 살펴보겠습니다. import os file_1 = open("exp1_1.txt", encoding='xxx') # 打开文件,xxx根据自己的编码格式填写 os.mkdir("exp1_train") # 创建目录 os.chdir("exp1_train") # 修改进程的工作目录（使用该目录） a = file.readline() # 按行读取exp1_1.txt文件 arr = a.split("\t") # 按\t间隔符作为分割 b = 1 #设置分组文件的序列 file_2 = open("{}.txt".format(b), "w", encoding="xxx") # 打开文件,xxx根据自己的编码格式填写 for line in file_1: # 按行读取文件 arr_1 = line.split("\t") # 按\t间隔符作为分割 if arr[0] != arr_1[0]: # 如果读取文件的第一列内容与存入新文件的第一列类型不同 file_2.close() # 关掉该文件 b += 1 # 文件序列加一 f_2 = open("{}.txt".format(b), "w", encoding="xxx") # 创建新文件，以另一种类型分类,xxx根据自己的编码格式填写 arr = line.split("\t") # 按\t间隔符作为分割 f_2.write(arr[0]+"\t"+arr[1]+"\t"+arr[2]+"\t"+arr[3]+"t"+arr[4]+"\t""\n") # 将相同类型的文件写入 f_1.close() # 关闭题目一创建的exp1_1.txt文件 f_2.close() # 关闭创建的最后一个类型的文件 3. 문자 간의 관계에 따라 훈련 세트의 19개 카테고리를 추가로 분류하고, 사전을 통해 데이터를 탐색하고, 동일한 관계의 콘텐츠를 폴더에 넣고, 다른 경우 새 콘텐츠를 만듭니다. import os with open("exp1_1.txt", encoding='xxx') as file_in1: # 打开文件,xxx根据自己的编码格式填写 i = 1 # 类型序列 arr2 = {} # 创建字典 for line in file_in1: # 按行遍历 arr3 = line[0:2] # 读取关系 if arr3 not in arr2.keys(): arr2[arr3] = i i += 1 # 类型+1 file_in = open("task1.test.new") # 打开文件task1.test.new os.mkdir("exp1_test") # 创建目录 os.chdir("exp1_test") # 修改进程的工作目录（使用该目录） for line in file_in: arr = line[0:2] with open("{}_test.txt".format(arr2[arr]), "a", encoding='xxx') as file_out: arr = line.split('\t') file_out.write(line) i = 1 file_in.seek(0) os.mkdir("exp1_index") os.chdir("exp1_index") for line in file_in: arr = line[0:2] with open("index{}.txt".format(arr2[arr]), "a", encoding='xxx') as file_out: arr = line.split('\t') line = line[0:-1] file_out.write(line + '\t' + "{}".format(i) + "\n") i += 1 파이썬을 사용하여 수치 데이터 처리 실험 목적 파이썬의 기본 데이터 구조와 파일의 입출력을 숙지하세요. 실험 데이터 xxxx의 xx Tianchi 대회는 중국 대학의 x번째 빅데이터 챌린지의 데이터이기도 합니다. 데이터에는 두 개의 테이블, 즉 사용자 행동 테이블 mars_tianchi_user_actions.csv와 노래 아티스트 테이블 mars_tianchi_songs.csv가 포함됩니다. 본 대회에서는 샘플링된 가수 데이터와 해당 아티스트와 관련된 6개월 이내(20150301~20150831)의 사용자 행동 이력 기록을 공개합니다. 참가자는 향후 2개월, 즉 60일(20150901~20151030) 동안 아티스트의 재생 데이터를 예측해야 합니다. 실험 콘텐츠 노래 아티스트 데이터 mars_tianchi_songs를 처리하고 아티스트 수와 각 아티스트의 노래 수를 계산합니다. 출력 파일 형식은 exp2_1.csv입니다. 첫 번째 열은 아티스트 ID이고 두 번째 열은 아티스트의 노래 수입니다. 마지막 줄은 아티스트 수를 출력합니다. 노래 song_id를 연관으로 사용하여 사용자 행동 테이블과 노래 아티스트 테이블을 하나의 큰 테이블로 병합합니다. 각 열의 이름은 1~5번째 열로 사용자 행동표의 열 이름과 일치하며, 6~10번째 열은 가수 테이블의 2~6번째 열의 열 이름이다. 출력 파일 이름은 exp2_2.csv입니다. 아티스트 통계에 따르면, 각 아티스트의 일일 전곡 재생음량, 출력파일은 exp2_3.csv이고, 각 열의 이름은 아티스트 ID, 날짜 Ds, 총 곡 재생음량입니다. 참고: 여기에는 노래 재생 횟수만 계산되며 다운로드 및 컬렉션 횟수는 계산되지 않습니다. 문제 해결 아이디어: (pandas 라이브러리 사용) 1. (1) .drop_duplicates()를 사용하여 중복 값 삭제 ​​ (2) .loc[:,‘artist_id’] 사용 .value_counts() 가수가 반복한 횟수, 즉 각 가수의 노래 수를 알아보세요 (3) .loc[:,‘songs_id’].value_counts()를 사용하여 노래가 몇 곡인지 알아보세요. 반복되지 않습니다 import pandas as pd data = pd.read_csv(r"C:\mars_tianchi_songs.csv") # 读取数据 Newdata = data.drop_duplicates(subset=['artist_id']) # 删除重复值 artist_sum = Newdata['artist_id'].count() #artistChongFu_count = data.duplicated(subset=['artist_id']).count() artistChongFu_count = data.loc[:,'artist_id'].value_counts() 重复次数，即每个歌手的歌曲数目 songChongFu_count = data.loc[:,'songs_id'].value_counts() # 没有重复（歌手） artistChongFu_count.loc['artist_sum'] = artist_sum # 没有重复（歌曲）artistChongFu_count.to_csv('exp2_1.csv') # 输出文件格式为exp2_1.csv 두 테이블을 병합하려면 merge()를 사용하세요 import pandas as pd import os data = pd.read_csv(r"C:\mars_tianchi_songs.csv") data_two = pd.read_csv(r"C:\mars_tianchi_user_actions.csv") num=pd.merge(data_two, data) num.to_csv('exp2_2.csv') 반복 추가에는 groupby()[].sum()을 사용하세요 import pandas as pd data =pd.read_csv('exp2_2.csv') DataCHongfu = data.groupby(['artist_id','Ds'])['gmt_create'].sum()#重复项相加DataCHongfu.to_csv('exp2_3.csv')

위 내용은 Python을 사용하여 텍스트 데이터를 조작하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!