WordCount를 구현하는 세 가지 방법 소개

이 글은 WordCount를 구현하는 세 가지 방법을 소개합니다. 이는 특정 참고 가치가 있습니다. 도움이 필요한 친구들이 참고할 수 있기를 바랍니다.

1. 간소화된 쉘

cat /home/sev7e0/access.log | tr -s ' 'n' sort -r | '{print $2, $1}'
#cat 명령은 텍스트 내용을 한 번에 표시합니다
#tr -s ' ' 'n' Enter 키를 사용하여 텍스트의 공백을 바꿉니다
# sort 지정된 모든 파일을 연속적으로 정렬하고 결과를 표준 출력에 기록합니다.
#uniq -c 입력 파일이나 표준 입력에서 인접한 일치하는 줄을 필터링하여 출력 파일이나 표준 출력에 씁니다. -c는 각 줄 앞에 해당 줄의 발생 횟수를 나타내는 접두사 번호를 추가합니다#🎜 🎜##sort | uniq -c 발생 횟수 계산에도 사용됨
#sort -r 결과를 역순으로 정렬
#awk '{print $2,$1}' 결과를 텍스트로 먼저 출력 , 나중에 계산

2, 반인간 MapReduce

//mapreduce方式
public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();
//        conf.set("fs.defaultFS", "hdfs://spark01:9000");
//        conf.set("yarn.resourcemanager.hostname", "spark01");

    Path out = new Path(args[1]);
    FileSystem fs = FileSystem.get(conf);

    //判断输出路径是否存在，当路径存在时mapreduce会报错
    if (fs.exists(out)) {
        fs.delete(out, true);
        System.out.println("ouput is exit  will delete");
    }
    
    // 创建任务
    Job job = Job.getInstance(conf, "wordcountDemo");
    // 设置job的主类
    job.setJarByClass(WordCount.class); // 主类

    // 设置作业的输入路径
    FileInputFormat.setInputPaths(job, new Path(args[0]));

    //设置map的相关参数
    job.setMapperClass(WordCountMapper.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(LongWritable.class);
    
    //设置reduce相关参数
    job.setReducerClass(WordCountReduce.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(LongWritable.class);

    //设置作业的输出路径
    FileOutputFormat.setOutputPath(job, out);
    job.setNumReduceTasks(2);
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

3, 유용한 스파크

//spark版wordcount
sc.textFile("/home/sev7e0/access.log").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).foreach(println(_))

위 내용은 WordCount를 구현하는 세 가지 방법 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!