Bagaimana untuk melaksanakan pemprosesan data berskala besar menggunakan rangka kerja pengkomputeran teragih di Jawa?

Bagaimana untuk menggunakan rangka kerja pengkomputeran teragih dalam Java untuk mencapai pemprosesan data berskala besar?

Pengenalan:
Dengan kemunculan era data besar, kita perlu memproses jumlah data yang semakin besar. Pengkomputeran mesin tunggal tradisional tidak lagi dapat memenuhi permintaan ini, jadi pengkomputeran teragih telah menjadi cara yang berkesan untuk menyelesaikan masalah pemprosesan data berskala besar. Sebagai bahasa pengaturcaraan yang digunakan secara meluas, Java menyediakan pelbagai rangka kerja pengkomputeran yang diedarkan, seperti Hadoop, Spark, dll. Artikel ini akan memperkenalkan cara menggunakan rangka kerja pengkomputeran teragih dalam Java untuk mencapai pemprosesan data berskala besar dan memberikan contoh kod yang sepadan.

1. Penggunaan Hadoop
Hadoop ialah rangka kerja pengkomputeran teragih sumber terbuka ialah Sistem Fail Teragih Hadoop (HDFS) dan rangka kerja pengkomputeran teragih (MapReduce). Berikut ialah contoh kod untuk pemprosesan data berskala besar menggunakan Hadoop:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.util.StringTokenizer;

public class WordCount {

    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

Kod di atas melaksanakan fungsi pengiraan perkataan yang mudah. Dengan mewarisi kelas Mapper dan Reducer serta membebankan peta dan mengurangkan kaedah, kami boleh melaksanakan logik pemprosesan data tersuai. Kelas Pekerjaan bertanggungjawab untuk mengkonfigurasi dan mengurus keseluruhan kerja, termasuk laluan input dan output, dsb.

2. Penggunaan Spark
Spark ialah satu lagi rangka kerja pengkomputeran teragih yang popular Ia menyediakan rangkaian model dan API yang lebih luas serta menyokong pelbagai senario pemprosesan data berskala besar. Berikut ialah contoh kod yang menggunakan Spark untuk pemprosesan data berskala besar:

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

import java.util.Arrays;
import java.util.Iterator;

public class WordCount {

    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setAppName("wordCount").setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);

        String inputPath = args[0];
        String outputPath = args[1];

        JavaRDD<String> lines = sc.textFile(inputPath);
        JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public Iterator<String> call(String s) throws Exception {
                return Arrays.asList(s.split(" ")).iterator();
            }
        });

        JavaRDD<Tuple2<String, Integer>> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
            @Override
            public Tuple2<String, Integer> call(String s) throws Exception {
                return new Tuple2<>(s, 1);
            }
        });

        JavaRDD<Tuple2<String, Integer>> counts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer v1, Integer v2) throws Exception {
                return v1 + v2;
            }
        });

        counts.saveAsTextFile(outputPath);

        sc.close();
    }
}

Kod di atas juga melaksanakan fungsi pengiraan perkataan. Dengan mencipta objek SparkConf dan JavaSparkContext, kami boleh mengkonfigurasi dan memulakan aplikasi Spark dan melaksanakan logik pemprosesan data dengan memanggil pelbagai kaedah API.

Kesimpulan:
Artikel ini memperkenalkan cara menggunakan rangka kerja pengkomputeran yang diedarkan Hadoop dan Spark dalam Java untuk mencapai pemprosesan data berskala besar, dan memberikan contoh kod yang sepadan. Dengan menggunakan rangka kerja pengkomputeran teragih ini, kami boleh menggunakan sepenuhnya sumber kluster dan memproses data berskala besar dengan cekap. Saya berharap artikel ini dapat membantu pembaca yang berminat dalam pemprosesan data besar.

Atas ialah kandungan terperinci Bagaimana untuk melaksanakan pemprosesan data berskala besar menggunakan rangka kerja pengkomputeran teragih di Jawa?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!