Einführung in die Java-Grundlagen für praktische Anwendungen: Praktische Analyse von Big Data

Dieses Tutorial hilft Ihnen dabei, Fähigkeiten in der Big-Data-Analyse zu erlernen, von den Java-Grundlagen bis hin zu praktischen Anwendungen. Enthält Java-Grundlagen (Variablen, Kontrollfluss, Klassen usw.), Big-Data-Tools (Hadoop-Ökosystem, Spark, Hive) und praktische Fälle: Abrufen von Flugdaten von OpenFlights. Nutzen Sie Hadoop, um Daten zu lesen und zu verarbeiten und die häufigsten Flughäfen für Flugziele zu analysieren. Verwenden Sie Spark, um einen Drilldown durchzuführen und den neuesten Flug zu Ihrem Ziel zu finden. Verwenden Sie Hive, um Daten interaktiv zu analysieren und die Anzahl der Flüge an jedem Flughafen zu zählen.

Java-Grundlagen zur praktischen Anwendung: Praktische Analyse von Big Data

Einführung

Mit dem Aufkommen des Big-Data-Zeitalters ist die Beherrschung der Fähigkeiten zur Big-Data-Analyse von entscheidender Bedeutung geworden. Dieses Tutorial führt Sie vom Einstieg in die Java-Grundlagen bis zur Verwendung von Java für die praktische Big-Data-Analyse.

Java-Grundlagen

• Variablen, Datentypen und Operatoren
• Kontrollfluss (if-else, for, while)
• Klassen, Objekte und Methoden
• Arrays und Sammlungen (Listen, Karten, Mengen)

Big-Data-Analysetools

• Hadoop-Ökosystem (Hadoop, MapReduce, HDFS)
• Spark
• Hive

Praktischer Fall: Flugdaten mit Java analysieren

Schritt 1: Daten abrufen

Flug herunterladen Daten aus dem OpenFlights-Datensatz.

Schritt 2: Daten mit Hadoop lesen und schreiben

Daten mit Hadoop und MapReduce lesen und verarbeiten.

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class FlightStats {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "Flight Stats");
        job.setJarByClass(FlightStats.class);

        job.setMapperClass(FlightStatsMapper.class);
        job.setReducerClass(FlightStatsReducer.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.waitForCompletion(true);
    }

    public static class FlightStatsMapper extends Mapper<Object, Text, Text, IntWritable> {
        @Override
        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String[] line = value.toString().split(",");
            context.write(new Text(line[1]), new IntWritable(1));
        }
    }

    public static class FlightStatsReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        @Override
        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable value : values) {
                sum += value.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }
}

Schritt 3: Verwenden Sie Spark für die weitere Analyse

Verwenden Sie Spark DataFrame und SQL-Abfragen, um die Daten zu analysieren.

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class FlightStatsSpark {

    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder().appName("Flight Stats Spark").getOrCreate();

        Dataset<Row> flights = spark.read().csv("hdfs:///path/to/flights.csv");

        flights.createOrReplaceTempView("flights");

        Dataset<Row> top10Airports = spark.sql("SELECT origin, COUNT(*) AS count FROM flights GROUP BY origin ORDER BY count DESC LIMIT 10");

        top10Airports.show(10);
    }
}

Schritt 4: Verwenden Sie die interaktive Hive-Abfrage

Verwenden Sie die interaktive Hive-Abfrage, um die Daten zu analysieren.

CREATE TABLE flights (origin STRING, dest STRING, carrier STRING, dep_date STRING, dep_time STRING, arr_date STRING, arr_time STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

LOAD DATA INPATH 'hdfs:///path/to/flights.csv' OVERWRITE INTO TABLE flights;

SELECT origin, COUNT(*) AS count FROM flights GROUP BY origin ORDER BY count DESC LIMIT 10;

Fazit

Durch dieses Tutorial beherrschen Sie die Grundlagen von Java und die Fähigkeiten, Java für die praktische Big-Data-Analyse einzusetzen. Wenn Sie Hadoop, Spark und Hive verstehen, können Sie große Datenmengen effizient analysieren und daraus wertvolle Erkenntnisse gewinnen.

Das obige ist der detaillierte Inhalt vonEinführung in die Java-Grundlagen für praktische Anwendungen: Praktische Analyse von Big Data. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!