Heim > Backend-Entwicklung > Python-Tutorial > Schreiben von MapReduce-Jobs mit Python

Schreiben von MapReduce-Jobs mit Python

高洛峰
Freigeben: 2016-10-18 10:28:52
Original
1399 Leute haben es durchsucht

mrjob ermöglicht es Ihnen, MapReduce-Jobs mit Python 2.5 zu schreiben und auf mehreren verschiedenen Plattformen auszuführen. Sie können:

Mehrstufige MapReduce-Jobs mit reinem Python schreiben

auf Ihrem lokalen Computer testen auf

Auf Hadoop-Cluster ausführen

Verwenden Sie Amazon Elastic MapReduce (EMR) zur Ausführung in der Cloud

Die Installationsmethode von pip ist sehr einfach, es ist keine Konfiguration erforderlich Führen Sie es direkt aus: pip install mrjob

Codebeispiel:

from mrjob.job import MRJob
class MRWordCounter(MRJob):
    def mapper(self, key, line):
        for word in line.split():
            yield word, 1
    def reducer(self, word, occurrences):
        yield word, sum(occurrences)
if __name__ == '__main__':
    MRWordCounter.run()
Nach dem Login kopieren


Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage