MapReduce是乾嘛的,三分鐘了解MapReduce運作原理

Tomorin
發布: 2020-07-13 16:22:50
原創
6361 人瀏覽過

Python內建了map()和reduce()函數。

如果你讀過Google的那篇大名鼎鼎的論文“MapReduce: Simplified Data Processing on Large Clusters”,你就能大概明白map/reduce的概念。

我們先看map。 map()函數接收兩個參數,一個是函數,一個是Iterable,map將傳入的函數依序作用到序列的每個元素,並將結果傳回作為新的Iterator。

舉例說明,例如我們有一個函數f(x)=x2,要把這個函數作用在一個list [1, 2, 3, 4, 5, 6, 7, 8, 9]上,就可以用map()實作如下:

MapReduce是乾嘛的,三分鐘了解MapReduce運作原理

現在,我們用Python程式碼實作:

>>> def f(x):...     return x * x
...>>> r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])>>> list(r)
[1, 4, 9, 16, 25, 36, 49, 64, 81]
登入後複製

map()傳入的第一個參數是f,即函數物件本身。由於結果r是一個IteratorIterator是惰性序列,因此透過list()函數讓它把整個序列都計算出來並回傳一個list

你可能會想,不需要map()函數,寫一個循環,也可以計算出結果:

L = []for n in [1, 2, 3, 4, 5, 6, 7, 8, 9]:
    L.append(f(n))
print(L)
登入後複製

的確可以,但是,從上面的循環程式碼,能一眼看明白「把f(x)作用在list的每一個元素並把結果生成一個新的list」嗎?

所以,map()作為高階函數,事實上它把運算規則抽象化了,因此,我們不但可以計算簡單的f(x)=x2,還可以計算任意複雜的函數,例如,把這個list所有數字轉為字串:

>>> list(map(str, [1, 2, 3, 4, 5, 6, 7, 8, 9]))
['1', '2', '3', '4', '5', '6', '7', '8', '9']
登入後複製

以上是MapReduce是乾嘛的,三分鐘了解MapReduce運作原理的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板