首頁 > 常見問題 > 大數據應用程式開發流程是什麼

大數據應用程式開發流程是什麼

silencement
發布: 2019-06-10 11:26:05
原創
6749 人瀏覽過

大數據應用程式開發流程是什麼

大數據專案開發步驟:

第一步:需求:資料的輸入與資料的產出;

第二步:資料量、處理效率、可靠性、可維護性、簡潔性;

第三個步驟:資料建模;

第四步:架構設計:資料怎麼進來,輸出怎麼展示,最重要的是處理流出資料的架構;

步驟五:再次思考大數據系統和企業IT系統的互動;

第六步:最終確定選擇、規範等;

第七步:基於資料建模寫基礎服務程式碼;

第八步:正式編寫第一個模組;

##第九步驟:實現其它的模組,並完成測試和調試等;

第十個步驟:測試和驗收;

##大數據流程:

從流程角度來看,整個大數據處理可分成4個主要步驟。

第一步是資料的蒐集與儲存;

第二步是透過資料分析技術對資料進行探索性研究,包含無關資料的剔除,即資料清洗,與尋找資料的模式探索資料的價值所在;

第三步為在基本資料分析的基礎上,選擇和開發資料分析演算法,對資料進行建模。從數據中提取有價值的信息,這其實是真正的阿里雲大數據的學習過程。這當中會涉及許多演算法和技術,例如機器學習演算法等;

最後一步是對模型的部署和應用,也就是把研究出來的模型應用到生產環境之中。

1) 資料收集:客製開發採集程序,或使用開源框架flume

2) 資料預處理:客製開發mapreduce程式運行於hadoop叢集

3) 數據倉庫技術:基於hadoop之上的Hive

4) 資料匯出:基於hadoop的sqoop資料導入匯出工具

#5) 資料視覺化:客製開發web程式或使用kettle等產品

以上是大數據應用程式開發流程是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板