首頁 > 頭條 > 透過技術視角來看看不一樣的第七次全國人口普查! !

透過技術視角來看看不一樣的第七次全國人口普查! !

發布: 2021-05-13 11:52:37
轉載
13987 人瀏覽過

透過技術視角來看看不一樣的第七次全國人口普查! !

看過第七次人口普查公報就會發現,整個工作流程跟企業裡做資料分析的流程是相似的。這篇文章先來看看二者的共通性,再來看看身為網路從業人員應該要專注在「七人普」裡的哪些資訊。

我們對照《第七次全國人口普查公報》進行說明

對普查內容和普查方式進行創新。全面採用電子化資料蒐集方式,由普查員使用電子設備採集,即時直接上報資料;

#巧婦難為無米之炊,做資料分析先收集數據,本次普查將人口資訊數據化並上報,對應到企業就是埋點上報

埋點怎麼理解呢,「點」其實就是app或網站上某個位置,埋點就是在某個位置,使用者產生某個動作後,記錄下來使用者目前的資訊。某個動作可以是瀏覽、點擊、滑動等等。例如:電商app裡,當用戶點選下單按鈕後,就把用戶下單的時間、金額、商品id、手機網路狀態、手機作業系統等資訊記錄下來,這就是一個埋點。一個埋點可以記錄任何信息,但必不可少信息有三個,時間、地點、人物。時間是行為發生的時間,用來分析使用者時序;地點是在目前頁面具體哪個位置發生的;人物就是使用者標識,一般用手機、PC的設備資訊產生。其他資訊則根據數據分析的需要選擇性地收集。

資訊收集完,一般都是透過即時技術上報到企業的伺服器中,用於後續的分析。根據這些埋點就可以分析出用戶在什麼時間瀏覽了哪些內容,最後點擊了哪些內容,點擊的內容看了多長時間,最終購買了什麼東西,花了多少錢等等,進一步可以分析出用戶偏好什麼內容,使用者的消費能力怎麼樣,進而更進一步做個人化推薦。 

充分利用網路雲端技術、雲端服務和雲端應用完成資料處理工作

由於埋入資料量比較大,並且有長期儲存的需求。所以企業的埋點上報後,一般存放在分散式儲存媒體裡,後續資料分析工作大都用分散式運算框架處理。分散式儲存、運算服務目前大都採用雲端服務的形式。我之前工作的一家公司最開始自己買伺服器搭建分散式服務,由於運維成本實在太大,不堪其擾,最終轉移到阿里雲上,節省了很大一部分運維成本。

分散式儲存、運算框架可以用開源的,如:Hadoop、Hive、Spark等,也可以企業自研的,如:阿里雲的 MaxCompute。

依照國家網路安全三級等保標準對普查資料收集、傳輸、儲存進行安全管理,確保公民個人資訊安全

這部分說的是個人資訊保護,在企業裡,對於使用者保密的訊息,如:身分證號,會進行減敏處理,即:將身分證號進行編碼,變成兩外一個唯一的標識,這樣既不影響使用,又不會洩漏隱私資訊。

除了脫敏,還需要對資料的保密程度分級,建立對應的權限審核機制。使用什麼程度的保密數據,就要申請對應的權限,記錄在案,做到資訊外洩可追溯。

各級普查機構嚴格執行品質控制要求,認真進行品質驗收,確保普查各階段工作品質

這部分說的是資料品質監控。在企業裡,埋點品質監控也是重點內容,如果上報上來的埋點都是錯誤的、不可以用的,顯然是沒有意義的。

企業的埋點品質監控一般透過兩個面向來做,第一,對單一埋點校驗,檢查上報的埋點各個欄位的格式是否正確、監控核心欄位的空值率等。第二,對流量做監控,透過同環比,判斷上報埋點的量級是否有異常。

第七次全國人口普查全面查清了我國人口數量、結構、分佈等方面情況,掌握了人口變化的趨勢性特徵,為完善我國人口發展戰略和政策體系、制定經濟社會發展規劃、推動經濟高品質發展提供了準確統計資訊支援。

這部分就是我們熟悉的資料分析了,在企業裡就是對使用者行為進行分析,得到有價值的結論,為app或網站的迭代提供決策支持。

資料分析一般分為兩大部分,一部分是數值分析,可以是單純的數字統計,也可以用 Python 機器學習進行擬合、分類等。資料量較大的情況會用分散式計算框架Hadoop、Spark。另一部分是文字分析,這部分更多的使用機器學習、深度學習方法去挖掘數值分析看不到的東西。

另外,補充一點。人口普查裡我們看到的年齡、性別、學歷等資訊在企業裡一般稱之為使用者畫像。這些資訊是無法透過埋點收集過來,但對企業來說是非常重要的數據,往往需要結合使用者行為,使用機器學習、深度學習演算法預測得到。

到這裡,第一部分內容就結束了,我們以人口普查為例,介紹了企業資料分析的流程以及涉及的技術。下面再來簡單說下身為網路從業者我們應該關注哪些面向。

人口素質不斷提高,人才紅利新的優勢將逐步顯現。同時,大學生就業壓力加大,產業轉型升級步伐需要加快。

白領人口供給長期過剩,996內卷還會激烈,所以高新企業人才成本降低,「人才紅利優勢逐步顯現」。

打鐵還需自身硬,還得不斷提高真才實學。

人口加快集聚,既反映了城鎮化和經濟集聚的趨勢性變化,也對提高城鎮化品質、促進區域協調發展提出了新的要求。

大城市人口加速流入,農村人口加速流失。

中國的都市化進程尚未完成,對於還沒畢業的在校生來說,選擇一線、新一線城市是明智的選擇。對於已經在大城市的打工人來說,在核心地段買房是明智的選擇。

老年人口比例上升較快,老化已成為今後一段時間我國的基本國情。同時,老年人口的增加也會帶來智慧、傳承、發揮和需求拓展擴大。

做好延遲退休的準備,看來不光要考慮中年危機,還要考慮老年危機了。

沒有企業會閒的沒事,整天分析一堆沒用的數據。人口普查也是一樣,從中找到對自己有用的信息,找到未來的路該怎麼走,才是每個人最該做的事。

相關推薦:

php前世今生與未來展望

對於初學者,如何從0開始快速學習php? (送給迷惘的你)

相關標籤:
來源:weixin
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板