首頁 常見問題 資料探勘是什麼?

資料探勘是什麼?

Jul 16, 2020 am 11:54 AM
資料探勘

資料探勘是指從大量的資料中透過演算法搜尋隱藏於其中資訊的過程。資料探勘通常與電腦科學有關,並透過統計、線上分析處理、情報檢索、機器學習、專家系統(依靠過去的經驗法則)和模式識別等諸多方法來實現在大量資料中搜尋隱藏資訊的目標。

資料探勘是什麼?

資料探勘是人工智慧和資料庫領域研究的熱門議題,所謂資料探勘是指從資料庫的大量資料中揭示隱含的、先前未知的並有潛在價值的資訊的非平凡過程。

資料探勘是一種決策支援過程,它主要基於人工智慧、機器學習、模式識別、統計、資料庫、視覺化技術等,高度自動化地分析企業的數據,做出歸納性的推理,從中挖掘出潛在的模式,幫助決策者調整市場策略,減少風險,做出正確的決策。

知識發現過程由以下三個階段組成:①資料準備;②資料探勘;③結果表達和解釋。資料探勘可以與使用者或知識庫互動。

資料探勘物件

資料的型別可以是結構化的、半結構化的,甚至是異質型的。發現知識的方法可以是數學的、非數學的,也可以是歸納的。最後被發現了的知識可以用於資訊管理、查詢最佳化、決策支援及資料本身的維護等。 [4] 

資料探勘的物件可以是任何類型的資料來源。可以是關聯式資料庫,此類包含結構化資料的資料來源;也可以是資料倉儲、文字、多媒體資料、空間資料、時序資料、Web數據,這類包含半結構化資料甚至異質資料的資料來源。 [4] 

發現知識的方法可以是數字的、非數字的,也可以是歸納的。最終被發現的知識可以用於資訊管理、查詢最佳化、決策支援及資料本身的維護等。

資料探勘步驟

在實作資料探勘之前,先制定採取什麼樣的步驟,每一步都做什麼,達到什麼樣的目標是必要的,有了好的計劃才能保證資料探勘有條不紊地實施並取得成功。許多軟體供應商和資料探勘顧問公司投提供了一些資料探勘過程模型,來引導他們的使用者一步步地進行資料探勘工作。例如,SPSS公司的5A和SAS公司的SEMMA。 

資料探勘流程模型步驟主要包括定義問題、建立資料探勘庫、分析資料、準備資料、建立模型、評估模型和實作。下面讓我們來具體看一下每個步驟的具體內容:

(1)定義問題。在開始知識發現之前最先的也是最重要的要求就是了解資料和業務問題。必須要對目標有一個清晰明確的定義,即決定到底想做什麼。例如,想提高電子信箱的利用率時,想做的可能是“提高用戶使用率”,也可能是“提高一次用戶使用的價值”,要解決這兩個問題而建立的模型幾乎是完全不同的,必須做出決定。

(2)建立資料探勘庫。建立資料探勘庫包括以下幾個步驟:資料收集,資料描述,選擇,資料品質評估和資料清理,合併與整合,建立元數據,載入資料探勘庫,維護資料探勘庫。

(3)分析資料。分析的目的是找到對預測輸出影響最大的資料字段,和決定是否需要定義導出字段。如果資料集包含成百上千的字段,那麼瀏覽分析這些資料將是一件非常耗時和累人的事情,這時需要選擇一個具有好的介面和功能強大的工具軟體來協助你完成這些事情。 

(4)準備資料。這是建立模型之前的最後一步資料準備。可以把此步驟分為四個部分:選擇變量,選擇記錄,建立新變量,轉換變數。 

(5)建立模型。建立模型是一個反覆的過程。需要仔細檢視不同的模型以判斷哪個模型對面對的商業問題最有用。先用一部分資料建立模型,然後再用剩下的資料來測試驗證這個得到的模型。有時還有第三個資料集,稱為驗證集,因為測試集可能受模型的特性的影響,這時需要一個獨立的資料集來驗證模型的準確性。訓練和測試資料探勘模型需要把資料至少分成兩個部分,一個用於模型訓練,另一個用於模型測試。 

(6)評價模型。模型建立好之後,必須評估得到的結果、解釋模型的價值。從測試集中得到的準確率只對用於建立模型的資料有意義。在實際應用中,需要進一步了解錯誤的類型和由此帶來的相關費用的多寡。經驗證明,有效的模型不一定是正確的模型。造成這一點的直接原因是模型建立中隱含的各種假定,因此,直接在現實世界中測試模型很重要。先在小範圍內應用,取得測試數據,覺得滿意之後再向大規模推廣。 

(7)實作。模型建立並經過驗證之後,可以有兩種主要的使用方法。第一種是提供給分析人員做參考;另一種是把此模型應用到不同的資料集。 

更多相關知識,請造訪:PHP中文網

以上是資料探勘是什麼?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

如何使用 Go 語言進行資料探勘? 如何使用 Go 語言進行資料探勘? Jun 10, 2023 am 08:39 AM

隨著大數據和資料探勘的興起,越來越多的程式語言開始支援資料探勘的功能。 Go語言作為一種快速、安全、高效的程式語言,也可以用於資料探勘。那麼,如何使用Go語言進行資料探勘呢?以下是一些重要的步驟和技術。數據獲取首先,你需要取得數據。這可以透過各種途徑實現,例如爬取網頁上的資訊、使用API​​取得資料、從資料庫讀取資料等等。 Go語言自備了豐富的HTTP

MySql的資料分析:如何處理資料探勘與統計 MySql的資料分析:如何處理資料探勘與統計 Jun 16, 2023 am 11:43 AM

MySql是一款受歡迎的關聯式資料庫管理系統,廣泛應用於企業和個人的資料儲存和管理。除了儲存和查詢資料外,MySql還提供了一些功能,例如資料分析、資料探勘和統計,可以幫助使用者更好地理解和利用資料。數據在任何企業或組織中都是寶貴的資產,透過數據分析可以幫助企業做出正確的業務決策。 MySql可以透過多種方式進行資料分析和資料挖掘,以下是一些實用的技術和工具:使用

資料探勘和資料分析的差別是什麼? 資料探勘和資料分析的差別是什麼? Dec 07, 2020 pm 03:16 PM

區別:1、「資料分析」得出的結論是人的智力活動結果,而「資料探勘」的結論是機器從學習集【或訓練集、樣本集】發現的知識規則;2、「數據分析」不能建立數學模型,需要人工建模,而「資料探勘」直接完成了數學建模。

Redis在人工智慧與資料探勘中的應用實踐 Redis在人工智慧與資料探勘中的應用實踐 Jun 20, 2023 pm 07:10 PM

隨著人工智慧和大數據技術的興起,越來越多的公司和業務開始關注如何對資料進行高效的儲存和處理。 Redis作為一種高效能的分散式記憶體資料庫,越來越受到人工智慧和資料探勘領域的關注。本文將從Redis的特性及其在人工智慧和資料探勘應用中的實踐做一個簡單介紹。 Redis是一種開源、高效能、可擴充的NoSQL資料庫。它支援多種資料結構、提供用於快取、訊息佇列和計數器等

Python中的時間序列預測技巧 Python中的時間序列預測技巧 Jun 10, 2023 am 08:10 AM

隨著數據時代的到來,越來越多的數據被收集並用於分析和預測。時間序列資料是一種常見的資料類型,它包含了基於時間的一連串資料。用於預測這類資料的方法稱為時間序列預測技術。 Python是一種十分流行的程式語言,具有強大的資料科學和機器學習支持,因此它也是一種非常適合進行時間序列預測的工具。本文將介紹Python中一些常用的時間序列預測技巧,並提供一些在實際專案中

火山引擎工具技術分享:用 AI 完成資料探勘,零門檻完成 SQL 撰寫 火山引擎工具技術分享:用 AI 完成資料探勘,零門檻完成 SQL 撰寫 May 18, 2023 pm 08:19 PM

使用BI工具的時候,常遇到的問題是:「不會SQL怎麼生產加工資料、不會演算法可不可以做挖掘分析?」而專業演算法團隊在做資料探勘時,資料分析及視覺化也會呈現相對割裂的現象。流程化完成演算法建模和資料分析工作,也是提效的好方法。同時,對於專業數倉團隊來說,相同主題的數據內容面臨「重複建設,使用和管理時相對分散」的問題——究竟有沒有辦法在一個任務裡同時生產,同主題不同內容的數據集?生產的資料集可不可以作為輸入重新參與資料建置? 1.DataWind可視化建模能力來了由火山引擎推出的BI平台Da

Python中的Apriori演算法詳解 Python中的Apriori演算法詳解 Jun 10, 2023 am 08:03 AM

Apriori演算法是資料探勘領域中關聯規則探勘的常見方法,廣泛應用於商業智慧、行銷等領域。 Python作為一種通用的程式語言,也提供了多個第三方函式庫來實作Apriori演算法,本文將詳細介紹Python中Apriori演算法的原理、實作及應用。一、Apriori演算法原理在介紹Apriori演算法原理之前,先學習下兩個關聯規則挖掘中的概念:頻繁項集與支持度

PHP中如何進行自動文字分類與資料探勘? PHP中如何進行自動文字分類與資料探勘? May 22, 2023 pm 02:31 PM

PHP是一種優秀的伺服器端腳本語言,廣泛應用於網站開發和資料處理等領域。隨著網路的快速發展,資料量的不斷增加,如何有效率地進行自動文字分類和資料探勘成為了一個重要的議題。本文將介紹在PHP中進行自動文字分類和資料探勘的方法和技巧。一、什麼是自動文字分類和資料探勘?自動文字分類是指根據文字內容自動將文字進行分類的過程,通常使用機器學習演算法進行實作。資料探勘是指