Jupyter Notebooks 作為端對端分析解決方案

WBOY
發布: 2024-08-13 06:38:17
原創
1271 人瀏覽過

介紹

你醒了。您查看待辦事項列表,發現團隊成員有一個任務。他們希望您進行某種分析並產生報告。請求本身相對複雜,這意味著您可能需要使用問題陳述對其進行分解,從數據來源中提取數據,進行探索,收集您的見解,然後向團隊成員講述您的發現故事。

解決這個問題的方法如下:

  • 在任務追蹤平台(例如 Trello、Jira)中建構問題陳述
  • 從資料來源(例如 SQL 資料庫,使用 SSMS、Power Query 等介面)擷取資料
  • 在分析工具(Python、R、Excel)中執行探索性資料分析與複雜轉換
  • 確定見解,然後以易於理解的方式向麻瓜展示它們(一個幻燈片,或者如果您感興趣的話,可以使用 Tableau 或 Power BI 等視覺化工具)

聽起來像是資料專業人員生活中的標準一天,對吧?不過,我不了解您的情況,但是在這麼多工具之間移動資料可能會讓人非常迷失方向。它導致工作流程效率非常低。但如果我告訴你有更好的方法呢?您可以在一個地方準備問題陳述、編寫 SQL 查詢、執行分析並呈現您的發現嗎?如果您使用資料和 Python,您可能已經熟悉 Jupyter Notebook 作為臨時分析的優秀工具。 Notebook 的互動式環境允許進行順序分析和講故事。但 Notebook 的魅力不僅在於它與 IPython 的結合。 Jupyter Notebook 本質上是使用 HTML、CSS 和 JS 建立的;這意味著我們可以利用這些技術來擴展筆記本的功能。在本文中,我將向您展示如何利用 Jupyter Notebook 的 Web 介面和 Python 豐富的資料庫來建立端到端報告解決方案。

要繼續進行操作,您需要在系統上安裝以下軟體和/或軟體套件:

SQL Server:這是我們將在資料擷取中與之互動的 SQL 方言
Aventure Works 資料庫:這是我們要從中查詢資料的資料庫集合。預設情況下,AW 資料庫通常隨 SQL Server 安裝一起提供。但如果沒有,請按一下連結並按照有關如何將其載入到 SQL Server 安裝中的說明進行操作。
Python 和 Jupyter:同時安裝 Python 和 Jupyter 最簡單的方法是使用 anaconda 發行版。如果您已經擁有 Python 但只想安裝 Jupyter,請使用此連結。
Python 庫:

  • pyodbc
  • 熊貓
  • sqlalchemy
  • 情節
  • mlxtend
  • 網路

現在我們已經解決了這個問題,讓我們直接深入了解 Jupyter Notebook。您可以在下面找到它:

注意:上面的嵌入來自 github 存儲庫,您可以在此處克隆。但是,因為它託管在 github 上,所以所有 JS 互動性都已停用,因此「切換按鈕」將不會被渲染。但是,如果您將儲存庫克隆到您的電腦並在本地運行筆記本,您將看到該按鈕將如下所示:

Jupyter Notebooks as an End-to-End Analytics Solution

透過點擊“切換按鈕”,輸入儲存格將被隱藏,您將看到以下內容:

Jupyter Notebooks as an End-to-End Analytics Solution

就是這樣。總之,以下是我們能夠在一個環境(筆記本)中完成的所有操作:
  • 定義問題陳述並擴展目標
  • 直接連接到 SQL 資料庫並從中查詢資料
  • 執行我們的分析
  • 繪圖視覺化
  • 使用 Markdown 來格式化我們的部分、佈局和結果來講述一個故事,並使我們的報告可供非技術受眾閱讀
  • 提供隱藏我們技術輸入的功能,只留下我們的故事和見解

完整的端到端分析工作流程,全部在一個環境中。下一步將是建立一個框架、技術和/或管道,使我們能夠與利害關係人無縫地分享我們的報告。如果這篇文章得到足夠的關注,我會在下一篇寫這篇文章。 ?

以上是Jupyter Notebooks 作為端對端分析解決方案的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:dev.to
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板