エンドツーエンドの分析ソリューションとしての Jupyter Notebook

導入

あなたは目を覚ます。 To Do リストを見ると、チーム メンバーからのタスクがあります。彼らはあなたに何らかの分析を行ってレポートを作成してほしいと考えています。リクエスト自体は比較的複雑です。つまり、問題ステートメントを使用してリクエストを分解し、データ ソースからデータを取得し、探索して洞察を収集し、その結果をチーム メンバーに伝える必要がある可能性があります。

この問題を解決する方法は次のとおりです:

• タスク追跡プラットフォーム (Trello、Jira など) で問題ステートメントを作成します
• データ ソースからデータを取得します (SSMS、Power Query などのインターフェイスを使用した SQL データベースなど)
• 分析ツール (Python、R、Excel) で探索的なデータ分析と複雑な変換を実行します
• 洞察を特定し、それをマグルに分かりやすい方法で提示します (パワーポイント、または苦手な場合は Tableau や Power BI などの視覚化ツール)

データ専門家の日常生活は、標準的な 1 日のように聞こえますよね?ただし、あなたはどうか知りませんが、これほど多くのツール間でデータを移動すると、かなり混乱する可能性があります。非常に非効率なワークフローになります。でも、もっと良い方法があると言ったらどうなるでしょうか?問題ステートメントを準備し、SQL クエリを作成し、分析を実行し、結果をすべて 1 か所で提示できると思いますか?データと Python を扱う場合は、アドホック分析用の優れたツールとして Jupyter Notebook をすでによくご存じでしょう。 Notebook のインタラクティブな環境では、逐次的な分析とストーリーテリングが可能です。しかし、Notebook の美しさは IPython との融合だけでは終わりません。 Jupyter Notebook は基本的に HTML、CSS、JS を使用して構築されています。つまり、これらのテクノロジーを使用してノートブックの機能を拡張できるということです。この記事では、Jupyter Notebook の Web インターフェイスと Python の豊富なデータ ライブラリを利用して、エンドツーエンドのレポート ソリューションを構築する方法を説明します。

この手順を進めるには、次のソフトウェアやパッケージをシステムにインストールする必要があります:

SQL Server: これは、データ抽出のために対話する SQL 言語です
Aventure Works Database: これは、データのクエリの対象となるデータベースのコレクションです。 AW データベースは通常、デフォルトで SQL Server インストールに付属しています。ただし、そうでない場合は、リンクをクリックし、SQL Server インストールにロードする方法の指示に従ってください。
Python と Jupyter: Python と Jupyter の両方を同時にインストールする最も簡単な方法は、anaconda ディストリビューションを使用することです。すでに Python を持っているが、Jupyter のみをインストールしたい場合は、このリンクを使用してください。
Python ライブラリ:

• pyodbc
• パンダ
• スクラルケミー
• プロット
• mlxtend
• ネットワークx

本題は終わりましたので、早速 Jupyter Notebook を見ていきましょう。以下に埋め込まれています:

注意: 上記の埋め込みは github リポジトリからのもので、ここでクローンを作成できます。ただし、github でホストされているため、JS の対話機能はすべて無効になっており、「トグル ボタン」は表示されません。ただし、リポジトリをマシンに複製し、ノートブックをローカルで実行すると、ボタンが次のように表示されることがわかります:

そして、「切り替えボタン」をクリックすると、入力セルが非表示になり、次のような内容が残ります。

それで終わりです。要約すると、1 つの環境 (ノートブック) 内ですべてを実行できたことは次のとおりです。

問題ステートメントを定義し、目的を拡張します
SQL データベースに接続し、SQL データベースから直接データをクエリします
分析を実行します
プロットの視覚化
マークダウンを使用してセクション、レイアウト、結果をフォーマットし、ストーリーを伝え、技術者以外の読者でもレポートを読めるようにします
技術的な入力を非表示にして、ストーリーと洞察だけを残す機能を提供します

すべてが 1 つの環境内にある、完全なエンドツーエンドの分析ワークフロー。次のステップは、レポートを関係者とシームレスに共有できるフレームワーク、テクノロジー、パイプラインを構築することです。この記事が十分な注目を集めたら、次にそれについて書きます。 ?

以上がエンドツーエンドの分析ソリューションとしての Jupyter Notebookの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。