与洞察员自动化数据见解-人工智能-PHP中文网

在当今的数据繁多的世界中，处理庞大的数据集可能会非常不知所措。这就是洞察力的来源。它旨在使探索数据变得轻而易举。只需上传您的数据集，您就会获得即时见解，可视化和问题的答案。 Insightmate的最酷的是它如何将自动化与灵活性混合在一起。它不仅会向您投掷静态图表，还提供了动态的，可自定义的仪表板，这些仪表板会根据您的需求转移 - 无论您是新手数据分析还是经验丰富的Pro。在本文中，我将带您进行发展洞察力的旅程。

Insightmate的核心是Google的Geminiand Langmith密切关注事物，您可以放心，您获得的见解不仅是点对点，而且随着时间的流逝而可靠。

学习成果

了解Insightmate背后的核心组成部分和架构。
了解如何将Google Gemini集成到自然语言数据集查询中。
探索Langmith在使用LLMOP的AI模型性能监测中的作用。
探索洞察力如何生成动态，可自定义的仪表板和可视化。
在建立和使用洞察力进行数据分析方面获得动手实践经验。

本文作为数据科学博客马拉松的一部分发表。

介绍
什么是洞察力？
洞察力如何工作？
设置Insightmate：逐步指南
- 步骤1：克隆存储库
- 步骤2：设置虚拟环境
- 步骤3：激活虚拟环境
- 步骤4：安装所需的依赖项
- 步骤5：设置环境变量
- 步骤6：使用简化运行应用程序
开发洞察力的功能
- 数据集上的初始概述生成
- 自动生成仪表板的开发
- 定制数据集生成
- 自定义可视化生成
- 与Google Gemini基于查询的见解
llmops和langsmith
有关开发洞察力的工具的摘要
结论
常见问题

什么是洞察力？

Insightmate是一种直观的数据分析工具，可以毫不费力地从其数据集中探索，可视化和获取洞察力。它的核心功能围绕着将原始数据转换为有意义的，可操作的见解，并使用最少的手动干预。通过结合可自定义的可视化和AI驱动的见解，InsightMate允许用户实时与数据进行交互，以简单的语言提出问题并接收相关答案。借助内置的监视功能，它可以确保AI模型始终如一地提供可靠的结果，从而使其成为数据分析中的初学者和专业人员的强大盟友。

洞察力如何工作？

Insightmate旨在简化和增强数据分析。该工具具有多个核心功能，主要关注从用户使用的数据集中生成详细的见解和可自定义的可视化。

关键功能

可自定义的仪表板：Insightmate以其动态仪表板脱颖而出。与静态图表不同，这些仪表板根据用户给出的输入进行调整，并基于它生成可视化。
数据集生成：需要专注于特定的指标吗？ Insightmate可让您选择包含哪些列和指标。您甚至可以将此过滤的数据集作为CSV文件下载，以供进一步使用。
自动见解：魔术发生在Google Gemini中。此功能使您可以用简单的语言和合理的上下文感知答案提出问题。
LLMOPS和监视：通过将Gemini模型与Langsmith相结合，我们可以对模型进行强大的监视和性能跟踪。这样可以确保产生的见解会随着时间的流逝而保持可靠和透明。

设置Insightmate：逐步指南

如果您想查看源代码，请参阅repo中的final_app.py文件：repo_link

现在，让我们浏览如何在本地计算机上设置和运行洞察力：

步骤1：克隆存储库

首先将项目存储库克隆到您的本地计算机，以开始使用Insightmate。这提供了对应用程序源代码及其所有基本组件的访问。

 git克隆https://github.com/keerthanareddy95/insightmate.git
CD洞察力

登录后复制

步骤2：设置虚拟环境

虚拟环境有助于隔离依赖性并确保您的项目顺利运行。此步骤设置了一个独立的工作空间，供洞察员在不干扰其他软件包的情况下操作。

 ＃对于Windows：
Python -M Venv Venv

＃对于MacOS和Linux：
Python3 -M Venv Venv

登录后复制

步骤3：激活虚拟环境

有了虚拟环境，下一步是安装所有必要的库和工具。这些依赖性使洞察力的核心功能，包括数据可视化，AI集成等。

 ＃对于Windows：
。\ venv \ scripts \ activate

＃对于MacOS和Linux：
来源VENV/bin/activate

登录后复制

步骤4：安装所需的依赖项

有了虚拟环境，下一步是安装所有必要的库和工具。这些依赖性使洞察力的核心功能，包括数据可视化，AI集成等。

 pip install -r要求.txt

登录后复制

步骤5：设置环境变量

为了利用AI驱动的见解和监视模型性能，您需要为Google Gemini和Langsmith配置API键。此设置将洞察力连接到为其智能功能供电的云服务。

在项目的根部创建.ENV文件，并为Google Gemini和Langsmith添加您的API键。

 Google_api_key =“ your_google_api_key”
langchain_api_key =“ your_langchain_api_key”
langchain_project =“ your_langchain_project_name”

登录后复制

您可以在这里获取API键 - Gemini API，Langchain API

步骤6：使用简化运行应用程序

配置所有内容后，请使用简化。此步骤启动了应用程序，使您可以与其用户友好的接口进行交互，并实时探索数据。

简化运行final_app.py

登录后复制

开发洞察力的功能

在本节中，我们将研究使Insightmate成为强大的数据分析工具的核心功能。从生成自动可视化到使用自然语言查询数据集，这些功能旨在简化数据探索和见解的生成。

数据集上的初始概述生成

用户上传thecsv filein在简化UI中的文件上传部分，一旦上传文件，将读取到apandas dataframe - pd.df（）中。
我们实施一个函数以检查缺失的值和不一致。如果数据干净，则用户可以继续探索数据集。
有关数据集的基本信息，例如使用df.describe（）方法的行数，列数和统计摘要，以及df.head（）方法生成的预览。

与洞察员自动化数据见解

自动生成仪表板的开发

我们在数据集中提取数值和分类列，然后将它们存储在单独的变量中。
对于数值列，自动生成直方图以使用自定义功能显示数据分布。

 ＃4.1数值列的分布图
        如果len（numeric_columns）> 0：
            St.Write（“ ####数字列的分布”）
            对于i在范围内（0，len（numeric_columns），2）：＃在一行中显示2列
                Cols = St.Columns（2）＃并排创建2列
                对于IDX，列表中的列（numeric_columns [i：i 2]）：
                    使用COLS [IDX]：＃将图放在单独的列中
                        plt.figure（figsize =（6，4））＃使图较小
                        sns.histplot（df [列]，kde = true，color ='lightblue'，bins = 30）
                        plt.title（{column}'的f'distribution）
                        圣皮特洛特（PLT）

登录后复制

与洞察员自动化数据见解

条图和饼图说明了分类列中类别的分布。

 ＃4.1数值列的分布图
        如果len（cancorical_columns）> 0：
            St.Write（“ ####分类列的分布”）
            对于我的范围（0，len（cancorical_columns），2）：
                cols =圣克洛姆（2）
                对于IDX，列表中的列（excorical_columns [i：i 2]）：
                    与COLS [IDX]：
                        top_categories = df [列] .value_counts（）。
                        filtered_df = df [df [column] .isin（top_categories.index）]
                        plt.figure（无花果=（6，4））
                        sns.countplot（x =列，data = filtered_df，palette =“ set2”，order = top_categories.index）
                        plt.title（{column}'中的10个类别）
                        plt.xticks（旋转= 45）
                        圣皮特洛特（PLT）
        
        ＃4.3分类列的饼图
        如果len（cancorical_columns）> 0：
            St.Write（“分类列的####饼图”）
            对于我的范围（0，len（cancorical_columns），2）：
                cols =圣克洛姆（2）
                对于IDX，列表中的列（excorical_columns [i：i 2]）：
                    与COLS [IDX]：
                        pie_data = df [列] .value_counts（）。  
                        plt.figure（无花果=（6，6））
                        plt.pie（pie_data，labels = pie_data.index，autopct ='％1.1f %%'，colors = sns.color_palette（“ set3”））
                        plt.title（{column}'的f'pie图表'）
                        圣皮特洛特（PLT）

登录后复制

与洞察员自动化数据见解

定制设置生成

用户可以通过从下拉菜单中选择特定的列和唯一值来过滤数据。下拉菜单由列和数据集中可用的唯一值填充。
仅包含所选列和值的数据集将是可见的，并且用户也可以选择将其下载为CSV文件。

 selected_filter_column = St.Selectbox（“选择要过滤的列”，df.columns）
selected_value = st.Selectbox（f“从'{selected_filter_column}'中选择一个值
filtered_df = df [df [selected_filter_column] == selected_value]
St.Dataframe（filled_df）

登录后复制

与洞察员自动化数据见解

自定义可视化生成

用户可以从各种绘图类型（例如直方图，条形图，散点图）中进行选择，并指定可视化的列。
InsightMate根据用户输入生成图，并通过有条件的代码块来处理不同的绘图类型。

示例代码显示IF-ELSE语句的结构：

 ＃取决于情节类型
        如果plot_type ==“直方图”：
            selected_column = st.Selectbox（“直方图选择列”，numeric_columns）
            如果圣顿（“生成直方图”）：
                plt.figure（无花果=（8，4））
                sns.histplot（df [selected_column]，bins = 30，kde = true，color ='lightblue'）
                plt.title（{selected_column}'的f'Histogram）
                圣皮特洛特（PLT）

        elif plot_type ==“ bar plot”：
            selected_column = St.Selectbox（“ bar绘图的选择列”，df.columns）
            如果圣巴顿（“生成吧台”）：
                plt.figure（无花果=（8，4））
                sns.countplot（x = selected_column，data = df，palette =“ set2”）
                plt.title（{selected_column}'的f'bar图）
                圣皮特洛特（PLT）

登录后复制

与洞察员自动化数据见解

与Google Gemini基于查询的见解

上传的CSV转换为JSON格式，以方便与Google Gemini的互动。

 dataset_json = df.to_json（orient ='split'）

登录后复制

用户可以就其数据询问自然语言问题，并且AI根据数据集的内容提供答案。

 dataset_json = df.to_json（orient ='split'）
提示= f“ dataset（以JSON格式）：{dataset_json}。\ nquestion：{user_question}”
响应= chat_llm.invoke（提示）
St.Write（“ ### Gemini的答案”）
St.Write（响应。

登录后复制

与洞察员自动化数据见解