教程：用LLM提示的用户消息的语义聚类

>本博客文章展示了一种使用大语言模型（LLM）而不是传统数据科学技术来分析用户论坛数据的更快，更有效的方法。 作者利用AI的力量提示实现语义聚类，从而大大减少了所需的时间和精力。

>该过程始于公开可用的Discord论坛数据，特别是技术支持线程。 此数据已预处理并格式化为PANDAS数据框架，包括基于用户反馈的情感分数（例如，“谢谢”）。 创建仪表板是为了可视化消息量，用户参与度和满意度趋势，从而揭示了初始见解。 此初始探索中的主要发现包括用户转弯和满意度之间的一般相关性，但是响应时间和满意度之间缺乏相关性。 该方法的核心涉及提示LLMS（特别是Google Gemini和Pelpolxity AI）执行数据分析。 作者提供了几个关键提示：

>

摘要生成：

> llm生成了用户消息的简明摘要，并标识了高级对话主题。
1. >群集统计：
LLM计算聚类统计（Silhouette分数）以确定簇的最佳数量。
2. 群集： LLM使用选定的方法执行实际聚类并提供群集标签。
3. 层次聚类： LLM执行层次聚类，识别高级和更颗粒状的簇。
4. 可视化代码生成： LLM生成简化的代码以可视化生成的群集。
5. >用原始文本摘要和数值嵌入（使用OpenAI的嵌入API生成）作为LLM的输入的作者实验。 结果表明，使用LLM的内部嵌入生成会导致更准确和可靠的集群主题，突出显示一个关键发现：让LLM生成自己的嵌入者比提供外部生成的嵌入。 >扩展了分析以包括来自多个Discord服务器的数据，从而允许进行跨供应商的比较并揭示常见的用户问题。 最终可视化有效地展示了这些常见问题。
>博客文章通过总结所涉及的步骤并提供对相关资源的参考，包括启发这种方法的研究论文（CLIO），使用的LLMS和嵌入模型。 总体消息清楚地证明了LLM如何可以显着简化从大型数据集中提取有意义见解的过程，从而用更简单，基于及时的方法替换更复杂的数据科学工作流程。

以上是教程：用LLM提示的用户消息的语义聚类的详细内容。更多信息请关注PHP中文网其他相关文章！