カナダの初秋: コードと知識を巡る旅 ?

導入

みなさん、こんにちは！私は Nonthachai Plodthong です。ソフトウェア開発者であり、現在勉強を終えている上級生です。ここカナダでは、さわやかでカラフルな初秋の季節に移行していますが、テクノロジー分野でのこれまでの歩みを通じて収集した知識と経験を共有する新しいブログ投稿シリーズを開始できることを嬉しく思います。この投稿はすべて関連しています。私がセネカで受講するコースは、オープンソース開発コースと呼ばれます。

オープンソースプロジェクトは、すでに初期化またはリリースされている他のプロジェクトに参加できるという点で興味深いものです。GitHub リポジトリで問題を調べて、提案が受け入れられるかどうかをプルリクエストすることで、プロジェクトを改善したり改善したりできます。そうでない

今年末までの今後 4 か月間、GitHub 全体に貢献できるオープンソースプロジェクトのさまざまなトピックを深く掘り下げていきます。

Github トレンドリポジトリ

シナモン / コタエモン

ドキュメントとチャットするためのオープンソースの RAG ベースのツール。

こたえもん

ドキュメントとチャットするための、オープンソースのクリーンでカスタマイズ可能な RAG UI。エンドユーザーと開発者を念頭に置いています。

Open source development

ライブデモ | ソースコード

ユーザーガイド | 開発者ガイド | フィードバック

Open source development

はじめに

このプロジェクトは、QA を実行したい両方のエンドユーザーにとって機能的な RAG UI として機能します。ドキュメントと、独自の RAG パイプラインを構築したい開発者。

エンドユーザー向け
- RAG ベースの QA 用のクリーンでミニマルな UI。
- LLM API プロバイダー (OpenAI、AzureOpenAI、Cohere など) とローカル LLM をサポート (ollam および llama-cpp-python 経由)。
- 簡単なインストールスクリプト。
開発者向け:
- 独自の RAG ベースのドキュメント QA パイプラインを構築するためのフレームワーク。
- 提供された UI (Gradio で構築) を使用して、RAG パイプラインの動作をカスタマイズして確認します。

+----------------------------------------------------------------------------+
| End users: Those who use apps built with `kotaemon`.                       |
| (You use an app like the one in the demo above)                            |
|     +----------------------------------------------------------------+ログイン後にコピー
…
    全画面モードに入る
    


    全画面モードを終了します
    

GitHub で表示

この RAG と独自のドキュメントとのチャットは非常に優れており、独自のドキュメントを LLM モデルに埋め込んでベクトル化する方法と、埋め込みモデルが 10 進数に変換する入力データと非構造化データの間の類似性をどのようにピックアップするかを視覚的に確認できます。

どのようなトピックが興味を引くでしょうか?

1. AI開発

AI は私たちがテクノロジーと対話する方法に革命をもたらし、開発者や研究者に新たな境地を切り開きました。このシリーズでは、以下について探っていきます:

大規模言語モデル (LLM): LLM の内部動作、その機能、そして、ある言語で音声を理解し、別の言語で応答するというアプリケーションなど、現実世界の問題を解決するために LLM を使用する方法を学びましょう。

感情分析: シンプルなルールベースの手法から高度なディープラーニング技術まで、テキストの背後にある感情的なトーンを理解するシステムを構築する方法を学びます。

LangChain ライブラリ (Python): LangChain は、開発者が大規模言語モデル (LLM) を活用するアプリケーションを構築できるように設計された強力なフレームワークです。チャットボット、質問応答システム、またはテキストを生成および操作するツールを作成する場合でも、LangChain はモジュール式のコンポーネントとユーティリティを提供することで統合プロセスを簡素化します。そして、Advance RAG とストリーミングにさらに焦点を当てていきます。