私の最初の貢献として、プロンプトと補完の生成に使用されるトークンを表示する新しいフラグ オプションを追加する新しい機能を別のプロジェクトに追加する問題を提出しました。
機能: チャット完了トークン情報フラグ オプション
#8
送受信されたトークンの数をユーザーに与えるフラグ オプション。 これは、チャット完了リクエストを行うときにユーザーがトークンの予算内に収まるように誘導する重要な機能だと思います!
これを行うには、-t および --token-usage などの別のオプション フラグを追加する必要があります。ユーザーがこのフラグをコマンドに含めると、補完の生成に使用されたトークンの数と、プロンプトで使用されたトークンの数が明確に詳細に表示される必要があります。
私は、fadingNA のオープンソース プロジェクト、chat-minal に貢献することにしました。これは、Python で書かれた CLI ツールで、OpenAI を利用して、コード レビューの生成、ファイル変換、マークダウンの生成など、さまざまな作業を行うことができます。テキストと要約テキスト。
私は以前に Python でコードを書いたことがありますが、それは私の最も得意なスキルではありません。したがって、このプロジェクトに貢献することは、私にとって挑戦的ではありますが、良い学習経験になります。
課題は、他の人のコードを読んで理解し、コードの設計を壊さない方法で適切な解決策を提供しなければならないことです。コードに大きな変更を加えずに機能を効率的に追加し、コードの一貫性を保つためには、フローを理解することが重要です。
機能: トークン使用フラグ
#9
ユーザーに --token_usage フラグ オプションを含める機能を追加しました。 このオプションは、プロンプトと生成された補完に使用されたトークンの数に関する情報をユーザーに提供します。
コード設計に基づいて私が思いついた解決策は、token_usage フラグの存在を確認することです。 token_usage フラグが使用されていない場合にコードで不要な if ステートメントをチェックしたくないので、チャンク内の use_metadata の存在をチェックするという違いを除き、2 つの別々の同一のループ ロジックを作成しました。
if token_usage:
for chunk in runnable.stream({"input_text": input_text}):
print(chunk.content, end="", flush=True)
answer.append(chunk.content)
if chunk.usage_metadata:
completion_tokens = chunk.usage_metadata.get('output_tokens')
prompt_tokens = chunk.usage_metadata.get('input_tokens')
else:
for chunk in runnable.stream({"input_text": input_text}):
print(chunk.content, end="", flush=True)
answer.append(chunk.content)At the end of the execution of get_completions() method, a check for the flag token_usage is added, which then displays the token usage details to stderr if the flag was used.
if token_usage:
logger.error(f"Tokens used for completion: <span class="pl-s1"><span class="pl-kos">{completion_tokens}</span>"</span>)
logger.error(f"Tokens used for prompt: <span class="pl-s1"><span class="pl-kos">{prompt_tokens}</span>"</span>)if token_usage:
for chunk in runnable.stream({"input_text": input_text}):
print(chunk.content, end="", flush=True)
answer.append(chunk.content)
if chunk.usage_metadata:
completion_tokens = chunk.usage_metadata.get('output_tokens')
prompt_tokens = chunk.usage_metadata.get('input_tokens')
else:
for chunk in runnable.stream({"input_text": input_text}):
print(chunk.content, end="", flush=True)
answer.append(chunk.content)
Originally, the code only had one for loop which retrieves the content from a stream and appends it to an array which forms the response of the completion.
My reasoning behind duplicating the for while adding the distinct if block is to prevent the code from repeatedly checking the if block even if the user is not using the newly added --token_usage flag. So instead, I check for the existence of the flag firstly, and then decide which for loop to execute.
Even though my pull request has been accepted by the project owner, I realized late that this way adds complexity to the code's maintainability. For example, if there are changes required in the for loop for processing the stream, that means modifying the code twice since there are two identical for loops.
What I think I could do as an improvement for it is to make it into a function so that any changes required can be done in one function only, keeping the maintainability of the code. This just proves that even if I wrote the code with optimization in mind, there are still other things that I can miss which is crucial to a project, which in this case, is maintainability.
My tool, genereadme, also received a contribution. I received a PR from Mounayer, which is to add the same feature to my project.
feat: added a new flag that displays the number of tokens sent in prompt and received in completion
#13
Closes #12.
This simply required the addition for another flag check --token-usage:
.option("--token-usage", "Show prompt and completion token usage")I've also made sure to keep your naming conventions/formatting style consistent, in the for loop that does the chat completion for each file processed, I have accumulated the total tokens sent and received:
promptTokens += response.usage.prompt_tokens;
completionTokens += response.usage.completion_tokens;which I then display at the end of program run-time if the --token-usage flag is provided as such:
if (program.opts().tokenUsage) {
console.error(`Prompt tokens: <span class="pl-s1"><span class="pl-kos">${promptTokens}</span>`</span>);
console.error(`Completion tokens: <span class="pl-s1"><span class="pl-kos">${completionTokens}</span>`</span>);
}genereadme examples/sum.js --token-usage
This should display something like:
You can try it out with multiple files too, i.e.:
genereadme examples/sum.js examples/createUser.js --token-usage
This time, instead of having to read someone else's code, someone had to read mine and contribute to it. It is nice knowing that someone is able to contribute to my project. To me, it means that they understood how my code works, so they were able to add the feature without breaking anything or adding any complexity to the code base.
With that being mentioned, reading code is also a skill that is not to be underestimated. My code is nowhere near perfect and I know there are still places I can improve on, so credit is also due to being able to read and understand code.
This specific pull request did not really require any back and forth changes as the code that was written by Mounayer is what I would have written myself.
以上が私の最初のオープンソースへの貢献の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
