Unicode 文字による UTF-8 デコード エラーを処理するにはどうすればよいですか?

Unicode 文字による UTF-8 デコード エラーの処理

UTF-8 でエンコードされたデータを扱う場合、非準拠の文字を受信する状況が発生する可能性があります。 「UnicodeDecodeError: 'utf8' コーデックはバイト 0x9c をデコードできません」エラーが表示されます。このエラーは、特定のバイトを有効な Unicode 文字にデコードできないことを示します。

問題の理解

一部のクライアント、特に悪意のある攻撃者は、無効なデータを含むデータを送信する可能性があります。または間違った UTF-8 文字。これにより、デコード プロセスが中断され、エラーが発生する可能性があります。後の分析のためにデータをログに記録する場合など、特定の場合には、これらの問題のある文字を除外しながらデータを保持することが望ましいです。

問題の解決

これを解決するにはエラーが発生した場合は、次の方法を使用できます:

• 無効な値を置き換える文字: 置換エラー ハンドラーを使用して、無効な文字を ? などのプレースホルダー文字に置き換えます。このオプションを使用すると、問題のある文字を削除しながらデータの大部分を保持できます。

str = unicode(str, errors='replace')

• 無効な文字の無視: 無視エラー ハンドラーを使用して無効な文字を破棄します。完全に文字。このオプションにより、破損したデータが文字列に含まれないようになりますが、文字が失われる可能性があります。

str = unicode(str, errors='ignore')

ケース固有の解決策

Inソケット サービスが ASCII コマンドを期待する特定のケースでは、非 ASCII 文字を削除するのが適切です。これは、上で説明したように、無視エラー ハンドラーを使用して実現できます。

代替アプローチ

または、コーデック モジュールの open メソッドを使用してファイルを読み取ることもできます。指定されたエンコーディングとエラー処理を使用します。

import codecs
with codecs.open(file_name, 'r', encoding='utf-8', errors='ignore') as fdata:

以上がUnicode 文字による UTF-8 デコード エラーを処理するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。