Goで長いテキストファイル内のパターンを含む行を無視する-Golang-php.cn

Goで長いテキストファイル内のパターンを含む行を無視する

WBOY

リリース： 2024-02-13 13:57:19

転載

1032 人が閲覧しました

在 Go 中忽略长文本文件中包含模式的行

php エディター Apple Go 言語では、大きなテキストファイルを処理する必要があることがよくあります。場合によっては、特定のパターンを含む行のみに関心があり、他の行は無視されることがあります。幸いなことに、Go では正規表現と bufio.Scanner を使用してこの目標を達成できます。正規表現を使用して行を照合し、スキャナーでファイルを 1 行ずつ実行することで、興味のない行を簡単に除外できます。このヒントにより、効率が向上するだけでなく、コードがより簡潔で読みやすくなります。次に、Go で長いテキストファイル内のパターンを含む行を無視する方法を見てみましょう。

質問内容

長いテキストファイル(ASCII保証)のパターンを含む行を無視する機能をgoで実装しようとしています

withoutignore と withignore の関数は両方とも、ファイル名パラメータを入力として受け入れ、*byte.buffer を返します。これは、## の書き込みに使用できます。 #io.writer。

withignore

この関数は追加の引数 pattern を受け取り、パターンを含む行をファイルから除外します。この関数は動作しますが、ベンチマークの結果、 を無視せずに よりも 5 倍遅いことが判明しました。何か改善できる方法はあるでしょうか？ リーリーベンチマーク

リーリー

"base64dump.log"

を使用してコマンドラインから生成できます。 <div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:golang;toolbar:false;">package main import ( "bufio" "bytes" "io" "log" "os" ) func withoutignore(f string) (*bytes.buffer, error) { rfd, err := os.open(f) if err != nil { log.fatal(err) } defer func() { if err := rfd.close(); err != nil { log.fatal(err) } }() inputbuffer := make([]byte, 1048576) var bytesread int var bs []byte opbuffer := bytes.newbuffer(bs) for { bytesread, err = rfd.read(inputbuffer) if err == io.eof { return opbuffer, nil } if err != nil { return nil, nil } _, err = opbuffer.write(inputbuffer[:bytesread]) if err != nil { return nil, err } } return opbuffer, nil } func withignore(f, pattern string) (*bytes.buffer, error) { rfd, err := os.open(f) if err != nil { log.fatal(err) } defer func() { if err := rfd.close(); err != nil { log.fatal(err) } }() scanner := bufio.newscanner(rfd) var bs []byte buffer := bytes.newbuffer(bs) for scanner.scan() { if !bytes.contains(scanner.bytes(), []byte(pattern)) { _, err := buffer.writestring(scanner.text() + "\n") if err != nil { return nil, nil } } } return buffer, nil } func main() { // buff, err := withoutignore("base64dump.log") buff, err := withignore("base64dump.log", "audit") if err != nil { log.fatal(err) } _, err = buff.writeto(os.stdout) if err != nil { log.fatal(err) } } </pre><div class="contentsignin">ログイン後にコピー</div></div>

解決策