并发读取文件:创建 goroutine 并发读取数据块,使用管道通信协调;并发写入文件:使用 goroutine 写入数据,用互斥锁保护写入操作。
如何在 Golang 中并发读取和写入文件?
并发处理文件 I/O 是提升 Golang 程序性能的常用技术。通过并发访问,我们可以同时读取和写入数据,而不是等待一个操作完成再开始另一个操作。本文将展示如何在 Golang 中使用 goroutine 并发读取和写入文件。
并发读取
为了并发读取文件,我们可以创建多个 goroutine,每个 goroutine 从文件读取数据块。为了协调这些 goroutine,我们将使用管道进行通信。
package main import ( "bufio" "os" "fmt" "sync" "time" ) func readFile(filePath string, wg *sync.WaitGroup, ch chan<- string) { defer wg.Done() file, err := os.Open(filePath) if err != nil { fmt.Println(err) return } defer file.Close() scanner := bufio.NewScanner(file) for scanner.Scan() { ch <- scanner.Text() } } func main() { // 创建一个容量为 10 的管道 ch := make(chan string, 10) // 等待组用于跟踪 goroutine var wg sync.WaitGroup filePath := "filename.txt" for i := 0; i < 10; i++ { wg.Add(1) go readFile(filePath, &wg, ch) } // 从管道中读取数据,并停止管道以等待所有 goroutine 完成 go func() { wg.Wait() close(ch) }() for data := range ch { fmt.Println(data) } // 等待管道数据完全输出 time.Sleep(1 * time.Second) }
并发写入
对于并发写入文件,我们使用类似的方法,但使用 goroutine 写入数据,并使用互斥锁确保独占访问写入操作。
package main import ( "os" "fmt" "sync" ) func writeFile(filePath string, wg *sync.WaitGroup, data <-chan string) { defer wg.Done() // 使用互斥锁保护文件写入 lock := new(sync.Mutex) file, err := os.OpenFile(filePath, os.O_APPEND|os.O_WRONLY|os.O_CREATE, 0666) if err != nil { fmt.Println(err) return } defer file.Close() for dataString := range data { lock.Lock() _, err = file.WriteString(dataString + "\n") if err != nil { fmt.Println(err) continue } lock.Unlock() } } func main() { // 创建一个容量为 10 的管道 ch := make(chan string, 10) // 等待组用于跟踪 goroutine var wg sync.WaitGroup filePath := "filename.txt" for i := 0; i < 10; i++ { wg.Add(1) go writeFile(filePath, &wg, ch) } // 向管道写入数据,并停止管道以等待所有 goroutine 完成 go func() { for i := 0; i < 100; i++ { ch <- fmt.Sprintf("Data point %d\n", i) } close(ch) }() wg.Wait() }
以上是如何在 Golang 中并发读取和写入文件?的详细内容。更多信息请关注PHP中文网其他相关文章!