Kitaran import dalam protobuf aliran tensor

Kandungan soalan

Saya cuba menulis kod pelanggan untuk berkomunikasi dengan pelayan aliran tensor. Saya memerlukan protobuf golang yang disusun untuk tensorflow 和 tensorflow_serving. Semua ini tidak mudah, saya berjaya melalui ini. Pada asasnya, gunakan buf untuk menjananya. Ini buf yaml:

version: v1
managed:
  enabled: true
  optimize_for: code_size

  # go
  go_package_prefix:
    default: "some/path"

plugins:
  - plugin: buf.build/protocolbuffers/go
    out: gen/proto/go

Berjaya dijalankan, tetapi menjalankan log aplikasi:

 package command-line-arguments
     imports my-package/internal/infer
     imports my-package/internal/infer/tensorflow_serving/apis
     imports my-package/internal/infer/tensorflow/core/protobuf
     imports my-package/internal/infer/tensorflow/compiler/xla/stream_executor
     imports my-package/internal/infer/tensorflow/compiler/xla
     imports my-package/internal/infer/tensorflow/compiler/xla/service
     imports my-package/internal/infer/tensorflow/compiler/xla: import cycle not allowed

Sila ambil perhatian bahawa semua di bawah tensorflow 和 tensorflow_serving disusun terus dari repositori asal.

Saya memeranjatkan bahawa sesuatu yang digunakan secara meluas seperti aliran tensor sepatutnya mempunyai kitaran import, tetapi mungkin ada. Bagaimanakah saya boleh menyelesaikan masalah ini?

Jawapan betul

tl;dr

Puncanya ialah repositori https://www.php.cn/link/1a16abf2a3149fc7cd6083687cce01c2 benar-benar tidak menyusun fail asal dengan betul (atau sekurang-kurangnya tidak menjadikannya mesra).

Dua fail berikut menyebabkan gelung import dalam go (xla->xla/service->xla):

• tensorflow/compiler/xla/xla.proto

  • import "tensorflow/compiler/xla/service/hlo.proto"

• tensorflow/compiler/xla/service/hlo.proto

  • import "tensorflow/compiler/xla/xla_data.proto"

Memandangkan xla_data.proto tidak mengimport sebarang fail lain, kami boleh mengalihkannya ke dalam pakejnya sendiri untuk memecahkan gelung import. Kita boleh melakukan ini menggunakan fungsi tindananxla_data.proto 不导入任何其他文件，我们可以将其移动到自己的包中以打破导入循环。我们可以利用 buf 的 覆盖功能做这个。这是最终的 buf.gen.yaml buf. Ini ialah fail buf.gen.yaml terakhir:

version: v1
managed:
  enabled: true
  go_package_prefix:
    default: example.com/mymodule/internal
  override:
    go_package:
      # move the generated xla_data.pb.go file into package xla/data to break the import cycle.
      tensorflow/compiler/xla/xla_data.proto: 'example.com/mymodule/internal/tensorflow/compiler/xla/data'
plugins:
  - name: go
    out: internal
    opt:
      - module=example.com/mymodule/internal

  - name: go-grpc
    out: internal
    opt:
      - module=example.com/mymodule/internal

Persediaan lengkap untuk menyusun fail proto aliran tensor menggunakan buf

Ini ialah struktur direktori terakhir:

├── buf.gen.yaml
├── buf.work.yaml
├── buf.yaml
├── go.mod
├── go.sum
├── internal
│   ├── tensorflow
│   └── tensorflow_serving
└── testdata
    ├── serving
    └── tensorflow

buf.gen.yaml: Lihat bahagian "tl;dr".

buf.work.yaml:

version: v1
directories:
  - testdata/serving
  - testdata/tensorflow

buf.yaml:

version: v1
breaking:
  use:
    - file
lint:
  use:
    - default

Ini adalah persekitaran saya:

$ go version
go version go1.20.3 linux/amd64
$ buf --version
1.17.0
$ protoc --version
libprotoc 3.12.4
$ protoc-gen-go --version
protoc-gen-go v1.30.0
$ protoc-gen-go-grpc --version
protoc-gen-go-grpc 1.3.0
$ git version
git version 2.37.2

Sekarang laksanakan arahan berikut dalam akar direktori ini:

$ go mod init example.com/mymodule
$ go get google.golang.org/grpc
$ git clone https://www.php.cn/link/1a16abf2a3149fc7cd6083687cce01c2.git testdata/tensorflow
$ git clone https://github.com/tensorflow/serving.git testdata/serving
$ buf generate
$ go build ./...

Nota:

1. repositori aliran tensor yang diklonkan ke testdata 目录中，以便 go build akan mengabaikannya.
2. Pemasang akan internal 目录中生成文件。您可以修改 buf.gen.yaml fail untuk meletakkannya di mana sahaja anda mahu.
3. go build ./... Tiada ralat akan dilaporkan. Tetapi saya tidak pasti sama ada fail yang dijana itu sah.

Atas ialah kandungan terperinci Kitaran import dalam protobuf aliran tensor. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!