RPC アクション EPU Protobuf の使用とカスタムプラグインの作成-Golang-php.cn

RPC Action EPUsing Protobuf and Creating a Custom Plugin

前の記事では、net/rpc パッケージを使用して単純な RPC インターフェイスを実装し、net/rpc に付属する Gob エンコーディングと JSON エンコーディングを試して、Golang の基本を学びましたRPC。この投稿では、net/rpc と protobuf を組み合わせて、コードの生成に役立つ protobuf プラグインを作成します。それでは始めてみましょう。

この記事は、中型 MPP プランで初めて公開されました。あなたが Medium ユーザーであれば、Medium で私をフォローしてください。誠にありがとうございます。

作業中に gRPC と protobuf を使用したはずですが、これらはバインドされていません。 gRPC は JSON を使用してエンコードでき、protobuf は他の言語で実装できます。

プロトコルバッファー (Protobuf) は、構造化データのシリアル化に使用される無料のオープンソースのクロスプラットフォームデータ形式です。ネットワーク経由で相互に通信するプログラムの開発やデータの保存に役立ちます。この方法には、一部のデータの構造を記述するインターフェース記述言語と、その記述から構造化データを表すバイトストリームを生成または解析するためのソースコードを生成するプログラムが含まれます。

protobufの使用例

まず、メッセージ "String" を定義するプロトファイル hello-service.proto を作成します

syntax = "proto3";
package api;
option  go_package="api";

message String {
  string value = 1;
}

ログイン後にコピー

次に、protoc ユーティリティを使用して、メッセージ String の Go コードを生成します

protoc --go_out=. hello-service.proto

ログイン後にコピー

次に、protobuf ファイルによって生成された文字列を使用するように Hello 関数の引数を変更します。

type HelloServiceInterface = interface {  
    Hello(request api.String, reply *api.String) error  
}

ログイン後にコピー

使い方は以前と変わりませんが、文字列を直接使用するほど便利ではありません。では、なぜ protobuf を使用する必要があるのでしょうか?前に述べたように、Protobuf を使用して言語に依存しない RPC サービスインターフェイスとメッセージを定義し、次に protoc ツールを使用してさまざまな言語でコードを生成することに、その真の価値があります。たとえば、公式プラグイン protoc-gen-go を使用して gRPC コードを生成します。

protoc --go_out=plugins=grpc. hello-service.proto

ログイン後にコピー

protoc用プラグインシステム

protobuf ファイルからコードを生成するには、 protoc をインストールする必要がありますが、protoc はターゲット言語が何であるかを認識しないため、コードの生成を支援するプラグインが必要です。 protoc のプラグインシステムはどのように機能しますか?上記の grpc を例として取り上げます。

ここには --go_out パラメータがあります。呼び出しているプラグインは protoc-gen-go なので、パラメーターは go_out と呼ばれます。名前が XXX の場合、パラメータは XXX_out と呼ばれます。

protoc が実行されると、最初に protobuf ファイルが解析され、プロトコルバッファーでエンコードされた記述データのセットが生成されます。まず go プラグインが protoc に含まれているかどうかを判断し、次に $PATH で protoc-gen-go を探します。見つからない場合はエラーを報告します。 protoc-gen-go を実行します。 protoc-gen-go コマンドを実行し、stdin 経由で説明データをプラグインコマンドに送信します。プラグインはファイルの内容を生成した後、プロトコルバッファーでエンコードされたデータを標準出力に入力して、protoc に特定のファイルを生成するように指示します。

plugins=grpc は、protoc-gen-go を呼び出すために付属するプラグインです。これを使用しない場合、Go でメッセージが生成されるだけですが、このプラグインを使用して grpc 関連のコードを生成できます。

Protoc プラグインをカスタマイズする

Hello インターフェイスのタイミングを protobuf に追加した場合、コードを直接生成するように protoc プラグインをカスタマイズできますか?

syntax = "proto3";  
package api;  
option  go_package="./api";  
service HelloService {  
  rpc Hello (String) returns (String) {}  
}  
message String {  
  string value = 1;
}

ログイン後にコピー

客観的

この記事の私の目標は、次のような RPC サーバー側コードとクライアント側コードを生成するために使用されるプラグインを作成することでした。

// HelloService_rpc.pb.go
type HelloServiceInterface interface {  
    Hello(String, *String) error  
}  

func RegisterHelloService(  
    srv *rpc.Server, x HelloServiceInterface,  
) error {  
    if err := srv.RegisterName("HelloService", x); err != nil {  
       return err  
    }  
    return nil  
}  

type HelloServiceClient struct {  
    *rpc.Client  
}  

var _ HelloServiceInterface = (*HelloServiceClient)(nil)  

func DialHelloService(network, address string) (  
    *HelloServiceClient, error,  
) {  
    c, err := rpc.Dial(network, address)  
    if err != nil {  
       return nil, err  
    }  
    return &HelloServiceClient{Client: c}, nil  
}  

func (p *HelloServiceClient) Hello(  
    in String, out *String,  
) error {  
    return p.Client.Call("HelloService.Hello", in, out)  
}

ログイン後にコピー

これにより、ビジネスコードは次のように変更されます

// service
func main() {  
    listener, err := net.Listen("tcp", ":1234")  
    if err != nil {  
       log.Fatal("ListenTCP error:", err)  
    }  
    _ = api.RegisterHelloService(rpc.DefaultServer, new(HelloService))  
    for {  
       conn, err := listener.Accept()  
       if err != nil {  
          log.Fatal("Accept error:", err)  
       }  
       go rpc.ServeConn(conn)  
    }  
}  

type HelloService struct{}  

func (p *HelloService) Hello(request api.String, reply *api.String) error {  
    log.Println("HelloService.proto Hello")  
    *reply = api.String{Value: "Hello:" + request.Value}  
    return nil  
}
// client.go
func main() {  
    client, err := api.DialHelloService("tcp", "localhost:1234")  
    if err != nil {  
       log.Fatal("net.Dial:", err)  
    }  
    reply := &api.String{}  
    err = client.Hello(api.String{Value: "Hello"}, reply)  
    if err != nil {  
       log.Fatal(err)  
    }  
    log.Println(reply)  
}

ログイン後にコピー

生成されたコードに基づくと、ワークロードはすでにはるかに小さくなり、エラーの可能性もすでに非常に低くなります。良いスタートです。

上記の API コードに基づいて、テンプレートファイルを抽出できます:

const tmplService = `  
import (  
    "net/rpc")  
type {{.ServiceName}}Interface interface {  
func Register{{.ServiceName}}(  
    if err := srv.RegisterName("{{.ServiceName}}", x); err != nil {        return err    }    return nil}  
    *rpc.Client}  
func Dial{{.ServiceName}}(network, address string) (  
{{range $_, $m := .MethodList}}  
    return p.Client.Call("{{$root.ServiceName}}.{{$m.MethodName}}", in, out)}  
`

ログイン後にコピー

テンプレート全体は明確で、その中には MethodName、ServiceName などのプレースホルダーがいくつかありますが、これについては後で説明します。

プラグインを開発するにはどうすればよいですか?

Google は Go 言語 API 1 をリリースしました。これにより、プラグイン開発の難易度が大幅に軽減される新しいパッケージ google.golang.org/protobuf/compile R/protogen が導入されました。

First of all, we create a go language project, such as protoc-gen-go-spprpc
Then we need to define a protogen.Options, then call its Run method, and pass in a func(*protogen.Plugin) error callback. This is the end of the main process code.
We can also set the ParamFunc parameter of protogen.Options, so that protogen will automatically parse the parameters passed by the command line for us. Operations such as reading and decoding protobuf information from standard input, encoding input information into protobuf and writing stdout are all handled by protogen. What we need to do is to interact with protogen.Plugin to implement code generation logic.

The most important thing for each service is the name of the service, and then each service has a set of methods. For the method defined by the service, the most important thing is the name of the method, as well as the name of the input parameter and the output parameter type. Let's first define a ServiceData to describe the meta information of the service:

// ServiceData 
type ServiceData struct {  
    PackageName string  
    ServiceName string  
    MethodList  []Method  
}
// Method 
type Method struct {  
    MethodName     string  
    InputTypeName  string  
    OutputTypeName string  
}

ログイン後にコピー

Then comes the main logic, and the code generation logic, and finally the call to tmpl to generate the code.

func main() {  
    protogen.Options{}.Run(func(gen *protogen.Plugin) error {  
       for _, file := range gen.Files {  
          if !file.Generate {  
             continue  
          }  
          generateFile(gen, file)  
       }  
       return nil  
    })  
}  

// generateFile function definition
func generateFile(gen *protogen.Plugin, file *protogen.File) {  
    filename := file.GeneratedFilenamePrefix + "_rpc.pb.go"  
    g := gen.NewGeneratedFile(filename, file.GoImportPath)  
    tmpl, err := template.New("service").Parse(tmplService)  
    if err != nil {  
       log.Fatalf("Error parsing template: %v", err)  
    }  
    packageName := string(file.GoPackageName)  
// Iterate over each service to generate code
    for _, service := range file.Services {  
       serviceData := ServiceData{  
          ServiceName: service.GoName,  
          PackageName: packageName,  
       }  
       for _, method := range service.Methods {  
          inputType := method.Input.GoIdent.GoName  
          outputType := method.Output.GoIdent.GoName  

          serviceData.MethodList = append(serviceData.MethodList, Method{  
             MethodName:     method.GoName,  
             InputTypeName:  inputType,  
             OutputTypeName: outputType,  
          })  
       }  
// Perform template rendering
       err = tmpl.Execute(g, serviceData)  
       if err != nil {  
          log.Fatalf("Error executing template: %v", err)  
       }  
    }  
}

ログイン後にコピー

Debug plugin

Finally, we put the compiled binary execution file protoc-gen-go-spprpc in $PATH, and then run protoc to generate the code we want.

protoc --go_out=.. --go-spprpc_out=.. HelloService.proto

ログイン後にコピー

Because protoc-gen-go-spprpc has to depend on protoc to run, it's a bit tricky to debug. We can use

fmt.Fprintf(os.Stderr, "Fprintln: %v\n", err)

ログイン後にコピー

To print the error log to debug.

Summary

That's all there is to this article. We first implemented an RPC call using protobuf and then created a protobuf plugin to help us generate the code. This opens the door for us to learn protobuf + RPC, and is our path to a thorough understanding of gRPC. I hope everyone can master this technology.