首页 后端开发 Golang Wasm 组件模型和惯用的代码生成

Wasm 组件模型和惯用的代码生成

Dec 22, 2024 pm 02:39 PM

The Wasm Component Model and idiomatic codegen

Arcjet 将 WebAssembly 与我们的安全即代码 SDK 捆绑在一起。这有助于开发人员直接在代码中实现常见的安全功能,例如 PII 检测和机器人检测。大部分逻辑都嵌入到 Wasm 中,它为我们提供了一个具有接近本机性能的安全沙箱,并且是我们关于本地优先安全的理念的一部分。

跨平台运行相同代码的能力也很有帮助,因为我们构建了从 JavaScript 到其他技术堆栈的支持,但它需要一个重要的抽象来在语言之间进行翻译(我们的 Wasm 是从 Rust 编译的)。

WebAssembly 组件模型 是实现这一点的强大构造,但构造只能与它周围的实现和工具一样好。对于组件模型,这在主机(执行 WebAssembly 组件模型的环境)和来宾(以任何语言编写并编译到组件模型的 WebAssembly 模块;在我们的例子中为 Rust)的代码生成中最为明显。

组件模型定义了主机和来宾之间通信的语言,主要由类型、函数、导入和导出组成。它试图定义一种广泛的语言,但某些类型,例如变体、元组和资源,可能不存在于给定的通用编程语言中。

当工具尝试为其中一种语言生成代码时,作者通常需要发挥创意,将组件模型类型映射到该通用语言。例如,我们使用 jco 来生成 JS 绑定,并使用 { tag: string, value: string } 形式的 JavaScript 对象实现变体。它甚至有结果<_ _> 的特殊情况。类型,其中错误变体将转换为错误并抛出。

这篇文章探讨了 Wasm 组件模型如何实现跨语言集成、主机和来宾代码生成的复杂性,以及我们为用 Go 等语言实现惯用代码所做的权衡。

Go 的主机代码生成

在 Arcjet,我们必须构建一个工具来为用 Go 编程语言编写的主机生成代码。尽管我们的 SDK 尝试在本地分析所有内容,但这并不总是可行,因此我们有用 Go 编写的 API,它通过附加元数据增强本地决策。

Go 在设计上有一个非常小的语法和类型系统。他们直到最近才推出仿制药,而且仍然有很大的局限性。这使得从组件模型到 Go 的代码生成在各个方面都变得复杂。

例如,我们可以生成结果<_ _>;如:

type Result[V any] struct {
    value V
    err error
}
登录后复制
登录后复制
登录后复制

但是,这限制了错误位置可以提供的类型。所以我们需要将其编码为:

type Result[V any] struct {
    value V
    err error
}
登录后复制
登录后复制
登录后复制

这可以工作,但与其他惯用的 Go 一起使用会变得很麻烦,后者通常使用 val, err := doSomething() 约定来指示与我们上面定义的 Result 类型相同的语义。

此外,构造这个 Result 很麻烦:Result[int, string]{value: 1, err: ""}。我们可能希望匹配惯用模式,而不是提供 Result 类型,以便 Go 用户能够自然地使用我们生成的绑定。

惯用映射与直接映射

可以生成使语言感觉更自然的代码,也可以更直接地映射到组件模型类型。这两个选项都不适合 100% 的用例,因此由工具作者来决定哪个最有意义。

对于 Arcjet 工具,我们为选项选择了惯用的 Go 方法<_>;结果<_,_>类型,分别映射到 val, ok := doSomething() 和 val, err := doSomething()。对于变体,我们创建每个变体需要实现的接口,例如:

type Result[V any, E any] struct {
    value V
    err E
}
登录后复制
登录后复制

这在类型安全和不必要的包装之间取得了良好的平衡。当然,也有需要包裹的情况,但这些可以作为边缘情况处理。

开发人员可能会遇到非惯用的模式,从而导致代码冗长且难以维护。使用既定约定使代码感觉更熟悉,但确实需要一些额外的努力来实现。

我们决定采取惯用的方式来最大程度地减少摩擦,让我们的团队更轻松,这样我们就知道在代码库中移动时会发生什么。

调用约定

工具作者需要做出的最大决定之一是绑定的调用约定。这包括决定如何/何时编译导入、是否在设置或实例化期间编译 Wasm 模块以及清理。

在Arcjet代码库中,我们选择工厂/实例模式来优化性能。编译 WebAssembly 模块的成本很高,因此我们在 NewBotFactory() 构造函数中执行一次。随后的 Instantiate() 调用既快速又便宜,从而在生产工作负载中实现高吞吐量。

type BotConfig interface {
    isBotConfig()
}

func (AllowedBotConfig) isBotConfig() {}

func (DeniedBotConfig) isBotConfig() {}
登录后复制

消费者通过调用 NewBotFactory(ctx) 构造此 BotFactory 一次,并使用它通过 Instantiate 方法创建多个实例。

func NewBotFactory(
    ctx context.Context,
) (*BotFactory, error) {
    runtime := wazero.NewRuntime(ctx)

    // ... Imports are compiled here if there are any

    // Compiling the module takes a LONG time, so we want to do it once and hold
    // onto it with the Runtime
    module, err := runtime.CompileModule(ctx, wasmFileBot)
    if err != nil {
            return nil, err
    }

    return &BotFactory{runtime, module}, nil
}
登录后复制

如果模块已经编译过,实例化会非常快,就像我们在构造工厂时使用runtime.CompileModule() 所做的那样。

BotInstance 具有从组件模型定义导出的函数。

func (f *BotFactory) Instantiate(ctx context.Context) (*BotInstance, error) {
    if module, err := f.runtime.InstantiateModule(ctx, f.module, wazero.NewModuleConfig()); err != nil {
            return nil, err
    } else {
            return &BotInstance{module}, nil
    }
}
登录后复制

通常,在使用 BotInstance 后,我们希望清理它以确保不会泄漏内存。为此,我们提供了关闭函数。

func (i *BotInstance) Detect(
    ctx context.Context,
    request string,
    options BotConfig,
) (BotResult, error) {
   // ... Lots of generated code for binding to Wazero
}
登录后复制

如果你想清理整个BotFactory,也可以关闭它:

type Result[V any] struct {
    value V
    err error
}
登录后复制
登录后复制
登录后复制

我们可以将所有这些 API 放在一起来调用此 WebAssembly 模块上的函数:

type Result[V any, E any] struct {
    value V
    err E
}
登录后复制
登录后复制

这种工厂和实例构建模式需要使用更多代码,但选择它是为了在 Arcjet 服务的热路径中实现尽可能多的性能。

通过预先加载编译成本,我们确保在 Arcjet 服务的热路径中(延迟最重要)请求处理尽可能高效。这种权衡确实增加了初始化代码的复杂性,但它的回报是每个请求的开销大大降低 - 请参阅我们对权衡的讨论

权衡

任何时候我们需要集成两种或多种语言,都需要做出权衡——无论是使用原生 FFI 还是组件模型。

这篇文章讨论了我们在 Arcjet 遇到的一些挑战以及我们决定背后的原因。如果我们都基于同一组原语(例如组件模型和 WIT)进行构建,那么我们都可以利用同一组高质量原语,例如 wit-bindgenwit-component ,并构建适合每个用例的工具。这就是为什么制定标准对每个人都有帮助。

WebAssembly 组件模型为跨语言集成提供了强大的抽象,但将其类型转换为 Go 等语言会带来微妙的设计挑战。通过选择惯用的模式并有选择地优化性能(例如使用工厂/实例模式),我们可以在保持效率的同时提供自然的开发人员体验。

随着组件模型工具的发展,我们可以期待更精细的代码生成方法来进一步简化这些集成。

以上是Wasm 组件模型和惯用的代码生成的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Golang的目的:建立高效且可扩展的系统 Golang的目的:建立高效且可扩展的系统 Apr 09, 2025 pm 05:17 PM

Go语言在构建高效且可扩展的系统中表现出色,其优势包括:1.高性能:编译成机器码,运行速度快;2.并发编程:通过goroutines和channels简化多任务处理;3.简洁性:语法简洁,降低学习和维护成本;4.跨平台:支持跨平台编译,方便部署。

Golang和C:并发与原始速度 Golang和C:并发与原始速度 Apr 21, 2025 am 12:16 AM

Golang在并发性上优于C ,而C 在原始速度上优于Golang。1)Golang通过goroutine和channel实现高效并发,适合处理大量并发任务。2)C 通过编译器优化和标准库,提供接近硬件的高性能,适合需要极致优化的应用。

表演竞赛:Golang vs.C 表演竞赛:Golang vs.C Apr 16, 2025 am 12:07 AM

Golang和C 在性能竞赛中的表现各有优势:1)Golang适合高并发和快速开发,2)C 提供更高性能和细粒度控制。选择应基于项目需求和团队技术栈。

Golang vs. Python:性能和可伸缩性 Golang vs. Python:性能和可伸缩性 Apr 19, 2025 am 12:18 AM

Golang在性能和可扩展性方面优于Python。1)Golang的编译型特性和高效并发模型使其在高并发场景下表现出色。2)Python作为解释型语言,执行速度较慢,但通过工具如Cython可优化性能。

Golang vs. Python:主要差异和相似之处 Golang vs. Python:主要差异和相似之处 Apr 17, 2025 am 12:15 AM

Golang和Python各有优势:Golang适合高性能和并发编程,Python适用于数据科学和Web开发。 Golang以其并发模型和高效性能着称,Python则以简洁语法和丰富库生态系统着称。

C和Golang:表演至关重要时 C和Golang:表演至关重要时 Apr 13, 2025 am 12:11 AM

C 更适合需要直接控制硬件资源和高性能优化的场景,而Golang更适合需要快速开发和高并发处理的场景。1.C 的优势在于其接近硬件的特性和高度的优化能力,适合游戏开发等高性能需求。2.Golang的优势在于其简洁的语法和天然的并发支持,适合高并发服务开发。

Golang的影响:速度,效率和简单性 Golang的影响:速度,效率和简单性 Apr 14, 2025 am 12:11 AM

GoimpactsdevelopmentPositationalityThroughSpeed,效率和模拟性。1)速度:gocompilesquicklyandrunseff,ifealforlargeprojects.2)效率:效率:ITScomprehenSevestAndArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdArdEcceSteral Depentencies,增强开发的简单性:3)SimpleflovelmentIcties:3)简单性。

Golang和C:性能的权衡 Golang和C:性能的权衡 Apr 17, 2025 am 12:18 AM

Golang和C 在性能上的差异主要体现在内存管理、编译优化和运行时效率等方面。1)Golang的垃圾回收机制方便但可能影响性能,2)C 的手动内存管理和编译器优化在递归计算中表现更为高效。

See all articles