C FFI를 사용하여 Dart에서 JAX 프로그램 실행

? 머신러닝을 위해 Dart와 JAX를 결합하는 이유는 무엇입니까?

애플리케이션을 구축할 때는 올바른 도구를 선택하는 것이 중요합니다. 여러분은 고성능, 손쉬운 개발, 원활한 크로스 플랫폼 배포를 원합니다. 인기 있는 프레임워크는 장단점을 제공합니다.

• C 는 속도를 제공하지만 개발 속도를 늦출 수 있습니다.
• Dart(Flutter 포함)는 속도가 느리지만 메모리 관리 및 크로스 플랫폼 개발을 단순화합니다.

하지만 여기에 문제가 있습니다. 대부분의 프레임워크에는 강력한 네이티브 기계 학습(ML) 지원이 부족합니다. 이러한 격차는 이러한 프레임워크가 AI 붐보다 앞서기 때문에 존재합니다. 질문은 다음과 같습니다.

ML을 애플리케이션에 효율적으로 통합하려면 어떻게 해야 합니까?

ONNX Runtime과 같은 일반적인 솔루션을 사용하면 애플리케이션 통합을 위해 ML 모델을 내보낼 수 있지만 CPU에 최적화되어 있지 않거나 일반화된 알고리즘에 충분히 유연하지 않습니다.

다음과 같은 Python 라이브러리인 JAX를 입력하세요.

• 최적화된 ML 및 범용 알고리즘 작성이 가능합니다.
• CPU, GPU, TPU에서 플랫폼에 구애받지 않는 실행을 제공합니다.
• autograd 및 JIT 컴파일과 같은 최첨단 기능을 지원합니다.

이 기사에서는 다음 방법을 설명합니다.

1. Python으로 JAX 프로그램을 작성합니다.
2. XLA 사양을 생성합니다.
3. C FFI를 사용하여 Dart에 최적화된 JAX 코드를 배포합니다.

---

? JAX 란 무엇입니까?

JAX는 스테로이드를 사용하는 NumPy와 같습니다. Google에서 개발한 이 라이브러리는 ML에 액세스할 수 있으면서도 강력하게 만드는 낮은 수준의 고성능 라이브러리입니다.

• 플랫폼에 구애받지 않음: 코드는 수정 없이 CPU, GPU, TPU에서 실행됩니다.
• 속도: XLA 컴파일러로 구동되는 JAX는 실행을 최적화하고 가속화합니다.
• 유연성: ML 모델과 일반 알고리즘 모두에 적합합니다.

다음은 NumPy와 JAX를 비교하는 예입니다.

# NumPy version
import numpy as np  
def assign_numpy():  
  a = np.empty(1000000)  
  a[:] = 1  
  return a  

# JAX version
import jax.numpy as jnp  
import jax  

@jax.jit  
def assign_jax():  
  a = jnp.empty(1000000)  
  return a.at[:].set(1)  

Google Colab의 벤치마킹을 통해 JAX의 성능 우위가 드러났습니다.

• CPU 및 GPU: JAX는 NumPy보다 빠릅니다.
• TPU: 데이터 전송 비용으로 인해 대형 모델의 경우 속도 향상이 눈에 띄게 나타납니다.

이러한 유연성과 속도 덕분에 JAX는 성능이 중요한 프로덕션 환경에 이상적입니다.

---

?️ JAX를 프로덕션에 도입

클라우드 마이크로서비스와 로컬 배포

• 클라우드: 컨테이너화된 Python 마이크로서비스는 클라우드 기반 컴퓨팅에 적합합니다.
• 로컬: Python 인터프리터를 제공하는 것은 로컬 앱에 적합하지 않습니다.

솔루션: JAX의 XLA 컴파일 활용

JAX는 Python 코드를 C XLA 라이브러리를 사용하여 컴파일하고 실행할 수 있는 HLO(High-level Optimizer) 사양으로 변환합니다. 이를 통해 다음이 가능해집니다.

1. Python으로 알고리즘 작성.
2. C 라이브러리를 통해 기본적으로 실행합니다.
3. FFI(외부 함수 인터페이스)를 통해 Dart와 통합합니다.

---

✍️ 단계별 통합

1. HLO 프로토 생성

JAX 함수를 작성하고 HLO 표현을 내보냅니다. 예:

# NumPy version
import numpy as np  
def assign_numpy():  
  a = np.empty(1000000)  
  a[:] = 1  
  return a  

# JAX version
import jax.numpy as jnp  
import jax  

@jax.jit  
def assign_jax():  
  a = jnp.empty(1000000)  
  return a.at[:].set(1)  

HLO를 생성하려면 JAX 저장소에서 jax_to_ir.py 스크립트를 사용하세요.

import jax.numpy as jnp  

def fn(x, y, z):  
  return jnp.dot(x, y) / z  

결과 파일(fn_hlo.txt 및 fn_hlo.pb)을 앱의 자산 디렉토리에 배치하세요.

---

2. C 동적 라이브러리 구축

JAX의 C 예제 코드 수정

JAX 저장소를 복제하고 jax/examples/jax_cpp로 이동합니다.

• main.h 헤더 파일을 추가합니다.

python jax_to_ir.py \
  --fn jax_example.prog.fn \
  --input_shapes '[("x", "f32[2,2]"), ("y", "f32[2,2")]' \
  --constants '{"z": 2.0}' \
  --ir_format HLO \
  --ir_human_dest /tmp/fn_hlo.txt \
  --ir_dest /tmp/fn_hlo.pb

• 공유 라이브러리를 생성하려면 BUILD 파일을 업데이트하세요.

#ifndef MAIN_H  
#define MAIN_H  

extern "C" {  
  int bar(int foo);  
}  

#endif  

Bazel을 사용하여 컴파일:

cc_shared_library(  
   name = "jax",  
   deps = [":main"],  
   visibility = ["//visibility:public"],  
)  

출력 디렉터리에서 컴파일된 libjax.dylib를 찾을 수 있습니다.

---

3. FFI를 사용하여 Dart를 C와 연결

C 라이브러리와 통신하려면 Dart의 FFI 패키지를 사용하세요. jax.dart 파일을 만듭니다.

bazel build examples/jax_cpp:jax  

프로젝트 디렉토리에 동적 라이브러리를 포함하세요. 다음으로 테스트해 보세요.

import 'dart:ffi';  
import 'package:dynamic_library/dynamic_library.dart';  

typedef FooCFunc = Int32 Function(Int32 bar);  
typedef FooDartFunc = int Function(int bar);  

class JAX {  
  late final DynamicLibrary dylib;  

  JAX() {  
    dylib = loadDynamicLibrary(libraryName: 'jax');  
  }  

  Function get _bar => dylib.lookupFunction<FooCFunc, FooDartFunc>('bar');  

  int bar(int foo) {  
    return _bar(foo);  
  }  
}  

콘솔에서 C 라이브러리의 출력을 볼 수 있습니다.

---

? 다음 단계

이 설정을 통해 다음을 수행할 수 있습니다.

• JAX 및 XLA를 사용하여 ML 모델을 최적화합니다.
• 강력한 알고리즘을 로컬에서 실행하세요.

잠재적인 사용 사례는 다음과 같습니다.

• 검색 알고리즘(예: A*).
• 조합 최적화(예: 예약)
• 이미지 처리(예: 가장자리 감지).

JAX는 Python 기반 개발과 프로덕션 수준 성능 간의 격차를 해소하여 ML 엔지니어가 하위 수준 C 코드에 대해 걱정하지 않고 알고리즘에 집중할 수 있도록 해줍니다.

---

우리는 무제한 채팅 토큰과 장기 메모리를 갖춘 최첨단 AI 플랫폼을 구축하여 시간이 지남에 따라 진화하는 원활한 상황 인식 상호 작용을 보장합니다.

완전 무료이며 현재 IDE 내에서도 사용해 볼 수 있습니다.

위 내용은 C FFI를 사용하여 Dart에서 JAX 프로그램 실행의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!