Menggunakan model pembelajaran mesin adalah penting untuk menjadikan aplikasi kecerdasan buatan berfungsi, dan untuk menyediakan model dengan berkesan dalam persekitaran pengeluaran, TensorFlow Serving menyediakan penyelesaian yang boleh dipercayai. Apabila model dilatih dan bersedia untuk digunakan, adalah penting untuk menyampaikannya dengan cekap untuk mengendalikan permintaan masa nyata. TensorFlow Serving ialah alat berkuasa yang membantu menggunakan model pembelajaran mesin dengan lancar dalam persekitaran pengeluaran.
Dalam artikel ini, kami akan menyelami langkah-langkah yang terlibat dalam menggunakan model dalam Python menggunakan TensorFlow Serving.
Penempatan model melibatkan penyediaan model pembelajaran mesin terlatih untuk ramalan masa nyata. Ini bermakna memindahkan model daripada persekitaran pembangunan kepada sistem pengeluaran yang boleh mengendalikan permintaan masuk dengan cekap. TensorFlow Serving ialah sistem yang dibina khas dan berprestasi tinggi yang direka untuk menggunakan model pembelajaran mesin.
Pertama, kami perlu memasang TensorFlow Serving pada sistem kami. Sila ikut langkah di bawah untuk menyediakan TensorFlow Serving -
Mula-mula pasang TensorFlow Serving menggunakan pip pengurus pakej. Buka command prompt atau terminal dan masukkan arahan berikut -
pip install tensorflow-serving-api
Selepas pemasangan, mulakan pelayan TensorFlow Serving dengan menjalankan arahan berikut -
tensorflow_model_server --rest_api_port=8501 --model_name=my_model --model_base_path=/path/to/model/directory
Ganti `/path/to/model/directory` dengan laluan di mana model terlatih disimpan.
Sebelum menggunakan model, ia perlu disimpan dalam format yang boleh difahami oleh TensorFlow Serving. Ikut langkah ini untuk menyediakan model anda untuk penggunaan -
Dalam skrip Python, gunakan kod berikut untuk menyimpan model terlatih ke dalam format SavedModel -
import tensorflow as tf # Assuming `model` is your trained TensorFlow model tf.saved_model.save(model, '/path/to/model/directory')
Tandatangan model memberikan maklumat tentang tensor input dan output model. Gunakan fungsi `tf.saved_model.signature_def_utils.build_signature_def` untuk mentakrifkan tandatangan model. Ini adalah contoh -
inputs = {'input': tf.saved_model.utils.build_tensor_info(model.input)}
outputs = {'output': tf.saved_model.utils.build_tensor_info(model.output)}
signature = tf.saved_model.signature_def_utils.build_signature_def(
inputs=inputs,
outputs=outputs,
method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME
)
Untuk menyimpan model bersama tandatangan, gunakan kod berikut -
builder = tf.saved_model.builder.SavedModelBuilder('/path/to/model/directory')
builder.add_meta_graph_and_variables(
sess=tf.keras.backend.get_session(),
tags=[tf.saved_model.tag_constants.SERVING],
signature_def_map={
tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature
}
)
builder.save
()
Sekarang model kami sudah sedia, tiba masanya untuk menyajikannya menggunakan TensorFlow Serving. Sila ikut langkah di bawah -
Dalam skrip Python, gunakan protokol gRPC untuk mewujudkan sambungan dengan TensorFlow Serving. Ini adalah contoh -
from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc
channel = grpc.insecure_channel('localhost:8501')
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
Untuk membuat ramalan, cipta mesej protobuf permintaan dan nyatakan nama model dan nama tandatangan. Ini adalah contoh -
request = predict_pb2.PredictRequest() request.model_spec.name = 'my_model' request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))
Ganti `data` dengan data input yang anda ingin ramalkan.
Hantar permintaan kepada TensorFlow Serving dan dapatkan respons. Ini adalah contoh -
response = stub.Predict(request, timeout_seconds) output = tf.contrib.util.make_ndarray(response.outputs['output'])
`timeout_seconds` menentukan masa maksimum untuk menunggu respons.
Untuk memastikan model yang digunakan berfungsi dengan baik, ia mesti diuji dengan input sampel. Berikut ialah cara untuk menguji model yang digunakan -
Buat satu set data input sampel yang sepadan dengan format input yang dijangkakan model.
Buat dan hantar permintaan kepada model yang digunakan.
request = predict_pb2.PredictRequest() request.model_spec.name = 'my_model' request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))
Bandingkan output yang diterima daripada model yang digunakan dengan output yang dijangkakan. Langkah ini memastikan model membuat ramalan yang tepat.
Apabila permintaan ramalan meningkat, adalah penting untuk menskalakan penggunaan anda untuk mengendalikan jumlah permintaan masuk yang besar. Selain itu, penggunaan pemantauan membantu menjejak prestasi dan kesihatan model yang digunakan. Pertimbangkan untuk melaksanakan strategi penskalaan dan pemantauan berikut -
Gunakan berbilang contoh TensorFlow Serving untuk pengimbangan beban.
Simpan menggunakan platform seperti Docker dan Kubernetes.
Kumpul metrik seperti kependaman permintaan, kadar ralat dan daya pemprosesan.
Tetapkan makluman dan pemberitahuan untuk peristiwa kritikal.
Contoh program di bawah menunjukkan cara menggunakan model menggunakan sajian TensorFlow -
import tensorflow as tf
from tensorflow import keras
# Load the trained model
model = keras.models.load_model("/path/to/your/trained/model")
# Convert the model to the TensorFlow SavedModel format
export_path = "/path/to/exported/model"
tf.saved_model.save(model, export_path)
# Start the TensorFlow Serving server
import os
os.system("tensorflow_model_server --port=8501 --model_name=your_model --model_base_path={}".format(export_path))
Dalam contoh di atas, anda perlu menggantikan "/path/to/your/trained/model" dengan laluan sebenar ke model terlatih. Model akan dimuatkan menggunakan fungsi load_model() Keras.
Seterusnya, model akan ditukar kepada format TensorFlow SavedModel dan disimpan dalam laluan eksport yang ditentukan.
Kemudian gunakan fungsi os.system() untuk memulakan pelayan TensorFlow Serving, yang melaksanakan perintah tensorflow_model_server. Perintah ini menentukan port pelayan, nama model (model_anda) dan laluan asas di mana model yang dieksport berada.
Sila pastikan anda telah memasang TensorFlow Serving dan gantikan laluan fail dengan nilai yang sesuai untuk sistem anda.
Selepas pelayan bermula dengan jayanya, ia akan bersedia untuk menyediakan perkhidmatan ramalan. Anda boleh menggunakan program atau API lain untuk menghantar permintaan ramalan kepada pelayan dan pelayan akan bertindak balas dengan output ramalan berdasarkan model yang dimuatkan.
Ringkasnya, adalah penting untuk menggunakan model pembelajaran mesin dalam persekitaran pengeluaran untuk memanfaatkan keupayaan ramalan mereka. Dalam artikel ini, kami meneroka proses menggunakan model dalam Python menggunakan TensorFlow Serving. Kami berbincang untuk memasang TensorFlow Serving, bersiap sedia untuk menggunakan model, menyediakan model dan menguji prestasinya. Dengan langkah berikut, kami boleh menggunakan model TensorFlow dengan jayanya dan membuat ramalan masa nyata yang tepat.
Atas ialah kandungan terperinci Bagaimana untuk menggunakan model dalam Python menggunakan TensorFlow Serving?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
![[Web front-end] Permulaan pantas Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
