Python의 지연 가져오기-지연 가져오기를 구현하는 방법

Python 프로그램에 가져오기 수가 많고 매우 느리게 시작되는 경우 지연 가져오기를 시도해야 합니다. 이 문서에서는 지연 가져오기를 수행하는 방법을 공유합니다. PEP0690[1]은 이 기능을 Python 컴파일러(-L) 또는 표준 라이브러리에 추가하도록 제안했지만 현재 Python 버전에서는 아직 이를 구현하지 않았습니다.

우리 모두 알고 있듯이 Python 응용 프로그램은 사용자의 실제 작업을 수행하기 전에 가져오기 작업을 수행합니다. 다른 모듈은 다른 위치에서 올 수 있고 일부 모듈을 실행하는 데 시간이 많이 걸릴 수 있으며 일부 모듈은 호출되지 않을 수 있습니다. 따라서 많은 모듈을 가져오는 것은 시간 낭비입니다.

그래서 지연 가져오기가 필요합니다. 지연 가져오기를 적용할 때 import foo를 실행하면 컴파일러가 모든 액세스를 발견하면 전역 전체 이름 공간(globals())에 foo라는 이름만 추가됩니다. 실제 가져오기 작업이 수행됩니다. foo의 코드에서만 가능합니다. 마찬가지로 from foo import bar는 네임스페이스에 bar를 추가하고 bar를 호출하는 코드를 만나면 foo를 가져옵니다.

구현을 위한 코드 작성

그럼 구현을 위한 코드 작성은 어떻게 할까요? 실제로 이를 구현하기 위해 코드를 작성할 필요는 없습니다. 이미 TensorFlow라는 게으른 가져오기 기능을 구현하는 프로젝트가 있습니다. 그 코드는 앞으로는 어떤 타사 라이브러리에도 의존하지 않습니다. 지연 가져오기가 필요한 경우 LazyLoader[2] 클래스를 직접 넣을 수 있습니다. 자신의 프로젝트에 복사하기만 하면 됩니다.

소스 코드는 다음과 같습니다.

# Code copied from https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/util/lazy_loader.py
"""A LazyLoader class."""

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import importlib
import types


class LazyLoader(types.ModuleType):
"""Lazily import a module, mainly to avoid pulling in large dependencies.

`contrib`, and `ffmpeg` are examples of modules that are large and not always
needed, and this allows them to only be loaded when they are used.
"""

# The lint error here is incorrect.
def __init__(self, local_name, parent_module_globals, name):# pylint: disable=super-on-old-class
self._local_name = local_name
self._parent_module_globals = parent_module_globals

super(LazyLoader, self).__init__(name)

def _load(self):
# Import the target module and insert it into the parent's namespace
module = importlib.import_module(self.__name__)
self._parent_module_globals[self._local_name] = module

# Update this object's dict so that if someone keeps a reference to the
# LazyLoader, lookups are efficient (__getattr__ is only called on lookups
# that fail).
self.__dict__.update(module.__dict__)

return module

def __getattr__(self, item):
module = self._load()
return getattr(module, item)

def __dir__(self):
module = self._load()
return dir(module)

코드 설명:

클래스 LazyLoader는 type.ModuleType에서 상속됩니다. 초기화 함수는 지연 모듈이 실제 모듈처럼 전역 변수에 올바르게 추가되도록 보장합니다. 모듈이 실제로 사용되면서 즉, __getattr__ 또는 __dir__이 실행되면 실제 모듈이 실제로 임포트되고 전역 변수가 실제 모듈을 가리키도록 업데이트되며 모든 상태(__dict__)가 상태로 업데이트됩니다. 지연된 로딩을 참조하여 모듈을 로딩하기 위해 방문할 때마다 로딩 과정을 거칠 필요가 없습니다.

코드 사용법:

일반적으로 다음과 같이 모듈을 가져옵니다.

import tensorflow.contrib as contrib

해당 지연 가져오기 버전은 다음과 같습니다.

contrib = LazyLoader('contrib', globals(), 'tensorflow.contrib')

PEP0690 권장되는 접근 방식

PEP0690의 제안은 모듈(C 코드)을 컴파일하는 것입니다. ) 레이어 구현을 통해 성능이 향상됩니다. 그것을 사용하는 방법에는 두 가지가 있습니다.

한 가지 방법

한 가지 방법은 Python 스크립트를 실행할 때 -L 매개 변수를 추가하는 것입니다. 예를 들어 다음 내용이 포함된 spam.py 파일이 두 개 있습니다.

import time
time.sleep(10)
print("spam loaded")

egg.py :

import spam
print("imports done")

Normal import 이 경우 10초 후에 "spamloaded"가 먼저 인쇄되고 그 다음 "imports done"이 인쇄됩니다. python -L egg.py를 실행하면 spam 모듈을 가져오지 않습니다. , 적용된 스팸 모듈은 전혀 사용되지 않습니다. egg.py의 내용이 다음과 같다면

import spam
print("imports done")
spam

python -L egg.py가 실행되면 "imports done"이 먼저 출력되고, 10초 후에 "spamloaded"가 출력됩니다.

두 번째

또 다른 방법은 표준 라이브러리 importlib 메소드를 호출하는 것입니다.

import importlib 
importlib.set_lazy_imports(True)

일부 모듈을 지연 로드할 수 없어 제외해야 하는 경우 다음을 수행할 수 있습니다.

import importlib 
importlib.set_lazy_imports(True,excluding=["one.mod", "another"])

이렇게 할 수도 있습니다. :

from importlib import eager_imports

with eager_imports():
import foo
import bar

마지막 한마디

실제 Python 명령줄 프로그램에서 전문가의 테스트를 거친 후 지연 가져오기를 적용하면 시작 시간이 70% 늘어나고 메모리 사용량이 40% 줄어들 수 있는데 이는 매우 인상적입니다.

References

[1]PEP0690: https://github.com/python/peps/blob/main/pep-0690.rst

[2]LazyLoader: https://github.com/tensorflow/tensorflow / 블롭/마스터/텐서플로우/python/util/lazy_loader.py

위 내용은 Python의 지연 가져오기-지연 가져오기를 구현하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!