Einführung in Leistungsanalyse- und Optimierungstools
Es wird immer eine Zeit geben, in der Sie die Effizienz der Programmausführung verbessern möchten, sehen möchten, welcher Teil zu lange dauert, um zu einem Engpass zu werden, und Sie möchten es wissen die Speicher- und CPU-Auslastung, wenn das Programm ausgeführt wird. Zu diesem Zeitpunkt benötigen Sie einige Methoden zur Durchführung einer Leistungsanalyse und Optimierung des Programms.
Durch den Kontextmanager
Sie können einen Timer durch den Kontextmanager selbst implementieren. Sehen Sie sich an, was im vorherigen Einführungsartikel zu timeit getan wurde, und implementieren Sie die Verwaltungsfunktion, indem Sie die Methoden __enter__ und __exit__ definieren der Klasse. Timing, ähnlich wie:
# timer.py
import time
class Timer(object):
def __init__(self, verbose=False):
self.verbose = verbose
def __enter__(self):
self.start = time.time()
return self
def __exit__(self, *args):
self.end = time.time()
self.secs = self.end - self.start
self.msecs = self.secs * 1000 # 毫秒
if self.verbose:
print 'elapsed time: %f ms' % self.msecsWird wie folgt verwendet:
from timer import Timer
with Timer() as t:
foo()
print "=> foo() spends %s s" % t.secsVon Decorator
Ich denke jedoch, dass die Decorator-Methode eleganter ist
import time
from functools import wraps
def timer(function):
@wraps(function)
def function_timer(*args, **kwargs):
t0 = time.time()
result = function(*args, **kwargs)
t1 = time.time()
print ("Total time running %s: %s seconds" %
(function.func_name, str(t1-t0))
)
return result
return function_timerEs ist sehr einfach zu bedienen:
@timer
def my_sum(n):
return sum([i for i in range(n)])
if __name__ == "__main__":
my_sum(10000000)Laufergebnisse:
➜ python profile.py Total time running my_sum: 0.817697048187 seconds
Der systemeigene Zeitbefehl
Anwendungsbeispiele sind wie folgt folgt:
➜ time python profile.py Total time running my_sum: 0.854454040527 seconds python profile.py 0.79s user 0.18s system 98% cpu 0.977 total
Die obigen Ergebnisse veranschaulichen: 0,79 Sekunden CPU-Zeit werden für die Ausführung des Skripts und 0,18 Sekunden für die Ausführung der Kernelfunktion benötigt, also insgesamt 0,977 Sekunden.
Darunter Gesamtzeit - (Benutzerzeit, Systemzeit) = Zeit, die für die Eingabe und Ausgabe sowie die Systemausführung anderer Aufgaben verbraucht wird
Python Timeit-Modul
kann für Benchmarking verwendet werden, Das ist praktisch. Wiederholen Sie, wie oft ein Programm ausgeführt wird, um zu sehen, wie viele Blöcke das Programm ausführen kann. Weitere Informationen finden Sie im zuvor verfassten Artikel.
cProfile
Schauen Sie sich einfach das kommentierte Anwendungsbeispiel an.
#coding=utf8
def sum_num(max_num):
total = 0
for i in range(max_num):
total += i
return total
def test():
total = 0
for i in range(40000):
total += i
t1 = sum_num(100000)
t2 = sum_num(200000)
t3 = sum_num(300000)
t4 = sum_num(400000)
t5 = sum_num(500000)
test2()
return total
def test2():
total = 0
for i in range(40000):
total += i
t6 = sum_num(600000)
t7 = sum_num(700000)
return total
if __name__ == "__main__":
import cProfile
# # 直接把分析结果打印到控制台
# cProfile.run("test()")
# # 把分析结果保存到文件中
# cProfile.run("test()", filename="result.out")
# 增加排序方式
cProfile.run("test()", filename="result.out", sort="cumulative")cProfile speichert die Analyseergebnisse in der Datei result.out, sie werden jedoch in binärer Form gespeichert. Wenn Sie sie direkt anzeigen möchten, verwenden Sie die bereitgestellten pstats, um sie anzuzeigen.
import pstats
# 创建Stats对象
p = pstats.Stats("result.out")
# strip_dirs(): 去掉无关的路径信息
# sort_stats(): 排序，支持的方式和上述的一致
# print_stats(): 打印分析结果，可以指定打印前几行
# 和直接运行cProfile.run("test()")的结果是一样的
p.strip_dirs().sort_stats(-1).print_stats()
# 按照函数名排序，只打印前3行函数的信息, 参数还可为小数,表示前百分之几的函数信息
p.strip_dirs().sort_stats("name").print_stats(3)
# 按照运行时间和函数名进行排序
p.strip_dirs().sort_stats("cumulative", "name").print_stats(0.5)
# 如果想知道有哪些函数调用了sum_num
p.print_callers(0.5, "sum_num")
# 查看test()函数中调用了哪些函数
p.print_callees("test")Abfangen eines Ausgabebeispiels, um zu sehen, welche Funktionen von test() aufgerufen werden:
➜ python python profile.py
Random listing order was used
List reduced from 6 to 2 due to restriction <'test'>
Function called...
ncalls tottime cumtime
profile.py:24(test2) -> 2 0.061 0.077 profile.py:3(sum_num)
1 0.000 0.000 {range}
profile.py:10(test) -> 5 0.073 0.094 profile.py:3(sum_num)
1 0.002 0.079 profile.py:24(test2)
1 0.001 0.001 {range}profile.Profile
cProfile bietet auch Klassen, die angepasst werden können , können Sie es genauer analysieren. Weitere Informationen finden Sie in der Dokumentation.
Das Format ist wie folgt: Klassenprofil.Profile(timer=None, timeunit=0.0, subcalls=True,builtins=True)
Das folgende Beispiel stammt aus der offiziellen Dokumentation:
import cProfile, pstats, StringIO pr = cProfile.Profile() pr.enable() # ... do something ... pr.disable() s = StringIO.StringIO() sortby = 'cumulative' ps = pstats.Stats(pr, stream=s).sort_stats(sortby) ps.print_stats() print s.getvalue()
lineprofiler
lineprofiler是一个对函数进行逐行性能分析的工具，可以参见github项目说明，地址: https://github.com/rkern/line...
示例
#coding=utf8
def sum_num(max_num):
total = 0
for i in range(max_num):
total += i
return total
@profile # 添加@profile 来标注分析哪个函数
def test():
total = 0
for i in range(40000):
total += i
t1 = sum_num(10000000)
t2 = sum_num(200000)
t3 = sum_num(300000)
t4 = sum_num(400000)
t5 = sum_num(500000)
test2()
return total
def test2():
total = 0
for i in range(40000):
total += i
t6 = sum_num(600000)
t7 = sum_num(700000)
return total
test()通过 kernprof 命令来注入分析，运行结果如下：
➜ kernprof -l -v profile.py
Wrote profile results to profile.py.lprof
Timer unit: 1e-06 s
Total time: 3.80125 s
File: profile.py
Function: test at line 10
Line # Hits Time Per Hit % Time Line Contents
==============================================================
10 @profile
11 def test():
12 1 5 5.0 0.0 total = 0
13 40001 19511 0.5 0.5 for i in range(40000):
14 40000 19066 0.5 0.5 total += i
15
16 1 2974373 2974373.0 78.2 t1 = sum_num(10000000)
17 1 58702 58702.0 1.5 t2 = sum_num(200000)
18 1 81170 81170.0 2.1 t3 = sum_num(300000)
19 1 114901 114901.0 3.0 t4 = sum_num(400000)
20 1 155261 155261.0 4.1 t5 = sum_num(500000)
21 1 378257 378257.0 10.0 test2()
22
23 1 2 2.0 0.0 return totalhits（执行次数） 和 time（耗时） 值高的地方是有比较大优化空间的地方。
memoryprofiler
类似于"lineprofiler"对基于行分析程序内存使用情况的模块。github 地址：https://github.com/fabianp/me... 。ps:安装 psutil, 会分析的更快。
同样是上面"lineprofiler"中的代码，运行 python -m memory_profiler profile.py 命令生成结果如下:
➜ python -m memory_profiler profile.py
Filename: profile.py
Line # Mem usage Increment Line Contents
================================================
10 24.473 MiB 0.000 MiB @profile
11 def test():
12 24.473 MiB 0.000 MiB total = 0
13 25.719 MiB 1.246 MiB for i in range(40000):
14 25.719 MiB 0.000 MiB total += i
15
16 335.594 MiB 309.875 MiB t1 = sum_num(10000000)
17 337.121 MiB 1.527 MiB t2 = sum_num(200000)
18 339.410 MiB 2.289 MiB t3 = sum_num(300000)
19 342.465 MiB 3.055 MiB t4 = sum_num(400000)
20 346.281 MiB 3.816 MiB t5 = sum_num(500000)
21 356.203 MiB 9.922 MiB test2()
22
23 356.203 MiB 0.000 MiB return total
