求解释一下python中bytearray和memoryview 的使用 以及适用的场景

Question

x = bytearray(b'abcde')
y = memoryview(x)
y[1:3] = b'yz'
x[1:3] = b'ab'
y[3] = ord(b'e')
x[3] = ord(b'f')

x = bytearray(b'abcde')
while len(x)>0:
x = x[1:]

x = bytearray(b'abcde')
y = memoryview(x)
while len(y)>0:
y = y[1:]

Answer 1

剛好最近用到memoryview來回答下這個問題。

bytearray是可變(mutable)的位元組序列，相對於Python2中的str，但str是不可變(immutable)的。
在Python3中由於str預設是unicode編碼，所以只有透過bytearray才能按位元組存取。

memoryview為支援buffer protocol[1,2]的物件提供了按位元組的記憶體存取接口，好處是不會有記憶體拷貝。
預設str和bytearray支援buffer procotol。
下面兩種行為的對比：
簡單點就是，str和bytearray的切片操作會產生新的切片str和bytearry並拷貝數據，使用memoryview之後不會。

1. 不使用memoryview

   >> a = 'aaaaaa'
   >> b = a[:2]    # 会产生新的字符串
   
   >> a = bytearray('aaaaaa')
   >> b = a[:2]    # 会产生新的bytearray
   >> b[:2] = 'bb' # 对b的改动不影响a
   >> a
   bytearray(b'aaaaaa')
   >> b
   bytearray(b'bb')
   

2. 使用memoryview

   >> a = 'aaaaaa'
   >> ma = memoryview(a)
   >> ma.readonly  # 只读的memoryview
   True
   >> mb = ma[:2]  # 不会产生新的字符串
   
   >> a = bytearray('aaaaaa')
   >> ma = memoryview(a)
   >> ma.readonly  # 可写的memoryview
   False
   >> mb = ma[:2]      # 不会会产生新的bytearray
   >> mb[:2] = 'bb'    # 对mb的改动就是对ma的改动
   >> mb.tobytes()
   'bb'
   >> ma.tobytes()
   'bbaaaa'
   

我的使用場景是網路程式中socket接收和接收資料的解析：

1. 使用memoryview之前的sock接收程式碼簡化如下

   def read(size):

   ret = '' 
   remain = size
   while True:
       data = sock.recv(remain)
       ret += data     # 这里不断会有新的str对象产生
       if len(data) == remain:
           break
       remain -= len(data)
   return ret
   

2. 使用meoryview之後，避免了不斷的字串拼接和新物件的產生

   def read(size):
       ret = memoryview(bytearray(size)) 
       remain = size
       while True:
           data = sock.recv(remain)
           length = len(data)
           ret[size - remain: size - remain + length] = data
           if len(data) == remain:
               break
           remain -= len(data)
       return ret
   

   回傳memoryview還有一個優點，在使用struct進行unpack解析時可以直接接收memoryview對象，非常有效率（避免大的str進行分段解析時大量的切片操作）。

例如：

    mv = memoryview('\x00\x01\x02\x00\x00\xff...')
    type, len = struct.unpack('!BI', mv[:5])
    ...

[1] https://jakevdp.github.io/blo...
[2] http://legacy.python.org/dev/...