为什么 NumPy 在 Ubuntu 上无法分配大型数组，如何修复？

无法分配具有形状和数据类型的数组

症状

在 Ubuntu 18 上的 NumPy 中分配大型数组时，用户可能会遇到“MemoryError：无法分配具有形状的数组”错误。尽管系统内存充足，也会发生这种情况。值得注意的是，macOS 上没有出现此类问题。

原因

问题源于系统的过量使用处理模式。在默认模式 (0) 下，内核可能会拒绝认为物理内存过多的分配请求。

解决方案

解决该错误：

1. 检查过量使用模式：

   $ cat /proc/sys/vm/overcommit_memory

   如果返回0，继续执行步骤 2。

2. 以 root 身份启用“始终过量使用”模式：

   $ echo 1 > /proc/sys/vm/overcommit_memory

3. 重试数组

示例

对于维度数组 (156816, 36, 53806)，数据类型为 uint8：

import numpy as np

# Allocate array with "always overcommit" mode enabled
a = np.zeros((156816, 36, 53806), dtype='uint8')
print(a.nbytes)  # 303755101056 bytes

只有当特定的数组元素被写入时，系统才会分配内存。这允许使用稀疏数组。

以上是为什么 NumPy 在 Ubuntu 上无法分配大型数组，如何修复？的详细内容。更多信息请关注PHP中文网其他相关文章！