Numpy 中大型数组的内存分配约束
在 Ubuntu 18 上尝试分配大型 numpy 数组时遇到错误,“无法分配具有形状和数据类型的数组”,在 MacOS 上不会遇到此问题。造成这种差异的原因在于系统的过量使用处理模式。
过量使用处理和内存分配
过量使用处理模式决定了系统如何管理内存分配请求。在默认模式 (0) 下,内核检查是否有足够的物理内存来提交分配请求。如果不是,则拒绝分配。在过度使用模式 1 下,无论可用物理内存如何,内核始终允许分配。
解决方案
要在 Ubuntu 上解决此问题,您需要启用过度使用模式1. 以 root 身份运行以下命令:
$ echo 1 > /proc/sys/vm/overcommit_memory
这会将过度使用处理模式更改为1,允许分配大型numpy数组。
稀疏数组和虚拟内存
过度使用模式1对于稀疏数组很有用,其中只有一小部分实际使用了分配的内存。这是因为系统只将物理内存提交给显式写入的页面,从而节省物理内存。
警告
需要注意的是,在过度使用模式下1 允许大量分配,如果分配的内存超过可用物理内存,可能会导致潜在的系统不稳定。谨慎使用过度使用模式 1,并密切监视系统的内存使用情况。
以上是为什么我无法在 Ubuntu 上分配大型 NumPy 数组,如何修复它?的详细内容。更多信息请关注PHP中文网其他相关文章!