为什么我无法在 Ubuntu 上分配大型 NumPy 数组,如何修复它?

Linda Hamilton
发布: 2024-11-23 21:34:14
原创
325 人浏览过

Why Can't I Allocate Large NumPy Arrays on Ubuntu, and How Can I Fix It?

Numpy 中大型数组的内存分配约束

在 Ubuntu 18 上尝试分配大型 numpy 数组时遇到错误,“无法分配具有形状和数据类型的数组”,在 MacOS 上不会遇到此问题。造成这种差异的原因在于系统的过量使用处理模式。

过量使用处理和内存分配

过量使用处理模式决定了系统如何管理内存分配请求。在默认模式 (0) 下,内核检查是否有足够的物理内存来提交分配请求。如果不是,则拒绝分配。在过度使用模式 1 下,无论可用物理内存如何,内核始终允许分配。

解决方案

要在 Ubuntu 上解决此问题,您需要启用过度使用模式1. 以 root 身份运行以下命令:

$ echo 1 > /proc/sys/vm/overcommit_memory
登录后复制

这会将过度使用处理模式更改为1,允许分配大型numpy数组。

稀疏数组和虚拟内存

过度使用模式1对于稀疏数组很有用,其中只有一小部分实际使用了分配的内存。这是因为系统只将物理内存提交给显式写入的页面,从而节省物理内存。

警告

需要注意的是,在过度使用模式下1 允许大量分配,如果分配的内存超过可用物理内存,可能会导致潜在的系统不稳定。谨慎使用过度使用模式 1,并密切监视系统的内存使用情况。

以上是为什么我无法在 Ubuntu 上分配大型 NumPy 数组,如何修复它?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板