Python을 사용하여 Windows에서 긴 경로 파일을 삭제하는 단계별 방법-파이썬 튜토리얼-php.cn

0x01 기사 배경

최근 작성자 회사의 비즈니스 시스템 스토리지가 한계에 가까워지고 있으며 비즈니스 시스템 A에 여러 하위 시스템 A1, A2, A3이 포함되어 있으므로 곧 서버를 실행할 수 없게 됩니다. , 이러한 하위 시스템 설계상의 이유로 시스템의 중간 저장소 파일은 모두 동일한 상위 디렉터리에 저장됩니다. 유일한 차이점은 서로 다른 하위 시스템에서 생성된 파일 및 폴더의 이름이 모두 하위 시스템의 이름으로 시작된다는 것입니다. 예를 들어, A1 하위 시스템에서 생성된 파일 이름은 모두 A1xxxxxx이고, A2 하위 시스템에서 생성된 파일 이름은 모두 A2xxxxx입니다. 이제 서버 공간을 확보하기 위해 이러한 하위 시스템 중 일부의 기록 파일을 삭제해야 합니다. 수십 테라바이트의 데이터가 함께 저장됩니다. 이는 프로그램 자동화를 통해서만 달성할 수 있습니다. 자연스럽게 파이썬이 생각났어요. 사실 단순히 파일을 삭제해야 하는 필요성은 길게 논의할 가치가 없다고 생각하지만, 몇 가지 특별하고 흥미로운 문제와 몇 가지 흥미로운 해결 방법을 접했기 때문에 매우 긴 파일을 삭제하는 등의 내용을 여러분과 공유하고 싶습니다. 해결책을 찾으려면 공식 영어 문서를 읽어보세요. 요점을 살펴보겠습니다.

0x02 Python을 사용하여 파일 삭제

Python을 사용하여 파일을 삭제하는 방법은 여러 가지가 있습니다. 가장 직접적이고 편리한 방법은 내장 함수인

os.remove() 파일 삭제
os를 호출하는 것입니다. rmdir() 빈 파일 폴더 삭제
shutil.rmtree()는 폴더와 폴더 아래의 모든 내용(하위 디렉터리 및 파일 포함)을 삭제합니다.

즉, 이 문제에 대한 해결책은 위의 세 가지 기능을 다루는 데 중점을 둡니다. . 우리가 직면한 문제를 살펴보면, 비즈니스 시스템 A에는 여러 하위 시스템 A1, A2, A3... An이 포함되어 있습니다. 설계상의 이유로 이러한 하위 시스템의 중간 저장소 파일은 모두 동일한 상위 디렉터리에 저장됩니다. 서로 다른 하위 시스템에서 생성된 파일 및 폴더의 이름은 모두 하위 시스템 이름으로 시작됩니다. 예를 들어, A1 하위 시스템에서 생성된 파일의 이름은 모두 A1xxxxxx이고, A2 하위 시스템에서 생성된 파일 이름은 모두 A2xxxxx입니다. 이제 목적은 지정된 하위 시스템에서 생성된 파일을 삭제하고 다른 하위 시스템의 파일을 유지하는 것입니다.

요구 사항을 세분화하면 실제로 다음 4가지 문제가 해결됩니다.

1. 파일을 삭제하는 방법은 무엇입니까?

2. 파일이나 폴더가 특정 하위 시스템에 의해 생성되었는지 식별하는 방법은 무엇입니까?

3. 경로가 파일인지 디렉토리인지 확인하는 방법은 무엇입니까?

4. 지정된 모든 하위 시스템에서 생성된 파일과 폴더를 찾는 방법은 무엇입니까?

질문 1의 경우 이 섹션 시작 부분에 설명된 대로 Python의 내장 기능을 사용하여 삭제할 수 있습니다.

os.remove("path") # 删除指定文件
os.rmdir("path") # 删除一个空文件夹
shutil.rmtree("path") #删除一个文件夹及该文件夹下所有内容（包括子目录及文件）

로그인 후 복사

질문 2의 경우 특정 하위 시스템에서 생성된 파일 및 폴더의 이름 지정 방법은 고정 패턴입니다. 예를 들어, A1 하위 시스템에서 생성된 파일 이름은 모두 A1xxxxx이므로 키워드 일치를 통해 식별할 수 있습니다. 가능한 방법 중 하나는 다음과 같습니다.

if keywords in filepath: # 如果文件名包含关键字keywords
os.remove(filepath) # 删除文件
else:
pass

로그인 후 복사

질문 3의 경우 디렉터리 삭제와 파일 삭제 방법이 일치하지 않으므로 삭제하기 전에 경로가 디렉터리인지 파일인지 확인하고 그에 따라 적절한 삭제 방법을 선택해야 합니다. 이것은 Python에 있습니다. **os.path.isdir()**과 같은 함수를 사용하여 주로 다음 함수를 사용할 수 있습니다.

os.path.isdir("path") # 返回true则为目录，false则为文件
os.path.isfile("path") # 返回true则为文件，false则为目录

로그인 후 복사

질문 4의 경우 삭제할 모든 파일을 찾는 방법이 문제입니다. 실제로 지정된 디렉터리 파일 탐색입니다. 문제는 지정된 디렉터리의 모든 폴더와 파일을 탐색하는 방법입니다. 이 문제에는 일반적으로 두 가지 해결책이 있습니다. 하나는 깊이 우선 탐색 방법이고 다른 하나는 너비 우선 탐색 방법입니다. 이 예에서는 결국 모든 것을 탐색해야 하기 때문에 두 방법의 효율성은 동일합니다. 파일. 게다가 다행스럽게도 Python은 너무 강력합니다. Python의 내장 함수는 경로 디렉터리의 모든 파일을 탐색하는 너비 우선 디렉터리 탐색 메서드와 os.walk("path") 메서드를 구현하는 데 도움이 되었습니다.

import os

path = "C:\A\"

for root, dirs, files in os.walk(path):
print(root)
print(dirs)
print(files)

로그인 후 복사

위의 예에서 root는 현재 이동한 경로를 나타내고, dirs는 현재 경로 아래의 모든 하위 디렉터리를 나타내며, files는 현재 경로 아래의 모든 하위 파일을 나타냅니다. 이러한 방식으로 지정된 모든 디렉터리를 탐색할 수 있습니다.

문제가 분해되었으므로 문제를 결합하여 코드 구현을 완료하겠습니다.

최종 코드 구현은 다음과 같습니다.

import os
import shutil

path = "C:\A\"
keyword = "A1"

for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("删除文件夹: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("删除文件: %s" % rmpath)
os.remove(rmpath)

로그인 후 복사

즉, 너비 우선 메서드(os.walk())를 통해 지정된 디렉터리를 탐색하고 디렉토리를 하나씩 판단하십시오. 키워드 아래의 모든 하위 디렉토리와 파일이 키워드 조건을 충족하는지 확인하고, 일치하면 삭제하십시오.

실행 효과는

Python을 사용하여 Windows에서 긴 경로 파일을 삭제하는 단계별 방법

요구 사항이 기본적으로 해결된 것 같습니다. 그러나 실제 테스트에서는 일부 깊은 디렉터리가 삭제되지 않은 것으로 나타났습니다. 디렉터리를 삭제할 때 오류가 발생했습니다. 오류 설명은 다음과 같습니다:

Unexpected error: (< type 'exceptions.WindowsError'>, WindowsError(3, 'The system cannot find the path specified'), < traceback object at 0x0000000002714F88>)

로그인 후 복사

大致意思就是python找不到这个路径，可是为什么呢？为此，我继续进行一番资料查询，后来大致定位了是由于文件路径过长导致的，是由于windows系统用户态的默认路径长度不能超过256个字节导致的。但是官方说256个字节是最长，但为何能创建超过256的呢，所以既然能创建，那就一定能删除，但是需要一些方法，经过一番学习，找到了好几种方法，下面介绍其中一种最为实用的方法，另外几个比如使用压缩软件压缩后删除（百度知道的结果）适合手动但不适合编程解决。这个方法在下一节中继续讲述。

0x03 windows 文件系统关于长路径文件的相关定义

为解决windows下的长文件删除的问题，最为权威的资料莫过于windows官方的描述，我阅读了微软关于文件名长度的这一块的定义及说明，找到解决方案，微软的原文如下：

Python을 사용하여 Windows에서 긴 경로 파일을 삭제하는 단계별 방법

关键意思如下：

1.Windows API 提供的文件路径理论上最长是 32767 个字节，普通状态下给用户使用是不超过256个字符，说是为了使用户操作更加方便。这里不得不吐槽一下了，确实操作方便了，但是方便的同时也可能带来不便，明明定义了32767这么长的字节，只给用256，未免太抠搜了一点

2.用户如果想要打破这个长度限制，可以通过一个特殊方式告诉windows系统自己想要使用超长文件，这个特殊的方式就是在绝对路径前加上** "?" **字符串。

3.这篇文档后面还有描述在windows10以后如何通过注册表的方式接触文件名长度限制，这里就没有截图了，因为不通用，win7怎么办呢？有兴趣的同学可以查看其原文链接阅读：https://docs.microsoft.com/en-US/windows/win32/fileio/maximum-file-path-limitation?tabs=cmd

好了，看到这，解决方法呼之欲出，其实简单得不能太简单，直接在绝对路径前加上一个"?"即可：

# 获取目标路径的绝对路径，并在路径前加上\?，
# 以解除windows的文件长度限制
path = '\\?\' + os.path.abspath(path)

로그인 후 복사

0x04 改造 python 程序，删除长路径文件

根据上一节，对python程序进一步进行改造，加入windows长文件名限制解除，最后的完美删除工具就成型了:

import os
import shutil

path = "C:\A\"
keyword = "A1"

# 获取目标路径的绝对路径，并在路径前加上\?，
# 以解除windows的文件长度限制
path = '\\?\' + os.path.abspath(path)

for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("删除文件夹: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("删除文件: %s" % rmpath)
os.remove(rmpath)

로그인 후 복사

虽然代码很短，只添加了一行，但是这一行，却完成了一个超级核心的任务，真可谓是灵魂一行啊，最后该工具中如在生产环境中发挥了其出色的作用，使服务器继续运转如飞了。