Étape par étape, utiliser Python pour supprimer les fichiers à long chemin sous Windows-Tutoriel Python-php.cn

0x01 Contexte de l'article

Récemment, le stockage d'un système métier de l'entreprise de l'auteur approche de la limite, et le serveur ne pourra bientôt plus fonctionner car le système métier A contient plusieurs sous-systèmes A1, A2, A3... Un. , ces sous-systèmes Pour des raisons de conception, les fichiers de stockage intermédiaires du système sont tous stockés dans le même répertoire parent. La seule différence est que les noms des fichiers et des dossiers générés par les différents sous-systèmes commencent tous par le nom du sous-système. Par exemple, les fichiers générés par le sous-système A1 sont tous nommés A1xxxxx, et les noms de fichiers générés par le sous-système A2 sont tous A2xxxxx. Nous devons maintenant supprimer les fichiers historiques de certains de ces sous-systèmes pour libérer de l'espace sur le serveur. Des dizaines de téraoctets de données sont stockés ensemble. La suppression manuelle ne sera certainement pas possible. Cela ne peut être réalisé que grâce à l'automatisation du programme. Naturellement, j'ai pensé à Python. En fait, je ne pense pas que la nécessité de simplement supprimer des fichiers mérite une longue discussion, mais j'ai rencontré des problèmes spéciaux et intéressants et des solutions intéressantes, j'aimerais donc les partager avec vous, comme la suppression de fichiers très longs sous Systèmes Windows, comme par exemple Lire la documentation officielle en anglais pour trouver des solutions, etc. Entrons dans le vif du sujet.

0x02 Utilisez Python pour supprimer des fichiers

Il existe de nombreuses façons d'utiliser Python pour supprimer des fichiers. Le moyen le plus direct et le plus pratique consiste à appeler la fonction intégrée :

os.remove() Supprimer des fichiers
os. rmdir() Supprimer un dossier de fichiers vide
shutil.rmtree() supprime un dossier et tout le contenu du dossier (y compris les sous-répertoires et les fichiers)

Autrement dit, la solution à ce problème se concentre sur le traitement des trois fonctions ci-dessus . En ce qui concerne le problème que nous avons rencontré, le système d'entreprise A contient plusieurs sous-systèmes A1, A2, A3... An. Pour des raisons de conception, les fichiers de stockage intermédiaires de ces sous-systèmes sont tous stockés dans le même répertoire parent. les noms de fichiers et de dossiers générés par différents sous-systèmes commencent tous par le nom du sous-système. Par exemple, les fichiers générés par le sous-système A1 sont tous nommés A1xxxxxx, et les noms de fichiers générés par le sous-système A2 sont tous A2xxxxx. Le but est maintenant de supprimer les fichiers générés par le sous-système spécifié et de conserver les fichiers des autres sous-systèmes.

Décomposer les exigences résout en fait les 4 problèmes suivants :

1. Comment supprimer un fichier ?

2. Comment identifier qu'un fichier ou un dossier est généré par un certain sous-système ?

3. Comment déterminer si un chemin est un fichier ou un répertoire ?

4. Comment localiser les fichiers et dossiers générés par tous les sous-systèmes spécifiés ?

Pour la question 1, comme expliqué au début de cette section, vous pouvez utiliser la fonction intégrée de python pour supprimer :

os.remove("path") # 删除指定文件
os.rmdir("path") # 删除一个空文件夹
shutil.rmtree("path") #删除一个文件夹及该文件夹下所有内容（包括子目录及文件）

Copier après la connexion

Pour la question 2, la méthode de dénomination des fichiers et dossiers générés par un sous-système spécifique est un modèle fixe , par exemple, les noms de fichiers générés par le sous-système A1 sont tous A1xxxxx, ils peuvent donc être identifiés grâce à la correspondance de mots clés. Une manière possible est :

if keywords in filepath: # 如果文件名包含关键字keywords
os.remove(filepath) # 删除文件
else:
pass

Copier après la connexion

Pour la question 3, les méthodes de suppression de répertoires et de suppression de fichiers étant incohérentes, il est nécessaire de déterminer si un chemin est un répertoire ou un fichier avant de le supprimer, et de sélectionner la méthode de suppression appropriée en fonction de son tapez. C'est en python Vous pouvez utiliser des fonctions telles que **os.path.isdir()** pour porter des jugements, principalement les fonctions suivantes :

os.path.isdir("path") # 返回true则为目录，false则为文件
os.path.isfile("path") # 返回true则为文件，false则为目录

Copier après la connexion

Pour la question 4, comment localiser tous les fichiers à supprimer, ce problème est en fait une traversée de fichier de répertoire spécifié. Le problème est de savoir comment parcourir tous les dossiers et fichiers d'un répertoire spécifié. Pour ce problème, il existe généralement deux solutions, l'une est la méthode de parcours en profondeur d'abord et l'autre est la méthode de parcours en largeur d'abord. Dans cet exemple, l'efficacité des deux méthodes est la même, car nous finirons par toutes les parcourir. fichiers. De plus, heureusement, python est trop puissant. Ses fonctions intégrées nous ont aidé à implémenter une méthode de traversée de répertoire en largeur et la méthode os.walk("path"), qui consiste à parcourir tous les fichiers du répertoire de chemin et. dossiers, une utilisation typique est la suivante :

import os

path = "C:\A\"

for root, dirs, files in os.walk(path):
print(root)
print(dirs)
print(files)

Copier après la connexion

Dans l'exemple ci-dessus, root représente le chemin actuellement parcouru, dirs représente tous les sous-répertoires sous le chemin actuel et files représente tous les sous-fichiers sous le chemin actuel. De cette façon, tous les répertoires spécifiés peuvent être parcourus.

Les problèmes ont été décomposés. Combinons les problèmes pour terminer l'implémentation du code.

L'implémentation finale du code est :

import os
import shutil

path = "C:\A\"
keyword = "A1"

for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("删除文件夹: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("删除文件: %s" % rmpath)
os.remove(rmpath)

Copier après la connexion

C'est-à-dire parcourir le répertoire spécifié via la méthode de largeur en premier (os.walk()) et jugez le répertoire un par un. Vérifiez si tous les sous-répertoires et fichiers du mot-clé répondent aux conditions du mot-clé et supprimez-les si c'est le cas.

L'effet en cours est :

Étape par étape, utiliser Python pour supprimer les fichiers à long chemin sous Windows

Il semble que l'exigence ait été fondamentalement résolue. Cependant, lors du test réel, il a été constaté que certains répertoires profonds n'étaient pas supprimés, une erreur a été signalée. La description de l'erreur est la suivante :

Unexpected error: (< type 'exceptions.WindowsError'>, WindowsError(3, 'The system cannot find the path specified'), < traceback object at 0x0000000002714F88>)

Copier après la connexion

大致意思就是python找不到这个路径，可是为什么呢？为此，我继续进行一番资料查询，后来大致定位了是由于文件路径过长导致的，是由于windows系统用户态的默认路径长度不能超过256个字节导致的。但是官方说256个字节是最长，但为何能创建超过256的呢，所以既然能创建，那就一定能删除，但是需要一些方法，经过一番学习，找到了好几种方法，下面介绍其中一种最为实用的方法，另外几个比如使用压缩软件压缩后删除（百度知道的结果）适合手动但不适合编程解决。这个方法在下一节中继续讲述。

0x03 windows 文件系统关于长路径文件的相关定义

为解决windows下的长文件删除的问题，最为权威的资料莫过于windows官方的描述，我阅读了微软关于文件名长度的这一块的定义及说明，找到解决方案，微软的原文如下：

Étape par étape, utiliser Python pour supprimer les fichiers à long chemin sous Windows

关键意思如下：

1.Windows API 提供的文件路径理论上最长是 32767 个字节，普通状态下给用户使用是不超过256个字符，说是为了使用户操作更加方便。这里不得不吐槽一下了，确实操作方便了，但是方便的同时也可能带来不便，明明定义了32767这么长的字节，只给用256，未免太抠搜了一点

2.用户如果想要打破这个长度限制，可以通过一个特殊方式告诉windows系统自己想要使用超长文件，这个特殊的方式就是在绝对路径前加上** "?" **字符串。

3.这篇文档后面还有描述在windows10以后如何通过注册表的方式接触文件名长度限制，这里就没有截图了，因为不通用，win7怎么办呢？有兴趣的同学可以查看其原文链接阅读：https://docs.microsoft.com/en-US/windows/win32/fileio/maximum-file-path-limitation?tabs=cmd

好了，看到这，解决方法呼之欲出，其实简单得不能太简单，直接在绝对路径前加上一个"?"即可：

# 获取目标路径的绝对路径，并在路径前加上\?，
# 以解除windows的文件长度限制
path = '\\?\' + os.path.abspath(path)

Copier après la connexion

0x04 改造 python 程序，删除长路径文件

根据上一节，对python程序进一步进行改造，加入windows长文件名限制解除，最后的完美删除工具就成型了:

import os
import shutil

path = "C:\A\"
keyword = "A1"

# 获取目标路径的绝对路径，并在路径前加上\?，
# 以解除windows的文件长度限制
path = '\\?\' + os.path.abspath(path)

for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("删除文件夹: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("删除文件: %s" % rmpath)
os.remove(rmpath)

Copier après la connexion

虽然代码很短，只添加了一行，但是这一行，却完成了一个超级核心的任务，真可谓是灵魂一行啊，最后该工具中如在生产环境中发挥了其出色的作用，使服务器继续运转如飞了。