Table des matières
Q51. Veuillez expliquer la signification de l'utilisation de args et kwargs
Q52 Comment supprimer des fichiers en Python ?
Q53.Expliquez comment accéder à un module écrit en Python depuis C ?
Q54 Vous utilisez l'opérateur // en Python ?
Q55. Comment supprimer les espaces de début d'une chaîne ?
Q56. Comment utiliser Python pour générer une séquence de Fibonacci ?
Q57. Comment convertir une chaîne en variable entière en Python ?
Q58 Comment générer un nombre aléatoire en Python ?
Q59. Comment mettre en majuscule la première lettre d'une chaîne ?
Q60. Comment vérifier que tous les caractères d'une chaîne sont alphanumériques ?
Q61. Qu'est-ce que la concaténation en Python ?
Q62. récursivité ?
Q63.
Q64. Qu'est-ce qu'un itérateur ?
Q65. Veuillez parler de la différence entre les générateurs et les itérateurs
list(zip([‘a’,‘b’,‘c’],[1,2,3]))
import os
len(‘Data 123’)
Q70.解释一些在Python中实现面向功能的编程的方法
Q71.编写一个Python程序来计算数字列表的总和
Q72.编写一个Python程序来读取文件中的随机行
Q73.编写一个Python程序来计算文本文件中的行数
Q74.请写一个Python逻辑,计算一个文件中的大写字母数量
Q75.在Python中为数值数据集编写排序算法
Q76.请解释或描述一下Django的架构
Q77.Django,Pyramid和Flask之间的差异
Q78.讨论Django架构
Q79.解释如何在Django中设置数据库
Q80.举例说明如何在Django中编写VIEW?
Q81.提到Django模板的组成部分。
Q82.在Django框架中解释会话的使用?
Q83.列出Django中的继承样式
Q84.什么是Python中的map函数?
Q85.如何在NumPy数组中获得N个最大值的索引?
Q87.NumPy阵列在(嵌套)Python列表中提供了哪些优势?
Q88. Expliquez l'utilisation des décorateurs
Q89 Quelle est la différence entre NumPy et SciPy ?
Q90. Comment utiliser NumPy/SciPy pour créer des tracés/visualisations 3D ?
Q91. Quelle est la différence entre scrapy et scrapy-redis ? Pourquoi choisir la base de données Redis ?
Q92. Quels frameworks ou modules de robots d'exploration avez-vous utilisés ?
Il existe deux moteurs principaux, MyISAM et InnoDB. Les principales différences sont les suivantes :
Q95. Que sont les requêtes associées et que sont-elles ?
Q96. Ou le multithread est mieux ? Pourquoi?
Q97. Optimisation de la base de données ?
Q98. Quels problèmes les robots distribués résolvent-ils principalement ?
Q99. Comment gérer le code de vérification pendant le processus du robot d'exploration ?
Q100 Anti-crawlers et contre-mesures courants ?
Maison développement back-end Tutoriel Python Quelles sont les questions d'entretien fréquemment posées en Python ?

Quelles sont les questions d'entretien fréquemment posées en Python ?

May 25, 2023 pm 11:59 PM
python

Q51. Veuillez expliquer la signification de l'utilisation de args et kwargs

Lorsque nous ne savons pas combien de paramètres transmettre à la fonction, par exemple lorsque nous transmettons une liste ou un tuple, nous utilisons *args :

def func(*args):

  for i in args:

      print(i) 

func(3,2,1,4,7)

3

2

1

4

7
Copier après la connexion

Quand nous ne le faisons pas. Je ne sais pas combien de paramètres transmettre. Lorsque vous utilisez des arguments de mots-clés, utilisez **kwargs pour collecter les arguments de mots-clés :

def func(**kwargs):

  for i in kwargs:

      print(i,kwargs[i])

func(a=1,b=2,c=7)

a.1

b.2

c.7
Copier après la connexion

Q52 Comment supprimer des fichiers en Python ?

Utilisez la commande os.remove(filename) ou os.unlink(filename)

Q53.Expliquez comment accéder à un module écrit en Python depuis C ?

Vous pouvez accéder aux modules écrits en Python en C via :

Module = = PyImport_ImportModule(“<modulename>”)
Copier après la connexion

Q54 Vous utilisez l'opérateur // en Python ?

Il s'agit d'un opérateur de division d'étage, utilisé pour diviser deux opérandes, le résultat est le quotient, et seuls les nombres avant le point décimal sont affichés.

Par exemple, 10 // 5 = 2 et 10,0 // 5,0 = 2,0.

Q55. Comment supprimer les espaces de début d'une chaîne ?

Les espaces de début d'une chaîne sont des espaces qui apparaissent avant le premier caractère non espace de la chaîne.

Nous utilisons la méthode Istrip() pour le supprimer de la chaîne.

’ Data123 '.lstrip()

Résultat :

'Data123 ’

La chaîne initiale contient à la fois des caractères de début et de suffixe. L'appel à Istrip() supprime les espaces de début. utilisez la méthode rstrip().

&#39;Data123    &#39;.rstrip()

&#39;Data123&#39;
Copier après la connexion

Q56. Comment utiliser Python pour générer une séquence de Fibonacci ?

a,b = 0, 1

  while b<100:

  print (b)

  a, b = b, a+b
Copier après la connexion

Q57. Comment convertir une chaîne en variable entière en Python ?

Si la chaîne ne contient que des caractères numériques, vous pouvez utiliser la fonction int() pour la convertir en entier.

int(‘22’)

Vérifions le type de variable :

type(&#39;22&#39;)

<class&#39;str&#39;>

type(int(&#39;22&#39;))

<class&#39;int&#39;>
Copier après la connexion

Q58 Comment générer un nombre aléatoire en Python ?

Pour générer des nombres aléatoires, nous pouvons importer la fonction random() du module random.

from random import random

random()

0.013501571090371978
Copier après la connexion

Nous pouvons également utiliser la fonction randint(), qui prend deux paramètres pour représenter un intervalle et renvoie un entier aléatoire dans l'intervalle.

from random import randint

randint(2,7)

4
Copier après la connexion

Q59. Comment mettre en majuscule la première lettre d'une chaîne ?

Le moyen le plus simple est d'utiliser la méthode capitalize().

&#39;daxie&#39;.capitalize()

&#39;Daxie&#39;
Copier après la connexion

Q60. Comment vérifier que tous les caractères d'une chaîne sont alphanumériques ?

Pour ce problème, nous pouvons utiliser la méthode isalnum().

&#39;DATA123&#39;.isalnum()

True

&#39;DATA123!&#39;.isalnum()

False
Copier après la connexion

Nous pouvons également utiliser d'autres méthodes :

&#39;123&#39;.isdigit()#检测字符串是否只由数字组成

True

&#39;123&#39;.isnumeric()#只针对unicode对象

True

&#39;data&#39;.islower()#是否都为小写

True

&#39;Data&#39;.isupper()#是否都为大写

False
Copier après la connexion

Q61. Qu'est-ce que la concaténation en Python ?

La connexion en Python consiste à connecter deux séquences ensemble. Nous utilisons l'opérateur + pour compléter :

&#39;22&#39;+&#39;33&#39;

‘2233&#39;

[1,2,3]+[4,5,6]

[1, 2,3, 4, 5, 6]

(2,3)+(4)

TypeError  Traceback (most recent call last)

<ipython-input-7-69a1660f2fc5> in <module>

----> 1 (2,3)+(4)

TypeError: can only concatenate tuple (not "int") to tuple
Copier après la connexion

Une erreur s'est produite ici car (4) est considéré comme un entier. Modifiez-le et exécutez à nouveau :

(2,3)+(4,)

(2, 3,4)
Copier après la connexion

Q62. récursivité ?

Quand une fonction s'appelle directement ou indirectement lors de son appel, c'est de la récursion. Mais pour éviter une boucle infinie, il doit y avoir une condition de fin. Par exemple :

def facto(n):

  if n==1: return 1

  return n*facto(n-1)

facto(5)

120
Copier après la connexion

Q63.

Le générateur générera une série de valeurs pour l'itération, c'est donc un objet itérable.

Il calcule en continu l'élément suivant pendant la boucle for et termine la boucle for dans des conditions appropriées.

Nous définissons une fonction qui "donne" les valeurs une par une, puis utilisons une boucle for pour la parcourir.

def squares(n):

  i=1

  while(i<=n):

      yield i**2

      i+=1

for i in squares(5):

  print(i)

1

4

9

16

25
Copier après la connexion

Q64. Qu'est-ce qu'un itérateur ?

Iterator est un moyen d'accéder aux éléments d'une collection.

L'objet itérateur commence à accéder à partir du premier élément de la collection jusqu'à ce que tous les éléments aient été accédés.

Les itérateurs ne peuvent qu'avancer et non reculer. Nous créons des itérateurs en utilisant la fonction inter().

odds=iter([1,2,3,4,5])

#每次想获取一个对象时,我们就调用next()函数

next (odds)

1

next (odds)

2

next (odds)

3

next (odds)

4

next (odds)

5
Copier après la connexion

Q65. Veuillez parler de la différence entre les générateurs et les itérateurs

1) Lorsque nous utilisons un générateur, nous créons une fonction lorsque nous utilisons un itérateur, nous utilisons les fonctions intégrées iter() et next(); 2) Dans le générateur, nous utilisons le mot-clé «yield’ pour générer/retourner un objet à chaque fois ;

3) Vous pouvez personnaliser le nombre d'instructions «yield’ est sauvegardé à chaque fois que la boucle est mise en pause. Les itérateurs n'ont besoin que d'un objet itérable pour itérer, et il n'est pas nécessaire d'utiliser des variables locales

5) Vous pouvez implémenter votre propre itérateur en utilisant des classes, mais vous ne pouvez pas implémenter de générateurs

6) Les générateurs fonctionnent rapidement et ont une syntaxe simple, plus simple ; ;

7) Les itérateurs peuvent économiser plus de mémoire.

Q66. A quoi sert la fonction zip() ?

Les novices en Python ne sont peut-être pas très familiers avec cette fonction. zip() peut renvoyer un itérateur de tuples.

list(zip([‘a’,‘b’,‘c’],[1,2,3]))

[(«a’,1), («b’, 2), («c’, 3)]

Ici, la fonction zip() associe les éléments de données dans les deux listes et crée un tuple à partir d'eux.

Q67. Comment utiliser Python pour savoir dans quel répertoire vous vous trouvez actuellement ?

Nous pouvons utiliser la fonction/méthode getcwd() pour l'importer depuis le module os.

import os

os.getcwd()

‘C:Users37410Desktop code»

Q68.

C'est aussi relativement simple, il suffit d'appeler la fonction len() sur la chaîne dont nous voulons calculer la longueur.

len(‘Data 123’)

8

Q69. Comment supprimer le dernier objet de la liste ?

Supprimez et renvoyez le dernier objet ou obj de la liste.

list.pop(obj = list [-1])
Copier après la connexion

Q70.解释一些在Python中实现面向功能的编程的方法

有时,当我们想要遍历列表时,一些方法会派上用场。

1)filter()

过滤器允许我们根据条件逻辑过滤一些值。

list(filter(lambda x:x> 5,range(8)))

[6,7]

2)map()
Copier après la connexion

Map将函数应用于iterable中的每个元素。

list(map(lambda x:x ** 2,range(8)))

[0,1,4,9,16,25,36,49]

3)reduce()
Copier après la connexion

在我们达到单个值之前,Reduce会反复减少序列顺序。

from functools import reduce

reduce(lambda x,y:xy,[1,2,3,4,5])

-13
Copier après la connexion

Q71.编写一个Python程序来计算数字列表的总和

def list_sum(num_List):如果len(num_List)== 1:

return num_List [0]

else:

return num_List [0] + list_sum(num_List [1:])

print(list_sum([3,4,5,6,11]))

29
Copier après la connexion

Q72.编写一个Python程序来读取文件中的随机行

import random

def random_line(fname):

lines = open(fname).read().splitlines()

return random.choice(lines)

print(random_line(&#39;test.txt&#39;))
Copier après la connexion

Q73.编写一个Python程序来计算文本文件中的行数

def file_lengthy(fname):

open(fname)as f:

for i,l in enumerate(f):

pass

return i + 1

print(“file of lines:”,file_lengthy(“test.txt”))
Copier après la connexion

Q74.请写一个Python逻辑,计算一个文件中的大写字母数量

import os

os.chdir(&#39;C:\Users\lifei\Desktop&#39;)

with open(&#39;Today.txt&#39;) as today:

count=0

for i in today.read():

if i.isupper():

count+=1

print(count)
Copier après la connexion

Q75.在Python中为数值数据集编写排序算法

以下代码可用于在Python中对列表进行排序:

list = ["1", "4", "0", "6", "9"]

list = [int(i) for i in list]

list.sort()

print (list)

Django有关
Copier après la connexion

Q76.请解释或描述一下Django的架构

对于Django框架遵循MVC设计,并且有一个专有名词:MVT,

M全拼为Model,与MVC中的M功能相同,负责数据处理,内嵌了ORM框架;

V全拼为View,与MVC中的C功能相同,接收HttpRequest,业务处理,返回HttpResponse;

T全拼为Template,与MVC中的V功能相同,负责封装构造要返回的html,内嵌了模板引擎

Q77.Django,Pyramid和Flask之间的差异

Flask是一个“微框架”,主要用于具有更简单要求的小型应用程序。

Pyramid适用于大型应用程序,具有灵活性,允许开发人员为他们的项目使用数据库,URL结构,模板样式等正确的工具。

Django也可以像Pyramid一样用于更大的应用程序。它包括一个ORM。

Q78.讨论Django架构

Django架构

开发人员提供模型,视图和模板,然后将其映射到URL,Django可以为用户提供服务。

Q79.解释如何在Django中设置数据库

Django使用SQLite作为默认数据库,它将数据作为单个文件存储在文件系统中。

如过你有数据库服务器-PostgreSQL,MySQL,Oracle,MSSQL-并且想要使用它而不是SQLite,那么使用数据库的管理工具为你的Django项目创建一个新的数据库。

无论哪种方式,在您的(空)数据库到位的情况下,剩下的就是告诉Django如何使用它。

这是项目的settings.py文件的来源。

我们将以下代码行添加到setting.py文件中:

DATABASES ={‘default’: {‘ENGINE’: ‘django.db.backends.sqlite3’, ‘NAME’: os.path.join(BASE_DIR, ‘db.sqlite3’),

Q80.举例说明如何在Django中编写VIEW?

这是我们在Django中使用write一个视图的方法:

from django.http import HttpResponse

import datetime

def Current_datetime(request):

now =datetime.datetime.now()

html ="<html><body>It is now %s</body></html>"%now

return HttpResponse(html)
Copier après la connexion

返回当前日期和时间,作为HTML文档。

Q81.提到Django模板的组成部分。

模板是一个简单的文本文件。

它可以创建任何基于文本的格式,如XML,CSV,HTML等。

模板包含在评估模板时替换为值的变量和控制模板逻辑的标记(%tag%)。

Q82.在Django框架中解释会话的使用?

Django提供的会话允许您基于每个站点访问者存储和检索数据。

Django通过在客户端放置会话ID cookie并在服务器端存储所有相关数据来抽象发送和接收cookie的过程。

所以数据本身并不存储在客户端。

从安全角度来看,这很好。

Q83.列出Django中的继承样式

在Django中,有三种可能的继承样式:

抽象基类:当你只希望父类包含而你不想为每个子模型键入的信息时使用;

多表继承:对现有模型进行子类化,并且需要每个模型都有自己的数据库表。

代理模型:只想修改模型的Python级别行为,而无需更改模型的字段。

数据分析

Q84.什么是Python中的map函数?

map函数执行作为第一个参数给出的函数,该函数作为第二个参数给出的iterable的所有元素。

如果给定的函数接受多于1个参数,则给出了许多迭代。

Q85.如何在NumPy数组中获得N个最大值的索引?

我们可以使用下面的代码在NumPy数组中获得N个最大值的索引:

importnumpy as np

arr =np.array([1, 3, 2, 4, 5])

print(arr.argsort()[-3:][::-1])

4 3 1
Copier après la connexion

Q86.如何用Python/ NumPy计算百分位数?

importnumpy as np

a =np.array([1,2,3,4,5]

p =np.percentile(a, 50) #Returns 50th percentile, e.g. median

print(p)

3
Copier après la connexion

Q87.NumPy阵列在(嵌套)Python列表中提供了哪些优势?

1)Python的列表是高效的通用容器。

它们支持(相当)有效的插入,删除,追加和连接,Python的列表推导使它们易于构造和操作。

2)有一定的局限性

它们不支持元素化加法和乘法等“向量化”操作,可以包含不同类型的对象这一事实意味着Python必须存储每个元素的类型信息,并且必须在操作时执行类型调度代码在每个元素上。

3)NumPy不仅效率更高,也更方便

Vous obtenez de nombreuses opérations vectorielles et matricielles, ce qui peut parfois éviter un travail inutile.

4) Les tableaux NumPy sont plus rapides

Vous pouvez utiliser NumPy, FFT, convolution, recherche rapide, statistiques de base, algèbre linéaire, histogrammes, etc.

Q88. Expliquez l'utilisation des décorateurs

Les décorateurs en Python sont utilisés pour modifier ou injecter du code dans des fonctions ou des classes.

À l'aide de décorateurs, vous pouvez envelopper un appel de méthode de classe ou de fonction afin qu'un morceau de code soit exécuté avant ou après l'exécution du code d'origine.

Les décorateurs peuvent être utilisés pour vérifier les autorisations, modifier ou suivre les paramètres transmis aux méthodes, enregistrer les appels à des méthodes spécifiques, etc.

Q89 Quelle est la différence entre NumPy et SciPy ?

Dans un monde idéal, NumPy ne contient que les types de données et opérations de tableau les plus élémentaires, tels que l'indexation, le tri, le remodelage et les fonctions d'éléments de base.

2) Tout le code numérique résidera dans SciPy. Malgré cela, NumPy maintient toujours son objectif de compatibilité ascendante et s'efforce de conserver toutes les fonctionnalités prises en charge par son prédécesseur.

Ainsi, bien qu'appartenant de manière plus appropriée à SciPy, NumPy inclut toujours certaines fonctions d'algèbre linéaire. Quoi qu'il en soit, SciPy contient une version plus complète du module d'algèbre linéaire et de nombreux autres algorithmes numériques que tout autre.

Si vous utilisez Python pour des calculs scientifiques, il est recommandé d'installer NumPy et SciPy. La plupart des nouvelles fonctionnalités appartiennent à SciPy plutôt qu'à NumPy.

Q90. Comment utiliser NumPy/SciPy pour créer des tracés/visualisations 3D ?

Comme pour le traçage 2D, les graphiques 3D dépassent la portée de NumPy et SciPy, mais tout comme le cas 2D, il existe des packages qui s'intègrent à NumPy.

Matplotlib fournit un traçage 3D de base dans le sous-package mplot3d, tandis que Mayavi utilise le puissant moteur VTK pour fournir une variété de fonctions de visualisation 3D de haute qualité.

Crawler et framework effrayant

Q91. Quelle est la différence entre scrapy et scrapy-redis ? Pourquoi choisir la base de données Redis ?

Scrapy est un framework d'exploration Python avec une efficacité d'exploration extrêmement élevée et une personnalisation élevée, mais il ne prend pas en charge la distribution.

Scrapy-redis est un ensemble de composants basés sur la base de données redis et fonctionnant sur le framework scrapy, qui permet à scrapy de prendre en charge des stratégies distribuées. Le côté Slaver partage la file d'attente des éléments, la file d'attente des demandes et l'empreinte digitale des demandes définies dans la base de données redis côté maître. .

Étant donné que Redis prend en charge la synchronisation maître-esclave et que les données sont mises en cache en mémoire, les robots d'exploration distribués basés sur Redis sont très efficaces dans la lecture à haute fréquence des requêtes et des données.

Q92. Quels frameworks ou modules de robots d'exploration avez-vous utilisés ?

Python est livré avec : urllib, urllib2

Tiers : requêtes

Framework : Scrapy

Les modules urllib et urllib2 effectuent des opérations liées à la demande d'URL, mais ils fournissent des fonctions différentes.

urllib2. : urllib2.urlopen peut accepter un objet Request ou une URL (lors de l'acceptation d'un objet Request, vous pouvez définir les en-têtes d'une URL). la raison pour laquelle urllib et urllib2 sont souvent utilisés ensemble

scrapy est un framework encapsulé. Il comprend un téléchargeur, un analyseur, une gestion des journaux et des exceptions, basé sur le multi-threading.

La méthode torsadée présente des avantages pour explorer et développer un site Web unique fixe ; cependant, pour explorer 100 sites Web sur plusieurs sites Web, elle n'est pas assez flexible en termes de traitement simultané et distribué, ce qui la rend peu pratique à ajuster et à développer.

request est une bibliothèque HTTP. Elle est uniquement utilisée pour faire des requêtes. Pour les requêtes HTTP, c'est une bibliothèque puissante qui est gérée par vous-même. Elle a une plus grande flexibilité, une concurrence élevée et un déploiement distribué. flexible pour les fonctions peut être mieux implémenté.

Q93. Quels sont vos moteurs MySQL couramment utilisés ? Quelles sont les différences entre les moteurs ?

Il existe deux moteurs principaux, MyISAM et InnoDB. Les principales différences sont les suivantes :

1) InnoDB prend en charge les transactions, mais pas MyISAM. La transaction est une méthode de traitement de haut niveau. Par exemple, si une erreur se produit dans une série d'ajouts, de suppressions ou de modifications, elle peut être annulée et restaurée, mais MyISAM ne le peut pas.

MyISAM est plus adapté aux applications axées sur ; requêtes et insertions. InnoDB est plus adapté aux applications qui nécessitent des modifications fréquentes et impliquent une sécurité plus élevée

3) InnoDB prend en charge les clés étrangères, mais MyISAM ne le prend pas en charge

4) MyISAM est le moteur par défaut, et InnoDB doit l'être. spécifié.

5) InnoDB ne le prend pas en charge. Index de type FULLTEXT

6) InnoDB n'enregistre pas le nombre de lignes dans la table, par exemple, lors de la sélection de count(*) dans la table, InnoDB doit ; parcourez l'intégralité du tableau pour calculer le nombre de lignes, mais MyISAM n'a qu'à simplement le lire. Enregistrez simplement le nombre de lignes.

Notez que lorsque l'instruction count(*) contient la condition Where, MyISAM doit également analyser la table entière

7) Pour les champs auto-croissants, InnoDB doit contenir un index de ce champ uniquement, mais dans la table MyISAM ; cela peut être Créer un index commun avec d'autres champs ;

8) Lors de l'effacement de la table entière, InnoDB supprime les lignes une par une, ce qui est très lent. MyISAM reconstruira la table ;

9) InnoDB prend en charge les verrous de ligne (dans certains cas, la table entière est verrouillée, comme la mise à jour de l'ensemble de tables a=1 où un utilisateur comme ‘%lee%’

Q94. Décrivez comment le scrapy Le framework exécute le mécanisme ?

Récupérez le premier lot d'URL de start_urls et envoyez la requête. La requête est transmise au planificateur par le moteur et placée dans la file d'attente des requêtes,

.

Le planificateur transmet la requête dans la file d'attente des requêtes au téléchargeur pour obtenir la ressource de réponse correspondant à la requête, et transmet la réponse à la méthode d'analyse écrite par lui-même pour le traitement d'extraction :

Si les données requises sont extraites, elles sont transmises passez au fichier pipeline pour traitement ;

2) Si l'URL est extraite, continuez à effectuer les étapes précédentes (envoyez la demande d'URL, et le moteur transmettra la demande au planificateur et la mettra dans la file d'attente...) jusqu'à ce qu'il n'y ait plus de requête dans la file d'attente des requêtes et que le programme se termine.

Q95. Que sont les requêtes associées et que sont-elles ?

Joignez plusieurs tables pour la requête, y compris principalement la jointure interne, la jointure gauche, la jointure droite, la jointure complète (jointure externe)

Q96. Ou le multithread est mieux ? Pourquoi?

Pour le code gourmand en E/S (traitement de fichiers, robots d'exploration Web, etc.), le multithreading peut améliorer efficacement l'efficacité (s'il y a des opérations d'E/S sous un seul thread, une attente d'E/S se produira, entraînant une perte de temps inutile,

et l'activation du multi-threading peut améliorer efficacement l'efficacité du thread A. En attendant, passez automatiquement au thread B, afin de ne pas gaspiller les ressources CPU, améliorant ainsi l'efficacité de l'exécution du programme).

Dans le processus de collecte de données proprement dit, vous devez prendre en compte non seulement les problèmes de vitesse et de réponse du réseau, mais également les conditions matérielles de votre propre machine pour configurer le multi-processus ou le multi-thread.

Q97. Optimisation de la base de données ?

1) Optimisez les index, les instructions SQL et analysez les requêtes lentes ;

2) Optimisez le matériel ; utilisez le SSD, utilisez la technologie de file d'attente de disque (RAID0, RAID1, RDID5), etc.

3) Utilisez la propre technologie de partitionnement de table de MySQL ; , la superposition des données dans différents fichiers peut améliorer l'efficacité de la lecture du disque ;

4) Choisissez un moteur de table approprié et optimisez les paramètres 

5) Effectuez une mise en cache, une statique et une distribution au niveau de l'architecture ;

6) Utilisez des méthodes de stockage plus rapides, telles que NoSQL pour stocker les données fréquemment consultées

Q98. Quels problèmes les robots distribués résolvent-ils principalement ?

1)ip

2)bandwidth

3)cpu

4)io

Q99. Comment gérer le code de vérification pendant le processus du robot d'exploration ?

1) Scrapy est livré avec

2) Interface payante

Q100 Anti-crawlers et contre-mesures courants ?

1) L'anti-exploration des en-têtes demandé aux utilisateurs via l'anti-exploration des en-têtes est la stratégie anti-exploration la plus courante.

Vous pouvez ajouter des en-têtes directement au robot et copier l'agent utilisateur du navigateur dans les en-têtes du robot ou modifier la valeur du référent avec le nom de domaine du site Web cible.

2) Anti-crawler basé sur le comportement de l'utilisateur

En détectant le comportement de l'utilisateur, tel que la même adresse IP visitant la même page plusieurs fois sur une courte période, ou le même compte effectuant la même opération plusieurs fois sur une courte période du temps.

La plupart des sites Web se trouvent dans la première situation. Pour cette situation, l'utilisation d'un proxy IP peut la résoudre.

Vous pouvez écrire un robot d'exploration spécial pour explorer les adresses IP proxy publiées sur Internet et les enregistrer toutes après détection.

Une fois que vous disposez d'un grand nombre d'adresses IP proxy, vous pouvez modifier une adresse IP toutes les quelques requêtes. Ceci est facile à faire dans les requêtes ou dans urllib2, afin de pouvoir facilement contourner le premier anti-crawler.

Pour le deuxième cas, vous pouvez attendre aléatoirement quelques secondes après chaque demande avant de faire la demande suivante.

Certains sites Web présentant des failles logiques peuvent contourner la restriction selon laquelle le même compte ne peut pas faire la même demande plusieurs fois sur une courte période en demandant plusieurs fois, en se déconnectant, en se reconnectant et en continuant à demander.

3) Anti-crawler pour les pages dynamiques

Utilisez d'abord Fiddler pour analyser la requête réseau. Si nous pouvons trouver la requête ajax et analyser les paramètres spécifiques et la signification spécifique de la réponse, nous pouvons utiliser la méthode ci-dessus.

Utilisez des requêtes ou urllib2 pour simuler des requêtes ajax et analysez le format JSON de la réponse pour obtenir les données requises.

Mais certains sites Web chiffrent tous les paramètres de la requête ajax et ne peuvent pas construire la requête avec les données dont ils ont besoin.

Dans ce cas, utilisez selenium+phantomJS pour appeler le noyau du navigateur et utilisez phantomJS pour exécuter js afin de simuler des opérations humaines et déclencher des scripts js dans la page.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

MySQL doit-il payer MySQL doit-il payer Apr 08, 2025 pm 05:36 PM

MySQL a une version communautaire gratuite et une version d'entreprise payante. La version communautaire peut être utilisée et modifiée gratuitement, mais le support est limité et convient aux applications avec des exigences de stabilité faibles et des capacités techniques solides. L'Enterprise Edition fournit une prise en charge commerciale complète pour les applications qui nécessitent une base de données stable, fiable et haute performance et disposées à payer pour le soutien. Les facteurs pris en compte lors du choix d'une version comprennent la criticité des applications, la budgétisation et les compétences techniques. Il n'y a pas d'option parfaite, seulement l'option la plus appropriée, et vous devez choisir soigneusement en fonction de la situation spécifique.

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Méthode de Navicat pour afficher le mot de passe de la base de données MongoDB Méthode de Navicat pour afficher le mot de passe de la base de données MongoDB Apr 08, 2025 pm 09:39 PM

Il est impossible de visualiser le mot de passe MongoDB directement via NAVICAT car il est stocké sous forme de valeurs de hachage. Comment récupérer les mots de passe perdus: 1. Réinitialiser les mots de passe; 2. Vérifiez les fichiers de configuration (peut contenir des valeurs de hachage); 3. Vérifiez les codes (May Code Hardcode).

MySQL a-t-il besoin d'Internet MySQL a-t-il besoin d'Internet Apr 08, 2025 pm 02:18 PM

MySQL peut s'exécuter sans connexions réseau pour le stockage et la gestion des données de base. Cependant, la connexion réseau est requise pour l'interaction avec d'autres systèmes, l'accès à distance ou l'utilisation de fonctionnalités avancées telles que la réplication et le clustering. De plus, les mesures de sécurité (telles que les pare-feu), l'optimisation des performances (choisissez la bonne connexion réseau) et la sauvegarde des données sont essentielles pour se connecter à Internet.

Comment optimiser les performances MySQL pour les applications de haute charge? Comment optimiser les performances MySQL pour les applications de haute charge? Apr 08, 2025 pm 06:03 PM

Guide d'optimisation des performances de la base de données MySQL dans les applications à forte intensité de ressources, la base de données MySQL joue un rôle crucial et est responsable de la gestion des transactions massives. Cependant, à mesure que l'échelle de l'application se développe, les goulots d'étranglement des performances de la base de données deviennent souvent une contrainte. Cet article explorera une série de stratégies efficaces d'optimisation des performances MySQL pour garantir que votre application reste efficace et réactive dans des charges élevées. Nous combinerons des cas réels pour expliquer les technologies clés approfondies telles que l'indexation, l'optimisation des requêtes, la conception de la base de données et la mise en cache. 1. La conception de l'architecture de la base de données et l'architecture optimisée de la base de données sont la pierre angulaire de l'optimisation des performances MySQL. Voici quelques principes de base: sélectionner le bon type de données et sélectionner le plus petit type de données qui répond aux besoins peut non seulement économiser un espace de stockage, mais également améliorer la vitesse de traitement des données.

HaDIDB: une base de données légère et évolutive horizontalement dans Python HaDIDB: une base de données légère et évolutive horizontalement dans Python Apr 08, 2025 pm 06:12 PM

HaDIDB: Une base de données Python évolutive de haut niveau légère HaDIDB (HaDIDB) est une base de données légère écrite en Python, avec un niveau élevé d'évolutivité. Installez HaDIDB à l'aide de l'installation PIP: PiPinStallHaDIDB User Management Créer un utilisateur: CreateUser () pour créer un nouvel utilisateur. La méthode Authentication () authentifie l'identité de l'utilisateur. FromHadidb.OperationMportUserUser_OBJ = User ("Admin", "Admin") User_OBJ.

MySQL Workbench peut-il se connecter à MariaDB MySQL Workbench peut-il se connecter à MariaDB Apr 08, 2025 pm 02:33 PM

MySQL Workbench peut se connecter à MARIADB, à condition que la configuration soit correcte. Sélectionnez d'abord "MariADB" comme type de connecteur. Dans la configuration de la connexion, définissez correctement l'hôte, le port, l'utilisateur, le mot de passe et la base de données. Lorsque vous testez la connexion, vérifiez que le service MARIADB est démarré, si le nom d'utilisateur et le mot de passe sont corrects, si le numéro de port est correct, si le pare-feu autorise les connexions et si la base de données existe. Dans une utilisation avancée, utilisez la technologie de mise en commun des connexions pour optimiser les performances. Les erreurs courantes incluent des autorisations insuffisantes, des problèmes de connexion réseau, etc. Lors des erreurs de débogage, analysez soigneusement les informations d'erreur et utilisez des outils de débogage. L'optimisation de la configuration du réseau peut améliorer les performances

MySQL a-t-il besoin d'un serveur MySQL a-t-il besoin d'un serveur Apr 08, 2025 pm 02:12 PM

Pour les environnements de production, un serveur est généralement nécessaire pour exécuter MySQL, pour des raisons, notamment les performances, la fiabilité, la sécurité et l'évolutivité. Les serveurs ont généralement un matériel plus puissant, des configurations redondantes et des mesures de sécurité plus strictes. Pour les petites applications à faible charge, MySQL peut être exécutée sur des machines locales, mais la consommation de ressources, les risques de sécurité et les coûts de maintenance doivent être soigneusement pris en considération. Pour une plus grande fiabilité et sécurité, MySQL doit être déployé sur le cloud ou d'autres serveurs. Le choix de la configuration du serveur approprié nécessite une évaluation en fonction de la charge d'application et du volume de données.

See all articles