Python déduplique les valeurs dans la structure de liste

J'ai rencontré un problème aujourd'hui et après une invite informelle d'un collègue, j'ai utilisé la fonction itertools.groupby. Cependant, cette chose était finalement inutile.

Le problème est de dédupliquer les identifiants des news dans une liste, et de s'assurer que l'ordre reste inchangé après la déduplication.
Méthode intuitive
L'idée la plus simple est :

ids = [1,2,3,3,4,2,3,4,5,6,1]
news_ids = []
for id in ids:
  if id not in news_ids:
    news_ids.append(id)

print news_ids

Ceci ça marche, mais ça n'a pas l'air assez cool.
Utiliser set
Une autre solution consiste à utiliser set :

ids = [1,4,3,3,4,2,3,4,5,6,1]
ids = list(set(ids))

Le résultat est que l'ordre d'origine n'est pas conservé.
Trier à nouveau par index
Enfin résolu de cette façon :

ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)

Utilisation d'itertools .grouby
L'article mentionnait itertools.grouby au début. Si vous ne tenez pas compte de l'ordre de la liste, vous pouvez utiliser ceci :

<. 🎜>

ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)

for k, g in it:
  print k

Vous pouvez en savoir plus sur le principe d'itertools.groupby ici : http://www.php.cn/

Utiliser réduire
L'internaute a laissé un message vers une autre solution. J'ai ajouté et expliqué ici :

In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]

In [6]: func = lambda x,y:x if y in x else x + [y]

In [7]: reduce(func, [[], ] + ids)
Out[7]: [1, 4, 3, 2, 5, 6]

Ce qui précède est le code que j'exécute dans ipython, avec le lambda dans it x,y:x if y in x else x [y] est équivalent à lambda x,y: y in x and x ou x [y] .

L'idée est de changer d'abord les identifiants en [[], 1,4,3,...], puis d'utiliser la fonction de réduction. Pour une explication de la réduction, voir ici : http://docs.python.org/2/library/functions.html#reduce

Plus de Python effectue des opérations sur les valeurs ​​dans la structure de la liste Pour les articles liés à la déduplication, veuillez faire attention au site Web PHP chinois !