如何用Python高效地为数据列添加连续序号,使相同值拥有相同序号?
>如何有效地将连续的数字添加到Python中的数据列中,将相同的数字分配给相同的值?
此任务涉及创建一个顺序计数器,每当特定列中的值更改时重置一个顺序计数器。 在Python中实现这一目标的最有效方法利用了pandas
>库的力量。 PANDA提供的矢量化操作比通过行迭代要快得多。
这是您可以做到的:
import pandas as pd # Sample data data = {'col1': ['A', 'A', 'B', 'B', 'B', 'C', 'A', 'A', 'D']} df = pd.DataFrame(data) # Efficiently assign sequential numbers df['col2'] = (df['col1'] != df['col1'].shift()).cumsum() print(df)
>此代码首先使用df['col1'].shift()
来创建'col1'列的滞后版本。 将此滞后版本与原始列(df['col1'] != df['col1'].shift()
)进行比较,标识了值在哪里变化。 然后,方法累计总和布尔值结果,有效地创建了一个顺序计数器,仅在遇到新值时才增加。 This assigns a unique consecutive number to each group of identical values in 'col1', storing the result in a new column named 'col2'..cumsum()
import pandas as pd data = {'col1': ['A', 'A', 'B', 'B', 'B', 'C', 'A', 'A', 'D']} df = pd.DataFrame(data) df['group_id'] = (df['col1'] != df['col1'].shift()).cumsum() df['sequential_id'] = df.groupby('group_id').cumcount() + 1 df['final_id'] = df['col1'] + '_' + df['sequential_id'].astype(str) print(df)
df.groupby('group_id').cumcount()
>可以将顺序编号添加到列中,同时通过相同的值分组?以前的示例证明了此功能。
结合使用,提供了一种强大而有效的方法,可以在列中由相同值定义的组中添加顺序编号。 The efficiency stems from pandas' ability to perform these operations on the entire DataFrame at once, avoiding slow row-by-row iteration.
How can I optimize Python code to generate unique sequential IDs for groups of identical values within a column?groupby()
.cumcount()
Optimizing the code for generating unique sequential IDs primarily focuses on leveraging pandas' vectorized operations and avoiding explicit loops.以前的示例已经展示了此优化。 为了进一步提高非常大的数据集的性能:
- >避免不必要的数据副本:
请注意创建不必要的数据帧副本的操作。 熊猫的现场操作(使用 inplace=True
)有时可以提高性能。 但是,与可读性成本相比,性能的增长通常可以忽略不计。 - 块(对于非常大的数据集):
如果您的数据集如此之大,以至于超过可用的内存,请考虑在块中处理。 读取和处理数据中的较小,可管理的零件,然后将结果串联。 >考虑替代数据结构(很少必要): - >通常有效地有效,对于数十亿行,专门的图书馆或数据库而言,针对此类操作的专业库或数据库非常有效。 但是,整合这些替代方案的复杂性通常超过了大多数实际应用的好处。 上面使用pandas提供的解决方案通常在大多数实际涉及基于分组的顺序ID生成的现实世界情景中高度优化。 专注于有效的熊猫技术是最有效的优化方法。
以上是如何用Python高效地为数据列添加连续序号,使相同值拥有相同序号?的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

使用FiddlerEverywhere进行中间人读取时如何避免被检测到当你使用FiddlerEverywhere...

如何在10小时内教计算机小白编程基础?如果你只有10个小时来教计算机小白一些编程知识,你会选择教些什么�...

攻克Investing.com的反爬虫策略许多人尝试爬取Investing.com(https://cn.investing.com/news/latest-news)的新闻数据时,常常�...

Python3.6环境下加载pickle文件报错:ModuleNotFoundError:Nomodulenamed...

使用Scapy爬虫时管道文件无法写入的原因探讨在学习和使用Scapy爬虫进行数据持久化存储时,可能会遇到管道文�...
