Heim Backend-Entwicklung Python-Tutorial Python zur Datenextraktion

Python zur Datenextraktion

Feb 25, 2017 am 10:38 AM

Datenextraktion ist eine Anforderung, mit der Analysten in ihrer täglichen Arbeit häufig konfrontiert werden. Zum Beispiel der Kreditbetrag eines bestimmten Benutzers, der Gesamtzinsertrag in einem bestimmten Monat oder Quartal, der Betrag und die Anzahl der Kredite in einem bestimmten Zeitraum, die Anzahl der Kredite über 5.000 Yuan usw. In diesem Artikel wird erläutert, wie Daten mithilfe von Python gemäß bestimmten Dimensionen oder Bedingungen extrahiert werden, um die Anforderungen an die Datenextraktion zu erfüllen.

Vorbereitungsarbeiten

Der erste Schritt ist die Vorbereitungsarbeit, das Importieren der Bibliotheken, die Sie verwenden müssen, das Lesen und Erstellen einer Datentabelle mit dem Namen „loandata“.

import numpy as np
import pandas as pd
loandata=pd.DataFrame(pd.read_excel('loan_data.xlsx'))
Nach dem Login kopieren

Python zur Datenextraktion

Indexfeld festlegen

Bevor Sie mit der Datenextraktion beginnen, legen Sie die Spalte member_id als Indexfeld fest. Beginnen Sie dann mit der Datenextraktion.

Loandata = loandata.set_index('member_id')
Nach dem Login kopieren

Python zur Datenextraktion

Informationen zeilenweise extrahieren

Der erste Schritt besteht darin, Daten zeilenweise zu extrahieren, beispielsweise die Informationen eines Benutzers. Im Folgenden wird die ix-Funktion verwendet, um Benutzerinformationen zu extrahieren, wobei member_id 1303503 ist.

loandata.ix[1303503]
Nach dem Login kopieren

Python zur Datenextraktion

Informationen nach Spalten extrahieren

Der zweite Schritt besteht darin, Daten nach Spalten zu extrahieren, beispielsweise alle Informationen in der Spalte „Erwerbsalter“ des Benutzers zu extrahieren. Im Folgenden finden Sie den spezifischen Code und die Extraktionsergebnisse, die die Informationen zum erwerbsfähigen Alter aller Benutzer anzeigen.

loandata.ix[:,'emp_length']
Nach dem Login kopieren

Python zur Datenextraktion

Informationen nach Zeilen und Spalten extrahieren

Der dritte Schritt besteht darin, Informationen nach Zeilen und Spalten zu extrahieren. Fügen Sie die Abfragebedingungen in den vorherigen beiden Teilen zusammen, um spezifische Informationen eines bestimmten Benutzers abzufragen 1303503member_id Informationen. emp_length

loandata.ix[1303503,'emp_length']
Nach dem Login kopieren

Python zur Datenextraktion

Fügen Sie weiterhin Bedingungen basierend auf den vorherigen hinzu und fügen Sie eine Zeile hinzu, um gleichzeitig die Kreditbeträge abzufragen von zwei spezifischen Benutzerinformationen. Die spezifischen Code- und Abfrageergebnisse lauten wie folgt. Die Codebeträge für beide Benutzer werden in den Ergebnissen separat aufgeführt.


loandata.ix[[1303503,1298717],'loan_amnt']
Nach dem Login kopieren

Python zur Datenextraktion

Fügen Sie die Funktion

nach dem vorherigen Code hinzu, um die Ergebnisse zu summieren. Das Gleiche Die Abfrage wird für die Kredite zweier bestimmter Benutzer durchgeführt. Der Gesamtwert des Kreditbetrags wird in den folgenden Ergebnissen direkt angezeigt. sum

loandata.ix[[1303503,1298717],'loan_amnt'].sum()
Nach dem Login kopieren

Python zur Datenextraktion

Zusätzlich zum Hinzufügen von Zeilenabfragebedingungen können Sie auch Spaltenabfragebedingungen hinzufügen, z folgt Der Code fragt den Kreditbetrag und das Jahreseinkommen eines bestimmten Benutzers ab und zeigt jeweils die Ergebnisse dieser beiden Felder an.

loandata.ix[1303503,['loan_amnt','annual_inc']]
Nach dem Login kopieren

Python zur Datenextraktion

Die Abfrage mehrerer Spalten kann auch eine Summenberechnung durchführen. Fügen Sie <🎜 nach dem vorherigen Code hinzu >Funktion, Summieren Sie die beiden Felder Kreditbetrag und Jahreseinkommen dieses Benutzers und zeigen Sie das Ergebnis an.

sum

loandata.ix[1303503,[&#39;loan_amnt&#39;,&#39;annual_inc&#39;]].sum()
Nach dem Login kopieren

Python zur Datenextraktion

Informationen für ein bestimmtes Datum extrahieren
Eine weitere sehr häufige Anforderung bei der Datenextraktion besteht darin, Daten nach Datumsdimension zusammenzufassen und zu extrahieren, z. B. monatliche und vierteljährliche zusammenfassende Datenextraktion und Datenextraktion nach bestimmten Zeiträumen usw.

设置索引字段

首先将索引字段改为数据表中的日期字段,这里将issue_d设置为数据表的索引字段。按日期进行查询和数据提取。

loandata = loandata.set_index(&#39;issue_d&#39;)
Nach dem Login kopieren

Python zur Datenextraktion

按日期提取信息

下面的代码查询了所有2016年的数据。

loandata[&#39;2016&#39;]
Nach dem Login kopieren

Python zur Datenextraktion

在前面代码的基础上增加月份,查询所有2016年3月的数据。

loandata[&#39;2016-03&#39;]
Nach dem Login kopieren

Python zur Datenextraktion

继续在前面代码的基础上增加日期,查询所有2016年6月16日的数据。

loandata[&#39;2016-06-16&#39;]
Nach dem Login kopieren


Python zur Datenextraktion

除了按单独日期查询以外,还可以按日期段进行数据查询,下面的代码中查询了所有2016年1月至5月的数据。下面显示了具体的查询结果,可以发现数据的日期都是在1-5月的,但是按日期维度显示的,这就需要我们对数据按月进行汇总。

loandata[&#39;2016-01&#39;:&#39;2016-05&#39;]
Nach dem Login kopieren

Python zur Datenextraktion

按日期汇总信息

Pandas中的resample函数可以完成日期的聚合工作,包括按小时维度,日期维度,月维度,季度及年的维度等等。下面我们分别说明。首先是按周的维度对前面数据表的数据进行求和。下面的代码中W表示聚合方式是按周,how表示数据的计算方式,默认是计算平均值,这里设置为sum,进行求和计算。

loandata.resample(&#39;W&#39;,how=sum).head(10)
Nach dem Login kopieren

Python zur Datenextraktion

将W改为M,数据变成了按月聚合的方式。计算方式依然是求和。这里需要说明的是resample函数会显示出所有连续的时间段,例如前面按周的聚合操作会显示连续的周日期,这里的按月操作则会在结果中显示连续的月,如果某个时间段没有数据,会以NaN值显示。

loandata.resample(&#39;M&#39;,how=sum)
Nach dem Login kopieren

Python zur Datenextraktion

将前面代码中的M改为Q,则为按季度对数据进行聚合,计算方式依然为求和。从下面的数据表中看,日期显示的都是每个季度的最后一天,如果希望以每个季度的第一天显示,可以改为QS。

loandata.resample(&#39;Q&#39;,how=sum)
Nach dem Login kopieren

Python zur Datenextraktion

将前面代码中的Q改为A,就是按年对数据进行聚合,计算方式依然为求和。

loandata.resample(&#39;A&#39;,how=sum)
Nach dem Login kopieren

Python zur Datenextraktion

前面的方法都是对整个数据表进行聚合和求和操作,如果只需要对某一个字段的值进行聚合和求和,可以在数据表后增加列的名称。下面是将贷款金额字段按月聚合后求和,并用0填充空值。

loandata[&#39;loan_amnt&#39;].resample(&#39;M&#39;,how=sum).fillna(0)
Nach dem Login kopieren

Python zur Datenextraktion

在前面代码的基础上再增加一个数值字段,并且在后面的计算方式中增加len用来计数。在下面的结果中分别对贷款金额和利息收入按月聚合,并进行求和和计数计算

loandata[[&#39;loan_amnt&#39;,&#39;total_rec_int&#39;]].resample(&#39;M&#39;,how=[len,sum])
Nach dem Login kopieren

Python zur Datenextraktion

有时我们需要只对某一时间段的数据进行聚合和计算,下面的代码中对2016年1月至5月的数据按月进行了聚合,并计算求和。用0填充空值。

loandata[&#39;2016-01&#39;:&#39;2016-05&#39;].resample('M',how=sum).fillna(0)
Nach dem Login kopieren

Python zur Datenextraktion

或者只对某些符合条件的数据进行聚合和计算。下面的代码中对于贷款金额大于5000的按月进行聚合,并计算求和。空值以0进行填充。

loandata[loandata[&#39;loan_amnt&#39;]>5000].resample(&#39;M&#39;,how=sum).fillna(0)
Nach dem Login kopieren

Python zur Datenextraktion

除了按周,月,季度和年以外,resample函数还可以按以下方式对日期进行聚合。

下面给出了具体的对应表和说明。

 Python zur Datenextraktion

更多Python zur Datenextraktion相关文章请关注PHP中文网!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

So verwenden Sie Python, um die ZiPF -Verteilung einer Textdatei zu finden So verwenden Sie Python, um die ZiPF -Verteilung einer Textdatei zu finden Mar 05, 2025 am 09:58 AM

Dieses Tutorial zeigt, wie man Python verwendet, um das statistische Konzept des Zipf -Gesetzes zu verarbeiten, und zeigt die Effizienz des Lesens und Sortierens großer Textdateien von Python bei der Bearbeitung des Gesetzes. Möglicherweise fragen Sie sich, was der Begriff ZiPF -Verteilung bedeutet. Um diesen Begriff zu verstehen, müssen wir zunächst das Zipf -Gesetz definieren. Mach dir keine Sorgen, ich werde versuchen, die Anweisungen zu vereinfachen. Zipf -Gesetz Das Zipf -Gesetz bedeutet einfach: In einem großen natürlichen Sprachkorpus erscheinen die am häufigsten vorkommenden Wörter ungefähr doppelt so häufig wie die zweiten häufigen Wörter, dreimal wie die dritten häufigen Wörter, viermal wie die vierten häufigen Wörter und so weiter. Schauen wir uns ein Beispiel an. Wenn Sie sich den Brown Corpus in amerikanischem Englisch ansehen, werden Sie feststellen, dass das häufigste Wort "Th ist

Wie benutze ich eine schöne Suppe, um HTML zu analysieren? Wie benutze ich eine schöne Suppe, um HTML zu analysieren? Mar 10, 2025 pm 06:54 PM

In diesem Artikel wird erklärt, wie man schöne Suppe, eine Python -Bibliothek, verwendet, um HTML zu analysieren. Es beschreibt gemeinsame Methoden wie find (), find_all (), select () und get_text () für die Datenextraktion, die Behandlung verschiedener HTML -Strukturen und -Anternativen (SEL)

Bildfilterung in Python Bildfilterung in Python Mar 03, 2025 am 09:44 AM

Der Umgang mit lauten Bildern ist ein häufiges Problem, insbesondere bei Mobiltelefonen oder mit geringen Auflösungskamera-Fotos. In diesem Tutorial wird die Bildfilterungstechniken in Python unter Verwendung von OpenCV untersucht, um dieses Problem anzugehen. Bildfilterung: Ein leistungsfähiges Werkzeug Bildfilter

Wie man mit PDF -Dokumenten mit Python arbeitet Wie man mit PDF -Dokumenten mit Python arbeitet Mar 02, 2025 am 09:54 AM

PDF-Dateien sind für ihre plattformübergreifende Kompatibilität beliebt, wobei Inhalte und Layout für Betriebssysteme, Lesegeräte und Software konsistent sind. Im Gegensatz zu Python Processing -Klartextdateien sind PDF -Dateien jedoch binäre Dateien mit komplexeren Strukturen und enthalten Elemente wie Schriftarten, Farben und Bilder. Glücklicherweise ist es nicht schwierig, PDF -Dateien mit Pythons externen Modulen zu verarbeiten. In diesem Artikel wird das PYPDF2 -Modul verwendet, um zu demonstrieren, wie Sie eine PDF -Datei öffnen, eine Seite ausdrucken und Text extrahieren. Die Erstellung und Bearbeitung von PDF -Dateien finden Sie in einem weiteren Tutorial von mir. Vorbereitung Der Kern liegt in der Verwendung von externem Modul PYPDF2. Installieren Sie es zunächst mit PIP: pip ist p

Wie kann man mit Redis in Django -Anwendungen zwischenstrichen Wie kann man mit Redis in Django -Anwendungen zwischenstrichen Mar 02, 2025 am 10:10 AM

Dieses Tutorial zeigt, wie man Redis Caching nutzt, um die Leistung von Python -Anwendungen zu steigern, insbesondere innerhalb eines Django -Frameworks. Wir werden Redis -Installation, Django -Konfiguration und Leistungsvergleiche abdecken, um den Vorteil hervorzuheben

Wie führe ich ein tiefes Lernen mit Tensorflow oder Pytorch durch? Wie führe ich ein tiefes Lernen mit Tensorflow oder Pytorch durch? Mar 10, 2025 pm 06:52 PM

Dieser Artikel vergleicht TensorFlow und Pytorch für Deep Learning. Es beschreibt die beteiligten Schritte: Datenvorbereitung, Modellbildung, Schulung, Bewertung und Bereitstellung. Wichtige Unterschiede zwischen den Frameworks, insbesondere bezüglich des rechnerischen Graps

Einführung in die parallele und gleichzeitige Programmierung in Python Einführung in die parallele und gleichzeitige Programmierung in Python Mar 03, 2025 am 10:32 AM

Python, ein Favorit für Datenwissenschaft und Verarbeitung, bietet ein reichhaltiges Ökosystem für Hochleistungs-Computing. Die parallele Programmierung in Python stellt jedoch einzigartige Herausforderungen dar. Dieses Tutorial untersucht diese Herausforderungen und konzentriert sich auf die globale Interprete

So implementieren Sie Ihre eigene Datenstruktur in Python So implementieren Sie Ihre eigene Datenstruktur in Python Mar 03, 2025 am 09:28 AM

Dieses Tutorial zeigt, dass eine benutzerdefinierte Pipeline -Datenstruktur in Python 3 erstellt wird, wobei Klassen und Bedienerüberladungen für verbesserte Funktionen genutzt werden. Die Flexibilität der Pipeline liegt in ihrer Fähigkeit, eine Reihe von Funktionen auf einen Datensatz GE anzuwenden

See all articles