ホームページ バックエンド開発 Python チュートリアル Pythonデータ分析のための実際のIPリクエストPandasの詳細な説明

Pythonデータ分析のための実際のIPリクエストPandasの詳細な説明

Mar 24, 2017 pm 05:08 PM

前書き

pandas は、より高度なデータ構造とツールを含む Numpy に基づいて構築されたデータ分析パッケージであり、そのコアは ndarray ですが、pandas も Series と DataFrame の 2 つのコア データ構造を中心に展開します。 Series と DataFrame は、それぞれ 1 次元のシーケンスと 2 次元のテーブル構造に対応します。従来のpandasのインポート方法は以下の通りです:

from pandas import Series,DataFrame
import pandas as pd
ログイン後にコピー


1.1. Pandasの解析手順

1. ログデータの読み込み

2. area_ipデータの読み込み 3. real_ipリクエスト数の変更 COUNTを実行します。次の SQL に似ています:

SELECT inet_aton(l.real_ip),
  count(*),
  a.addr
FROM log AS l
INNER JOIN area_ip AS a
  ON a.start_ip_num <= inet_aton(l.real_ip)
  AND a.end_ip_num >= inet_aton(l.real_ip)
GROUP BY real_ip
ORDER BY count(*)
LIMIT 0, 100;
ログイン後にコピー

1.2. コード

cat pd_ng_log_stat.py
#!/usr/bin/env python
#-*- coding: utf-8 -*-
  
from ng_line_parser import NgLineParser
  
import pandas as pd
import socket
import struct
  
class PDNgLogStat(object):
  
  def __init__(self):
    self.ng_line_parser = NgLineParser()
  
  def _log_line_iter(self, pathes):
    """解析文件中的每一行并生成一个迭代器"""
    for path in pathes:
      with open(path, &#39;r&#39;) as f:
        for index, line in enumerate(f):
          self.ng_line_parser.parse(line)
          yield self.ng_line_parser.to_dict()
  
  def _ip2num(self, ip):
    """用于IP转化为数字"""
    ip_num = -1
    try:
      # 将IP转化成INT/LONG 数字
      ip_num = socket.ntohl(struct.unpack("I",socket.inet_aton(str(ip)))[0])
    except:
      pass
    finally:
      return ip_num
  
  def _get_addr_by_ip(self, ip):
    """通过给的IP获得地址"""
    ip_num = self._ip2num(ip)
  
    try:
      addr_df = self.ip_addr_df[(self.ip_addr_df.ip_start_num <= ip_num) &
                   (ip_num <= self.ip_addr_df.ip_end_num)]
      addr = addr_df.at[addr_df.index.tolist()[0], &#39;addr&#39;]
      return addr
    except:
      return None
            
  def load_data(self, path):
    """通过给的文件路径加载数据生成 DataFrame"""
    self.df = pd.DataFrame(self._log_line_iter(path))
  
  
  def uv_real_ip(self, top = 100):
    """统计cdn ip量"""
    group_by_cols = [&#39;real_ip&#39;] # 需要分组的列,只计算和显示该列
      
    # 直接统计次数
    url_req_grp = self.df[group_by_cols].groupby(
                   self.df[&#39;real_ip&#39;])
    return url_req_grp.agg([&#39;count&#39;])[&#39;real_ip&#39;].nlargest(top, &#39;count&#39;)
      
  def uv_real_ip_addr(self, top = 100):
    """统计real ip 地址量"""
    cnt_df = self.uv_real_ip(top)
  
    # 添加 ip 地址 列
    cnt_df.insert(len(cnt_df.columns),
           &#39;addr&#39;,
           cnt_df.index.map(self._get_addr_by_ip))
    return cnt_df
      
  def load_ip_addr(self, path):
    """加载IP"""
    cols = [&#39;id&#39;, &#39;ip_start_num&#39;, &#39;ip_end_num&#39;,
        &#39;ip_start&#39;, &#39;ip_end&#39;, &#39;addr&#39;, &#39;operator&#39;]
    self.ip_addr_df = pd.read_csv(path, sep=&#39;\t&#39;, names=cols, index_col=&#39;id&#39;)
    return self.ip_addr_df
  
def main():
  file_pathes = [&#39;www.ttmark.com.access.log&#39;]
  
  pd_ng_log_stat = PDNgLogStat()
  pd_ng_log_stat.load_data(file_pathes)
  
  # 加载 ip 地址
  area_ip_path = &#39;area_ip.csv&#39;
  pd_ng_log_stat.load_ip_addr(area_ip_path)
  
  # 统计 用户真实 IP 访问量 和 地址
  print pd_ng_log_stat.uv_real_ip_addr()
  
if __name__ == &#39;__main__&#39;:
  main()
ログイン後にコピー

実行統計と出力結果

python pd_ng_log_stat.py
  
         count  addr
real_ip           
60.191.123.80  101013 浙江省杭州市
-        32691  None
218.30.118.79  22523   北京市
......
136.243.152.18   889   德国
157.55.39.219   889   美国
66.249.65.170   888   美国
  
[100 rows x 2 columns]
ログイン後にコピー
概要

上記がこの記事の全内容です。この記事は誰にとっても役立ちます。勉強や仕事に役立ちます。質問がある場合は、メッセージを残して連絡してください。

Pythonデータ分析リアルIPリクエストPandas詳細説明関連記事の詳細については、PHP中国語Webサイトに注目してください。

関連記事:

Python の Pandas を使用して CSV ファイルを読み取り、MySQL に書き込む方法

Python の pandas ライブラリを使用した cdn ログの詳細な分析

Python の pandas フレームワークを使用して Excel でデータを操作するファイルのチュートリアル

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

LinuxターミナルでPythonバージョンを表示するときに発生する権限の問題を解決する方法は? LinuxターミナルでPythonバージョンを表示するときに発生する権限の問題を解決する方法は? Apr 01, 2025 pm 05:09 PM

LinuxターミナルでPythonバージョンを表示する際の許可の問題の解決策PythonターミナルでPythonバージョンを表示しようとするとき、Pythonを入力してください...

HTMLを解析するために美しいスープを使用するにはどうすればよいですか? HTMLを解析するために美しいスープを使用するにはどうすればよいですか? Mar 10, 2025 pm 06:54 PM

この記事では、Pythonライブラリである美しいスープを使用してHTMLを解析する方法について説明します。 find()、find_all()、select()、およびget_text()などの一般的な方法は、データ抽出、多様なHTML構造とエラーの処理、および代替案(SEL

TensorflowまたはPytorchで深い学習を実行する方法は? TensorflowまたはPytorchで深い学習を実行する方法は? Mar 10, 2025 pm 06:52 PM

この記事では、深い学習のためにTensorflowとPytorchを比較しています。 関連する手順、データの準備、モデルの構築、トレーニング、評価、展開について詳しく説明しています。 特に計算グラップに関して、フレームワーク間の重要な違い

Pythonでコマンドラインインターフェイス(CLI)を作成する方法は? Pythonでコマンドラインインターフェイス(CLI)を作成する方法は? Mar 10, 2025 pm 06:48 PM

この記事では、コマンドラインインターフェイス(CLI)の構築に関するPython開発者をガイドします。 Typer、Click、Argparseなどのライブラリを使用して、入力/出力の処理を強調し、CLIの使いやすさを改善するためのユーザーフレンドリーな設計パターンを促進することを詳述しています。

あるデータフレームの列全体を、Python内の異なる構造を持つ別のデータフレームに効率的にコピーする方法は? あるデータフレームの列全体を、Python内の異なる構造を持つ別のデータフレームに効率的にコピーする方法は? Apr 01, 2025 pm 11:15 PM

PythonのPandasライブラリを使用する場合、異なる構造を持つ2つのデータフレーム間で列全体をコピーする方法は一般的な問題です。 2つのデータがあるとします...

人気のあるPythonライブラリとその用途は何ですか? 人気のあるPythonライブラリとその用途は何ですか? Mar 21, 2025 pm 06:46 PM

この記事では、numpy、pandas、matplotlib、scikit-learn、tensorflow、django、flask、and requestsなどの人気のあるPythonライブラリについて説明し、科学的コンピューティング、データ分析、視覚化、機械学習、Web開発、Hの使用について説明します。

Pythonの仮想環境の目的を説明してください。 Pythonの仮想環境の目的を説明してください。 Mar 19, 2025 pm 02:27 PM

この記事では、Pythonにおける仮想環境の役割について説明し、プロジェクトの依存関係の管理と競合の回避に焦点を当てています。プロジェクト管理の改善と依存関係の問題を減らすための作成、アクティベーション、およびメリットを詳しく説明しています。

正規表現とは何ですか? 正規表現とは何ですか? Mar 20, 2025 pm 06:25 PM

正規表現は、プログラミングにおけるパターンマッチングとテキスト操作のための強力なツールであり、さまざまなアプリケーションにわたるテキスト処理の効率を高めます。

See all articles