[pandas] snipet

pandasとデータ分析

pandasはデータ分析では必ず利用する重要なツールです。この使い方を知るか知らないか、もしくは、やりたいことをグーグル検索しなくてもすぐに手を動かせるかどうかは、エンジニアとしての力量に直結します。ここでは、具体的なデータを元に私の経験から重要と思われるメソッドや使い方を説明します。他に重要な使い方に遭遇したらどんどん追記していきます。

github

• jupyter notebook形式のファイルはこちら

google colaboratory

• google colaboratory で実行する場合はこちら

筆者の環境

筆者のOSはmacOSです。LinuxやUnixのコマンドとはオプションが異なります。

!sw_vers

ProductName:	Mac OS X
ProductVersion:	10.14.6
BuildVersion:	18G6020

!python -V

Python 3.7.3

基本的なライブラリをインポートしそのバージョンを確認しておきます。

%matplotlib inline
%config InlineBackend.figure_format = 'svg'

import matplotlib
import matplotlib.pyplot as plt
import scipy
import numpy as np

print('matplotlib version :', matplotlib.__version__)
print('scipy version :', scipy.__version__)
print('numpy version :', np.__version__)

matplotlib version : 3.0.3
scipy version : 1.4.1
numpy version : 1.16.2

importとバージョン確認

import pandas as pd

print('pandas version :', pd.__version__)

pandas version : 1.0.3

基本操作

データの読み込みと表示

利用させてもらうデータはdanielさんのgithubになります。pandasの使い方の本を書いておられる有名な方のリポジトリです。Pythonデータ分析／機械学習のための基本コーディング！ pandasライブラリ活用入門です。僕も持っています。とても勉強になると思います。

データはエボラ出血の発生数(Case)と死者数(Death)だと思います。

read_csvを利用して、CSVを読み込み、先頭の5行目を表示してみます。

import pandas as pd

df = pd.read_csv('./country_timeseries.csv', sep=',')
df.head()

末尾の5データを表示します。

df.tail()

データの確認

データの型などの情報を取得

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 122 entries, 0 to 121
Data columns (total 18 columns):
 #   Column               Non-Null Count  Dtype
---  ------               --------------  -----
 0   Date                 122 non-null    object
 1   Day                  122 non-null    int64
 2   Cases_Guinea         93 non-null     float64
 3   Cases_Liberia        83 non-null     float64
 4   Cases_SierraLeone    87 non-null     float64
 5   Cases_Nigeria        38 non-null     float64
 6   Cases_Senegal        25 non-null     float64
 7   Cases_UnitedStates   18 non-null     float64
 8   Cases_Spain          16 non-null     float64
 9   Cases_Mali           12 non-null     float64
 10  Deaths_Guinea        92 non-null     float64
 11  Deaths_Liberia       81 non-null     float64
 12  Deaths_SierraLeone   87 non-null     float64
 13  Deaths_Nigeria       38 non-null     float64
 14  Deaths_Senegal       22 non-null     float64
 15  Deaths_UnitedStates  18 non-null     float64
 16  Deaths_Spain         16 non-null     float64
 17  Deaths_Mali          12 non-null     float64
dtypes: float64(16), int64(1), object(1)
memory usage: 17.3+ KB

大きさ（行数と列数）の確認

df.shape

(122, 18)

インデックスの確認

df.index

RangeIndex(start=0, stop=122, step=1)

カラム名の確認

df.columns

Index(['Date', 'Day', 'Cases_Guinea', 'Cases_Liberia', 'Cases_SierraLeone',
       'Cases_Nigeria', 'Cases_Senegal', 'Cases_UnitedStates', 'Cases_Spain',
       'Cases_Mali', 'Deaths_Guinea', 'Deaths_Liberia', 'Deaths_SierraLeone',
       'Deaths_Nigeria', 'Deaths_Senegal', 'Deaths_UnitedStates',
       'Deaths_Spain', 'Deaths_Mali'],
      dtype='object')

任意の列名のデータの取得

カラム名を指定して、任意のカラムだけ表示させます。

df[['Cases_UnitedStates','Deaths_UnitedStates']].head()

行数や列数を指定してデータを取得

df.iloc[[6,7],[0,3]]

ある条件を満たしたデータを取得

df[df['Deaths_Liberia'] > 3000][['Deaths_Liberia']]

カラムの削除

Deaths_Guineaというカラムを削除しています。

df.drop(['Deaths_Guinea'], axis=1, inplace=True)
df.columns

Index(['Date', 'Day', 'Cases_Guinea', 'Cases_Liberia', 'Cases_SierraLeone',
       'Cases_Nigeria', 'Cases_Senegal', 'Cases_UnitedStates', 'Cases_Spain',
       'Cases_Mali', 'Deaths_Liberia', 'Deaths_SierraLeone', 'Deaths_Nigeria',
       'Deaths_Senegal', 'Deaths_UnitedStates', 'Deaths_Spain', 'Deaths_Mali'],
      dtype='object')

統計量の取得

describe()を利用して、列ごとの統計量を取得することが出来ます。ぱっと見、概要を得たいときに有力です。

df.describe()

また、value_countsメソッドを利用して、値の頻度を簡単に求める事ができます。今回用いたデータが連続量のため、少々わかりにくいですが、0.0のデータ数が15である事がわかります。その他のデータ数はすべて1個である事がわかります。

df['Deaths_Liberia'].value_counts()

11.0      9
12.0      4
3496.0    2
13.0      2
24.0      2
         ..
2963.0    1
88.0      1
3413.0    1
3177.0    1
105.0     1
Name: Deaths_Liberia, Length: 66, dtype: int64

インデックスをdatetime型に変更

インデックスをDateに変更し、上書きします。時系列データの場合、インデックスを日付にすると解析しやすいことが多いです。ただ、単純に文字列としてインデックスするよりも、pandaに標準で備わっているdatetime型に変換すると集計処理などが便利になります。

Dateというインデックス名をYYYYMMDDに変更します。。rename関数を利用します。

df.rename(columns={'Date':'YYYYMMDD'}, inplace=True)
df.set_index('YYYYMMDD', inplace=True)
df.index

Index(['1/5/2015', '1/4/2015', '1/3/2015', '1/2/2015', '12/31/2014',
       '12/28/2014', '12/27/2014', '12/24/2014', '12/21/2014', '12/20/2014',
       ...
       '4/4/2014', '4/1/2014', '3/31/2014', '3/29/2014', '3/28/2014',
       '3/27/2014', '3/26/2014', '3/25/2014', '3/24/2014', '3/22/2014'],
      dtype='object', name='YYYYMMDD', length=122)

df.head()

df.columns

Index(['Day', 'Cases_Guinea', 'Cases_Liberia', 'Cases_SierraLeone',
       'Cases_Nigeria', 'Cases_Senegal', 'Cases_UnitedStates', 'Cases_Spain',
       'Cases_Mali', 'Deaths_Liberia', 'Deaths_SierraLeone', 'Deaths_Nigeria',
       'Deaths_Senegal', 'Deaths_UnitedStates', 'Deaths_Spain', 'Deaths_Mali'],
      dtype='object')

インデックスでソートします。ただ、日付が文字列のオブジェクトになっているので、目論見通りのソートになっていません。

df.sort_index(ascending=True).head()

インデックスをdatetime型に変更します。

df.index

Index(['1/5/2015', '1/4/2015', '1/3/2015', '1/2/2015', '12/31/2014',
       '12/28/2014', '12/27/2014', '12/24/2014', '12/21/2014', '12/20/2014',
       ...
       '4/4/2014', '4/1/2014', '3/31/2014', '3/29/2014', '3/28/2014',
       '3/27/2014', '3/26/2014', '3/25/2014', '3/24/2014', '3/22/2014'],
      dtype='object', name='YYYYMMDD', length=122)

df.index = pd.to_datetime(df.index, format='%m/%d/%Y')
df.index

DatetimeIndex(['2015-01-05', '2015-01-04', '2015-01-03', '2015-01-02',
               '2014-12-31', '2014-12-28', '2014-12-27', '2014-12-24',
               '2014-12-21', '2014-12-20',
               ...
               '2014-04-04', '2014-04-01', '2014-03-31', '2014-03-29',
               '2014-03-28', '2014-03-27', '2014-03-26', '2014-03-25',
               '2014-03-24', '2014-03-22'],
              dtype='datetime64[ns]', name='YYYYMMDD', length=122, freq=None)

となり、dtype=‘object’からobject=‘datetime64’とdatetime型に変更されていることが分かります。そこでソートしてみます。

df.sort_index(ascending=True, inplace=True)
df.head(10)

df.tail(10)

となり、想定通りのソートになっている事が分かります。

また、datetime型がインデックスに設定されたので、日付を扱いのが容易になっています。 例えば、2015年のデータを取得するのに、以下の様になります。

df['2015']

df['2014-12'].sort_index(ascending=True)

さらに、平均や合計値などの統計値を、年や月単位で簡単に取得することができます。

df.resample('Y').mean()

df.resample('M').mean()

df.resample('Y').sum()

df.resample('M').sum()

とても便利です。さらに、datetime型のもう一つの利点として、.yearや.monthなどのメソッドを利用して、年月日を取得することが出来ます。

df.index.year

Int64Index([2014, 2014, 2014, 2014, 2014, 2014, 2014, 2014, 2014, 2014,
            ...
            2014, 2014, 2014, 2014, 2014, 2014, 2015, 2015, 2015, 2015],
           dtype='int64', name='YYYYMMDD', length=122)

df.index.month

Int64Index([ 3,  3,  3,  3,  3,  3,  3,  3,  4,  4,
            ...
            12, 12, 12, 12, 12, 12,  1,  1,  1,  1],
           dtype='int64', name='YYYYMMDD', length=122)

df.index.day

Int64Index([22, 24, 25, 26, 27, 28, 29, 31,  1,  4,
            ...
            20, 21, 24, 27, 28, 31,  2,  3,  4,  5],
           dtype='int64', name='YYYYMMDD', length=122)

cut処理（ヒストグラムの作成）

データの解析をしていると、データを特定の条件の下分割して、集計したいという場面がよくあります。例えば、季節ごとに集計したい場合などがあると思います。ちょっと月と季節が合っていませんが、季節でラベリングする例です。

labels = ['春', '夏', '秋', '冬']
df['season'] = pd.cut(list(df.index.month),  bins=[0,3,6,9,12], labels=labels, right=True)
df[['season']][5:10]

df[['season']][73:78]

query, where, maskの使い方 (ソートも)

numpyと同じように、queryやwhereなども使うことが出来ます。使い方は直感的にnumpyと同じなので、すぐに使えると思います。感染者と死者数でクエリを実行してみます。

queryは抽出したい条件式を指定します。

df[['Deaths_Liberia','Cases_Liberia']].query('Deaths_Liberia > 100 and Cases_Liberia > 7000')

whereも条件を指定すると、条件を満たすデータはそのまま、見たさないデータはNaNが格納されたデータを返します。

df[['Deaths_Liberia']].where(df['Deaths_Liberia'] > 1000)

NaNではなく、別の数字を入れることも可能です。この辺はnumpyと同じでとても助かります。

df[['Deaths_Liberia']].where(df['Deaths_Liberia'] > 3000,0)

maskメソッドはwhereと逆で、条件を満たすものを第二引数に書き換えます。

df[['Deaths_Liberia']].mask(df['Deaths_Liberia'] > 3000, 0)

nullの使い方

データにはしばしばNullが含まれるので、正しいデータ分析のためにはNullがどの程度含まれていて、それがどの程度解析に影響を及ぼすのか確認する必要があります。

isnullによって、Nullの部分をFalseにしたテーブルを作成する事が出来ます。

df.isnull()

また、sumメソッドを利用すると、各カラムごとにNullの個数をカウントする事が出来ます。

df.isnull().sum()

Day                      0
Cases_Guinea            29
Cases_Liberia           39
Cases_SierraLeone       35
Cases_Nigeria           84
Cases_Senegal           97
Cases_UnitedStates     104
Cases_Spain            106
Cases_Mali             110
Deaths_Liberia          41
Deaths_SierraLeone      35
Deaths_Nigeria          84
Deaths_Senegal         100
Deaths_UnitedStates    104
Deaths_Spain           106
Deaths_Mali            110
season                   0
dtype: int64

同様に、meanメソッドで平均を出すことが出来ます。

df.isnull().mean()

Day                    0.000000
Cases_Guinea           0.237705
Cases_Liberia          0.319672
Cases_SierraLeone      0.286885
Cases_Nigeria          0.688525
Cases_Senegal          0.795082
Cases_UnitedStates     0.852459
Cases_Spain            0.868852
Cases_Mali             0.901639
Deaths_Liberia         0.336066
Deaths_SierraLeone     0.286885
Deaths_Nigeria         0.688525
Deaths_Senegal         0.819672
Deaths_UnitedStates    0.852459
Deaths_Spain           0.868852
Deaths_Mali            0.901639
season                 0.000000
dtype: float64

Nullのデータを書き換えます。fillnaというメソッドを利用します。

df.fillna(value={'Cases_Liberia': 0.0, 'Deaths_Liberia': 0.0}, inplace=True)
df.isnull().sum()

Day                      0
Cases_Guinea            29
Cases_Liberia            0
Cases_SierraLeone       35
Cases_Nigeria           84
Cases_Senegal           97
Cases_UnitedStates     104
Cases_Spain            106
Cases_Mali             110
Deaths_Liberia           0
Deaths_SierraLeone      35
Deaths_Nigeria          84
Deaths_Senegal         100
Deaths_UnitedStates    104
Deaths_Spain           106
Deaths_Mali            110
season                   0
dtype: int64

これで確かにCases_LiberiaとDeath_Liberiaのnullの数が0になりました。

また、ある列にNullがある行を削除することが出来ます。dropnaを適用した前後のデータ数を比較してみるとわかります。削除前は、

df.shape

(122, 17)

となります。削除後は以下の通りで、確かに削除されていることがわかります。

df.dropna(subset=['Cases_Nigeria'], axis=0).shape

(38, 17)

df.dropna(subset=['Cases_Nigeria'], axis=0).isnull().sum()

Day                     0
Cases_Guinea            2
Cases_Liberia           0
Cases_SierraLeone       0
Cases_Nigeria           0
Cases_Senegal          13
Cases_UnitedStates     21
Cases_Spain            23
Cases_Mali             27
Deaths_Liberia          0
Deaths_SierraLeone      0
Deaths_Nigeria          0
Deaths_Senegal         16
Deaths_UnitedStates    21
Deaths_Spain           23
Deaths_Mali            27
season                  0
dtype: int64

df.dropna(subset=['Cases_Nigeria'], axis=0).head()

列名やインデックス名の変更

上で既に出てきていますが、列名やインデックスの名前を変更したい場合はよくあります。renameメソッドを使います。

df.rename(columns={'before': 'after'}, inplace=True)
df.rename(index={'before': 'after'}, inplace=True)

SQL likeなメソッド

SQLおなじみのgroupbyがpandasで利用できます。こちらは個人的にはよく利用しますね。

df.groupby(['season'])['season'].count()

season
春    12
夏    35
秋    33
冬    42
Name: season, dtype: int64

CSVへ出力

メモリに格納されているすべてのデータを出力します。

df.to_csv('./out.csv')

!head  -n 10 out.csv

YYYYMMDD,Day,Cases_Guinea,Cases_Liberia,Cases_SierraLeone,Cases_Nigeria,Cases_Senegal,Cases_UnitedStates,Cases_Spain,Cases_Mali,Deaths_Liberia,Deaths_SierraLeone,Deaths_Nigeria,Deaths_Senegal,Deaths_UnitedStates,Deaths_Spain,Deaths_Mali,season
2014-03-22,0,49.0,0.0,,,,,,,0.0,,,,,,,春
2014-03-24,2,86.0,0.0,,,,,,,0.0,,,,,,,春
2014-03-25,3,86.0,0.0,,,,,,,0.0,,,,,,,春
2014-03-26,4,86.0,0.0,,,,,,,0.0,,,,,,,春
2014-03-27,5,103.0,8.0,6.0,,,,,,6.0,5.0,,,,,,春
2014-03-28,6,112.0,3.0,2.0,,,,,,3.0,2.0,,,,,,春
2014-03-29,7,112.0,7.0,,,,,,,2.0,,,,,,,春
2014-03-31,9,122.0,8.0,2.0,,,,,,4.0,2.0,,,,,,春
2014-04-01,10,127.0,8.0,2.0,,,,,,5.0,2.0,,,,,,夏

df.to_csv('./out.csv', columns=['Deaths_Liberia'])

!head  -n 10 out.csv

YYYYMMDD,Deaths_Liberia
2014-03-22,0.0
2014-03-24,0.0
2014-03-25,0.0
2014-03-26,0.0
2014-03-27,6.0
2014-03-28,3.0
2014-03-29,2.0
2014-03-31,4.0
2014-04-01,5.0

ヘッダーとインデックスを記述しないように出来ます。

df.to_csv('./out.csv', header=False, index=False)

!head  -n 10 out.csv

0,49.0,0.0,,,,,,,0.0,,,,,,,春
2,86.0,0.0,,,,,,,0.0,,,,,,,春
3,86.0,0.0,,,,,,,0.0,,,,,,,春
4,86.0,0.0,,,,,,,0.0,,,,,,,春
5,103.0,8.0,6.0,,,,,,6.0,5.0,,,,,,春
6,112.0,3.0,2.0,,,,,,3.0,2.0,,,,,,春
7,112.0,7.0,,,,,,,2.0,,,,,,,春
9,122.0,8.0,2.0,,,,,,4.0,2.0,,,,,,春
10,127.0,8.0,2.0,,,,,,5.0,2.0,,,,,,夏
13,143.0,18.0,2.0,,,,,,7.0,2.0,,,,,,夏

その他追記

型変換

型を指定して上書きします。一括の変換の表記方法です。inplaceがなく、少し時間を使ってしまい、メモしておきます。

test = pd.DataFrame({'max':[1], 'min':[2], 'mean':[1.5]})

test.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1 entries, 0 to 0
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   max     1 non-null      int64
 1   min     1 non-null      int64
 2   mean    1 non-null      float64
dtypes: float64(1), int64(2)
memory usage: 152.0 bytes

test = test.astype({'max': float, 'min': float, 'mean': float})

test.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1 entries, 0 to 0
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   max     1 non-null      float64
 1   min     1 non-null      float64
 2   mean    1 non-null      float64
dtypes: float64(3)
memory usage: 152.0 bytes

よく使う関数

最後のまとめとして、良く使う関数をまとめておきます。個人的なsnipetみたいなものです。

インデックスの変更(既存のカラム名に変更)

df.set_index('xxxx')

カラム名の変更

df.rename(columns={'before': 'after'}, inplace=True)
df.rename(index={'before': 'after'}, inplace=True)

あるカラムでソートする

df.sort_values(by='xxx', ascending=True)

インデックスでソートする

df.sort_index()

datetime型の型変換

df.to_datetime()

NaNのカラムごとの個数

df.isnull().sum()

参考文献

• チートシート
• read_csvの全引数について解説してくれてます
• データ分析で頻出のPandas基本操作 実務レベルで重要な部分を丁寧に書かれています。とても参考になります。