機械学習のための0からのPython入門~pandas:データを扱う上で最低限知っておきたいことまとめ~

今回の記事ではpandasについて,最低限知っておきたいことをまとめます.

Pythonでデータを扱うのに非常に便利なライブラリがpandasです.pandasを使えば簡単にファイルからデータを読み込んだり,データを処理したりすることができます.

pandasについて

外部ライブラリとなりますので,インストールが必要となります.Anacondaを使っている方はもともとインストールされているはずですので,インポートして確認してみてください.

インストールをするには...

pipを使う場合:
pip install pandas
condaを使う場合:
conda install pandas 

インポートは以下のようにするのが一般的です.

import pandas as pd

pandasで扱うデータ形式:DataFrame

pandasで一番よく扱うデータ形式はpandas DataFrameという2次元の配列のデータ形式です.

1次元の場合はSeries,3次元の場合はPanel(Version0.20.0以降は3次元のデータはMultiIndexを使うことが推奨されている)などありますが,今回は一番よく使うDataFrameに絞って話を進めていきたいと思います.

先ほども述べた通りDataFrameでは以下のような2次元のデータを扱っています.Excelのようなテーブルデータを思い浮かべてくれればそれが近いです.

まず,pandasを使うなら覚えておかなければいけない用語を確認しましょう.

行(Row)と列(Column)の覚え方:IndexとColumns

DataFrameでデータを見るときは横向きの行(Row)と,縦向きの列(Column)として見る方法があります.

行(Row)列(Column)と縦横の関係が覚えにくい人はは以下のようにして覚えると簡単に覚えられます.

そして,DataFrameではそれぞれの行と列の名前をIndexColumnsといいます.

無味乾燥なデータだとわかりづらいかもしれないので,以下で具体的なデータを実際にpandasを使って作ってみましょう

自分でDataFrameを作ってみる

実際にDataFrameを使うときはCSVファイルなどからデータを読み込むことが多い(後で解説)のですが,自分で作ったデータでDataFrameを作ることもできます.

pandasではDataFrame( )を使うことでDataFrameを作ることができます.以下の例を見てみましょう

# DataFrameを作る
cols = ['height', 'age', 'sex']
idx = ['taro', 'hanako', 'mulumulu']
taro = [180, 20, 'male']
hanako = [160, 30, 'female']
mulumulu = [170, 28, 'male']
items = [taro, hanako, mulumulu]
df = pd.DataFrame(items, index = idx, columns = cols)

上の例では,太郎と花子とむるむるの3人のデータがDataFrameとして扱われています.

行がそれぞれ個人を表しており,列がその属性(身長,年齢,性別)を表していることがわかると思います.

DataFrameをつくるにはまずデータを用意しなくてはなりません.

上ではまずcolumnsの名前(cols = [‘height’, ‘age’, ‘sex’])とIndexの名前を(idx = [‘taro’, ‘hanako’, ‘mulumulu’])定義しています.

そのうえでそれぞれの要素(taro, hanako, mulumulu)のデータをつくりリストとしてまとめた後,pd.DataFrame()に渡しています.indexの名前とcolumnsの名前を「index = …, columns = …」とすることで,それぞれ指定することができます.

指定したIndexやColumns,または要素を抜き出す

指定したIndexやColumnsだけを抜き出すには以下のようにします.

列にアクセス:
df[columnsの名前] もしくは df[columnsの名前のリスト]
行にindexを使ってアクセス:
df.loc[indexの名前] もしくは df.loc[indexの名前のリスト]
行に番号を使ってアクセス:
df.iloc[行の番号] もしくは df.iloc[行の番号のリスト]

上で作ったDataFrameを使って練習してみましょう.

例えば,それぞれの人の年齢だけを抜き出したい場合は以下.

df['age']
'''
出力結果:クラスがDataFrameからSeriesに変っています
taro        20
hanako      30
mulumulu    28
Name: age, dtype: int64
'''

むるむると花子のデータだけ抜き出したい場合は以下.

df.loc[['mulumulu', 'hanako']]

0~1番目の行データだけ抜け出したい場合は以下.

df.iloc[:2]

むるむるの性別にアクセスしたい場合は以下.

df.loc['mulumulu']['sex']
'''
出力結果:
'male'
'''

CSVデータの読み込みと書き込み

pandasを使えば一行でCSVファイルを読み込むことができます.「path_to_your_csvfile」のところには読み込みたいCSVファイルのPathを書いてください.

df = pd.read_csv(path_to_your_csvfile)

DataFrameからCSVデータへ書き込みたいときも一行です.

df.to_csv(path_to_your_csvfile)

CSVファイル以外にもjsonやSQLなど様々なフォーマットのデータが読み込めるので,CSVファイル以外に読み込みたいデータがある場合は調べてみてください.

DataFrameを操ろう

読み込んだデータを加工して処理したい場合もDataFrameを使えば様々なことが簡単にできます.

以下の例では先ほど使った,太郎,花子,むるむるの身長,年齢,性別のデータを使います.

特定の行・列を削除する

特定の列を削除する場合はDataFrame.drop(columns =…)とし,行の場合はcolumnsの部分をindexに変えます.

cols = ['height', 'age', 'sex']
idx = ['taro', 'hanako', 'mulumulu']
taro = [180, 20, 'male']
hanako = [160, 30, 'female']
mulumulu = [170, 28, 'male']
items = [taro, hanako, mulumulu]
df = pd.DataFrame(items, index = idx, columns = cols)

df2 = df.drop(columns = 'sex')
df3 = df.drop(index = 'mulumulu')

行・列を追加する

列の追加に関しては以下のようにしてできます.新しい列,’weight’を追加しています.

weights = [100, 60, 80]
df['weight'] = weights

次に行を追加してみましょう.先ほど定義した「df」にJohnの情報を追加します.DataFrame.columnsとすることでDataFrameの列を取得することができます.

name = 'John'
item = [[175, 39, 'male', 77]]
df4 = pd.DataFrame(item, index = [name], columns = df.columns)
df = df.append(df4)

上ではまず,Johnの情報だけを含んだ「df4」というDataFrameを作っています.そのうえで,もともとあった「df」に「df4」を追加するという形をとっています.indexとcolumnsはリストとして渡していることに注意してください.

条件を満たすものだけを取り出す

さて,ここからは前回追加した’John’のデータと’weight’のデータも含めたDataFrameを見ていきましょう.

さて条件を指定するのも簡単です.例として25歳以上の人,男性,25歳以上の男性を取得してみましょう.

over25_bool = (df['age']>25)
over25 = df[over25_bool]

うまくいっているのがわかると思います.一行目の「over25_bool = (df[‘age’]>25)」では条件「 df[‘age’]>25) 」を満たす場合Trueそうでない場合はFalseとなるようなデータの列を取ってきています.

同様に男性だけを取り出したい場合は

guys_bool = (df['sex']=='male')
guys = df[guys_bool]

また複数の条件を指定したい場合は「&」を使って以下のようにすればよいです.

over25_guys = df[over25_bool & guys_bool]

データを転置させる

DataFrame. transpose( )を使いましょう.

df.transpose()

データをソートする

DataFrame. sort_values( )が使えます.「by = …」の部分でcolumnを指定してあげれば,そのコラムの値によってソートを行います.昇順にするか降順にするかはascendingを設定することで決めることができます.

以下では若い順にデータを並べています.

df.sort_values(by = 'age', ascending = True)

データからランダムにサンプルする

DataFrame.sample( )を使いましょう.非復元抽出/復元抽出はreplaceをFalse/Trueとすることで設定できます.

df.sample(n = 3, replace = True)

欠損値のある行・列を削除

さてデータに次のように欠損値が含まれていた場合を考えましょう.

cols = ['height', 'age', 'sex']
idx = ['taro', 'hanako', 'mulumulu']
taro = [180, None, 'male']
hanako = [160, 30, 'female']
mulumulu = [170, None, 'male']
items = [taro, hanako, mulumulu]
df = pd.DataFrame(items, index = idx, columns = cols)
df.head()

上の例では,太郎とむるむるの年齢が欠損値となっています.

欠損値の含むすべての列を削除する方法は以下.

df.dropna(axis = 'columns')

欠損値の含むすべての行を削除する方法は以下.

df.dropna(axis = 'index')

行を指定した場合と列を指定した場合で結果が違うことに気を付けてください.

行を指定した場合は,太郎とむるむるの年齢が欠損値となっているため,太郎とむるむるのデータがすべて消えてしまいます.

一方,列を指定した場合は,欠損値があるのは年齢だけなので年齢だけをDataFrameから削除することになります.

欠損値の扱いはいろいろな方法がありますが,DataFrameでは線形補完や,定数を補完する方法なども簡単にできるようになっているので興味のある人は調べてみてください.

実際にデータを分析してみよう

さて,DataFrameの基本用語やCSV読み込みについて学んだところで実際にデータを分析してみましょう.

この記事では以下のCSVファイルを使用しますが,ご自身で分析したいデータがある場合は.

test

path_to_your_csvfile = 'test.csv'
df = pd.read_csv(path_to_your_csvfile, index_col = 'name')

以上のように「index_col = …」を指定すると,Indexに使う列を指定できます.

DataFrameの中身を一部確認したいときはhead( )を使うと上から5行だけ表示してくれます.

df.head()

DataFrameのIndexとColumnsは以下のようにして取得できます.

cols = df.columns# columnsを取得
idx = df.index# indexを取得

記述統計量などの取得

DataFrameは便利なことに,コード一行で行ごとの平均,標準偏差,最小値や最大値などの統計量を計算してくれます.

df.describe()# 記述統計descriptive statistics

特定の統計量や特定の列の統計量だけを取得したい場合は以下のようにしてできます.

df_min = df.mean()
df_age_mean = df['age'].min()
print(df_min)
print('==========')
print(df_age_mean)
'''
出力結果:
height    167.0
age        37.4
dtype: float64
==========
21
'''

以上でpandasの基本的な操作の紹介を終わりにしたいと思います.

機械学習のためにしっかりとPythonを勉強したいなら,ある程度の基礎を身に着けた後に下の本を読むのがお勧めです.この本をこなせば,より高いレベルへ到達できるでしょう.

必ずしも必要ではありませんが,独学がどうしても苦手で,いつもどこかで詰まってしまったり,勉強が続かない方はプログラミングスクールへ登録して,わからないことがあったらすぐに人に質問をできる環境で勉強するという手もあります.

Tech Academyは時間がない方でもオンラインで完結する受講携帯で質問もできます.

手っ取り早く短期間で集中してPythonを勉強したい方はプログラミングスクールも考えてみてはいかがでしょうか.

最新情報をチェックしよう!