検索
TOP
AI for SE
ローコード/ノーコード
クラウドネイティブ
MS&Windows
Pythonデータ処理入門
Pythonデータ処理入門
Deep Insider編集部 かわさきしんじ
2025/01/24
更新
NumPy超入門 目次
第1回
Pythonでのデータ処理をNumPyから始めよう!
(2023/06/09)
本シリーズと本連載について
Pythonについては学んだけれどまだ勉強が必要なの?
・
簡潔なコードが書ける
・
面倒なことはNumPyがよろしくやってくれる
・
つまり……
NumPyとは?
第2回
多次元配列「ndarray」に触ってみよう
(2023/06/16)
NumPyのインストール
ndarrayが得意とするデータの種類
多次元配列を作成してみよう
・
numpy.array関数によるndarrayオブジェクトの作成
・
多次元配列が持つ属性
・
多次元配列を作成する関数たち
・
CSVファイルからデータを読み出す
第3回
インデックスやスライスなどを使って多次元配列「ndarray」を操作してみよう
(2023/07/07)
ndarrayの形状を変更してみよう
・
numpy.linspace関数
・
ndarrayオブジェクトの形状を変更してみる
ndarrayオブジェクトの加減乗除
インデックスによる要素の選択と変更
スライスによる要素の選択と変更
第4回
多次元配列「ndarray」の高度なインデックス指定に触れてみよう
(2023/07/21)
高度なインデックス指定またはファンシーインデクシング
2次元配列で高度なインデックス指定を使用する
高度なインデックス指定でブーリアン値を要素とする配列を使う
高度なインデックス指定と基本的なインデックス指定の混在
第5回
多次元配列から最大値/最小値を求めてみよう
(2023/08/18)
最大値の取得
・
numpy.amax関数
・
numpy.nanmax関数
・
numpy.ndarray.maxメソッド
・
numpy.maximum関数とnumpy.fmax関数
・
numpy.argmax関数とnumpy.ndarray.argmaxメソッド
最小値の取得
第6回
内積、行列積からコサイン類似度までNumPyを使って試してみよう
(2023/09/08)
ベクトルや行列の積にもいろいろある
numpy.multiply関数
numpy.matmul関数
numpy.dot関数
numpy.inner関数
行列の絶対値とコサイン類似度
第7回
逆行列、行列式、固有値と固有ベクトルを計算してみよう
(2023/09/22)
逆行列を求めるには
・
numpy.set_printoptions関数
行列式を求めるには
行列の固有値を求めるには
第8回
平均/中央値/最頻値や分散/標準偏差を求めてみよう
(2023/10/05)
基本統計量とは
最大値と最小値
合計値
平均値
中央値
最頻値
分散と標準偏差
第9回
データ処理の最初の一歩! 基本統計量からデータの特徴を把握しよう
(2023/10/27)
California Housingデータセット
データセットの読み込み
配列の結合
基本統計量の確認
第10回
箱ひげ図とヒストグラムを使ってデータセットを可視化してみよう
(2023/11/17)
CSVファイルの読み込み
・
numpy.loadtxt関数
・
numpy.savetxt関数
四分位数を求めてみる
Matplotlibによる箱ひげ図の描画
Matplotlibによるヒストグラムの描画
第11回
相関係数とヒートマップ、散布図を使ってデータセットをさらに可視化してみよう
(2023/12/08)
相関係数を求めて可視化する
散布図を使って2つの列に相関があることを確認しよう
・
numpy.where関数
・
外れ値の除去
次回に続く
第12回
Pythonで単回帰分析:手作業で計算してみよう
(2024/01/12)
単回帰分析とは
手作業で傾きを求めてみよう
カリフォルニア州の住宅価格データセットのモデルを作って回帰式を求めてみよう
決定係数を求めてみよう
NumPyが提供する機能を使ってモデルを求めてみよう
第13回
日付や時刻、その差分の扱い
(2024/01/26)
NumPyで日付を操作する
・
日付と時刻を表すオブジェクト:datetime64クラスのインスタンス
・
時間差を表すオブジェクト:numpy.timedelta64クラスのインスタンス
・
日付や時刻でないことを表すNaT(Not a Time)
第14回
異なる型のデータを格納する構造化配列を使ってみよう
(2024/02/16)
構造化配列とは
・
構造化データ型の定義
構造化配列の作成と操作
・
構造化配列の作成
・
構造化配列への代入
・
複数フィールドや行データの参照と代入
pandas超入門
第1回
Pythonでデータ分析を始めよう! データの読み書き方法
(2024/04/05)
本シリーズと本連載について
pandasとは
・
pandasのインストール
・
pandasで扱えるデータ
・
SeriesとDataFrame
データセットの読み込みと書き込み
・
CSVファイルの読み込み
・
pandas.read_csv関数
・
CSVファイルへの書き込み
・
pandas.DataFrame.to_csvメソッド
・
Excelファイルの読み込み
・
pandas.read_excel関数
・
Excelファイルへの書き込み
・
pandas.DataFrame.to_excelメソッド
読み込んだデータを調べてみよう
第2回
Seriesオブジェクトの作成とその基本
(2024/04/19)
Seriesオブジェクトとは
・
pandas.Seriesコンストラクタ
・
シンプルな作成例
・
indexパラメーターを指定する
・
copyパラメーターの指定
ベクトル化された演算とブロードキャスト
Seriesオブジェクトに格納できるもの
第3回
DataFrameオブジェクトの作成と行や列、要素の選択
(2024/05/10)
DataFrameオブジェクトとは
・
pandas.DataFrameコンストラクタ
・
シンプルな作成例
・
indexパラメーターを指定する
・
columnsパラメーターを指定する
loc属性とiloc属性による特定の行や列、要素の選択
・
列の選択
・
行の選択
・
要素の選択
選択で得られるデータの種類
第4回
DataFrameの情報(形状、要素数、要素のデータ型など)を調べてみよう
(2024/05/24)
DataFrameオブジェクトの要素の型/形状/次元数などを調べるには
・
dtypes属性
・
shape属性
・
size属性
・
ndim属性
・
columns属性
・
index属性
・
axes属性
・
values属性
・
T属性
・
infoメソッド
DataFrameオブジェクトを他のオブジェクトに変換する
・
to_numpyメソッド
・
astypeメソッド
・
to_listメソッド(Seriesオブジェクト)
第5回
DataFrameの要素を選択するさまざまな方法
(2024/06/07)
at属性/iat属性による特定要素の選択
・
ブラケットによる列選択と属性としての列選択
ブーリアンインデクシング
・
簡単な例
・
複数の条件を指定する
・
loc属性やiloc属性と組み合わせる
より高度な方法
第6回
DataFrameに対して行や列を追加したり削除したりしてみよう
(2024/06/28)
DataFrameオブジェクトに列や行を追加する
・
DataFrameオブジェクトに列を追加する
・
新規列名を指定して代入
・
assignメソッドを使って列を追加する
・
pandas.DataFrame.assignメソッド
・
insertメソッドを使って列を追加する
・
pandas.DataFrame.insertメソッド
・
DataFrameオブジェクトに行を追加する
・
DataFrameオブジェクトに列や行を追加する
・
pandas.concat関数
DataFrameオブジェクトから行/列を削除する
・
pandas.DataFrame.dropメソッド
第7回
DataFrameをソートしたり行や列を入れ替えたりしてみよう
(2024/07/19)
DataFrameオブジェクトのソート
・
pandas.DataFrame.sort_indexメソッド
・
pandas.DataFrame.sort_valuesメソッド
・
pandas.DataFrame.T属性
DataFrameオブジェクトの行/列の入れ替え/追加/削除
・
pandas.DataFrame.reindexメソッド
第8回
DataFrameをさまざまなオブジェクトに変換しよう
(2024/08/02)
DataFrameオブジェクトをNumPyの多次元配列に変換
・
pandas.DataFrame.to_numpyメソッド
・
dtypeパラメーターの指定
・
copyパラメーターの指定
・
na_valueパラメーターを指定する
DataFrameオブジェクトをPythonのリストに変換
・
pandas.DataFrame.iterrowsメソッド
DataFrameオブジェクトをPythonの辞書に変換
・
pandas.DataFrame.to_dictメソッド
DataFrameオブジェクトをJSON形式のデータに変換
・
pandas.DataFrame.to_jsonメソッド
第9回
欠損値とその処理
(2024/08/23)
欠損値とは
欠損値かどうかの判定
・
pandas.isna関数/pandas.isnull関数
・
pandas.notna関数/pandas.notnull関数
・
DataFrame.isnaメソッド/DataFrame.isnullメソッド
行や列に欠損値が含まれているかどうかを確認
・
pandas.DataFrame.allメソッド/pandas.DataFrame.anyメソッド
欠損値を含む行/列のカウント
・
pandas.DataFrame.sumメソッド
欠損値を含む行/列を削除する
・
pandas.DataFrame.dropnaメソッド
欠損値を別の値に置き換える
・
pandas.DataFrame.fillnaメソッド
第10回
探索的データ分析の基礎:タイタニックデータセットを調べてみよう
(2024/09/06)
タイタニックデータセット
DataFrameオブジェクトの概要を調べる
・
pandas.DataFrame.infoメソッド
・
pandas.DataFrame.describeメソッド
タイタニックデータセットをもう少しだけ調べてみる
第11回
データセットの前処理をしてみよう
(2024/09/20)
欠損値を含む列
・
'Embarked'列
・
pandas.DataFrame.groupbyメソッド
・
pandas.DataFrame.fillnaメソッド
・
'Age'列
列の削除
エンコーディング
・
pandas.get_dummies関数
第12回
ヒストグラムの描画とビニングを体験してみよう
(2024/10/04)
'Age'列のヒストグラムを作成してみよう
・
pandas.DataFrame.histメソッド
DataFrameオブジェクトのビニング
・
pandas.cut関数
plotメソッドによる'Age'列のヒストグラムの描画
第13回
データをスケーリングしてみよう(正規化と標準化)
(2024/10/18)
データのスケーリングとは
正規化
標準化
Titanicデータセットを正規化/標準化してみよう
第14回
正規化と標準化についてもうちょっと
(2024/12/20)
サンプルのデータセットの作成
正規化してみる
標準化してみる
一様分布の列を標準化してみる
正規化と外れ値
第15回
Diabetesデータセットを使って回帰分析してみよう(可視化編)
(2025/01/24)
使用するデータセット
データの読み込み
ヒートマップをプロットしてみよう
散布図をプロットしてみよう
総合記事ランキング
無料で学べるオンライン講座「Kubernetes入門」 Linux Foundationが提供開始
「Windowsメモリ診断ツール」でメモリの不具合をチェックする
「Copilot+ PC」で世界は変わるのか!? 期待を込めた自腹実機レポート
商用利用も無料になった「VMware Workstation Pro」をダウンロードする方法
Jenkinsに代わるCI/CDツール トップ10
互換性チェックをバイパスしてシステム要件を満たさないPCでもWindows 11 2024 Update(バージョン24H2)にする
Alibaba Cloud、「DeepSeek V3」「GPT-4o」超えをうたうMoE LLM「Qwen2.5-Max」を提供開始 モデルを試す方法は?
【Chrome】ついにデスクトップにやってきたGoogleレンズの使い方
「Heroku」が「.NET」に対応 Saleforceは何を狙っている?
【Windows 10/11障害対策】リモートデスクトップ接続でコピー&ペーストに失敗する