![[PukiWiki]](image/dx_expert_logo.png "[PukiWiki]"){kind=logo}
【このページは現在作成中です】
#準備（すべてに共通） # PandasとNumpyをインポート import pandas as pd import numpy as np # 日本語化Matplotlibもインポート import matplotlib.pyplot as plt #↓の1行は提出時にはコメントアウトしてください !pip install japanize-matplotlib import japanize_matplotlib # Seabornもインポート import seaborn as sns # pickleをインポート（モデルの保存用） import pickle #データフレームをきれいに表示するメソッド from IPython.display import display #標準化はよく使うのでインポート from sklearn.preprocessing import StandardScaler
#データの取り込み
data = pd.read_csv("https://www2.cmds.kobe-u.ac.jp/~masa-n/dshandson/exam-pca.csv", index_col="受験番号")
display(data) df = data.copy() #要約統計量 display(df.describe()) #ヴァイオリン・プロット sns.violinplot(df) plt.show() #相関係数 sns.heatmap(df.corr(), annot=True)
#5科目の合計を計算
total = pd.DataFrame(df.sum(axis=1), columns=["合計"])
display(total)
#total.columns=["合計"]
#横棒グラフに可視化する
total.sort_values("合計").plot.barh(title="5科目の合計", figsize=(8,16))
#積み上げ棒グラフで表示する(オプショナル)
#df.loc[total.sort_values("合計").index].plot.barh(stacked=True, figsize=(8,16))
#66番と19番の得点を表示 display(df.loc[[12,10],:]) display(total.loc[[12,10]])
新しい軸 = w1*国語 + w2*数学 + w3*英語 + w4*物理 + w5*化学
理系能力 = 0.3*国語 + 0.8*数学 + 0.3*英語 + 0.8*物理 + 0.8*物理 文系能力 = 0.8*国語 + 0.3*数学 + 0.8*英語 + 0.3*物理 + 0.3*物理
from sklearn.decomposition import PCA pca = PCA(ハイパーパラメータ) #標準化されたデータフレームで学習させる pca.fit(df_sc)
#主成分のラベル (データフレームの列・行に名前を付ける際に使う)
labels = [f"第{i}主成分" for i in range(pca.n_components_)]
#主成分得点に変換して，データフレームに入れなおす
df_pca = pd.DataFrame(pca.transform(df_sc), index=df_sc, columns=labels)
#主成分負荷量
df_comp = pd.DataFrame(pca.components_, index=labels, columns=df_sc.columns)
【売上データ】
【問題】
→ 特徴量エンジニアリングによって，新しい特徴量を作る
#準備（すべてに共通） # PandasとNumpyをインポート import pandas as pd import numpy as np # 日本語化Matplotlibもインポート import matplotlib.pyplot as plt #↓の1行は提出時にはコメントアウトしてください !pip install japanize-matplotlib import japanize_matplotlib # Seabornもインポート import seaborn as sns # pickleをインポート（モデルの保存用） import pickle # pandasのデータフレームを表示する関数 from IPython.display import display
#データをロードする（エクセルデータの読み込み）
data = pd.read_excel("https://www2.cmds.kobe-u.ac.jp/~masa-n/dshandson/yogurt.xlsx")
data
#型チェック data.dtypes
#整形
df = data.copy()
#売上日付をインデクスに
df = df.set_index("売上日付")
df
#売上個数を可視化 #箱ひげ図 df["売上数"].plot.box()
#時系列 df["売上数"].plot()
#月別に可視化
for y in [2021, 2022]:
for i in range(1,13):
df[(df.index.year==y)&(df.index.month==i)]["売上数"].plot.bar(title=f"{y}年{i}月", figsize=(8,6))
plt.show()
ヨーグルトAの売上数に関係ありそうなものは何か？
df["曜日"] = df.index.day_of_week
df["日"] = df.index.day
df["月"] = df.index.month
df["単価"] = df["売上額"] / df["売上数"]
n=3
for i in range(1, n+1):
df[f"売上数-{n}"] = df["売上数"].shift(n)
#天気のデータを拾ってくる．インデクスを日付に
data_weather = pd.read_csv("どこかの天気のデータ.csv")
df_w = data_weather.set_index("日付")
#売上データとマージする （参考：Python基礎演習6.2）
df_merged = pd.merge(df, df_w, left_index=True, right_index=True)
多項式を使って，特徴量を作成するライブラリ
from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(ハイパーパラメータ) #データフレームをフィットさせる poly.fit(df) #dfは特徴量作成の元になる列を含んだデータフレーム #データフレームを変換して，データフレームに入れなおす df_poly = pd.DataFrame(poly.transform(df), index=df.index, columns=poly_features_names_out()) #確認する df_poly
#データフレームを適当に作る
df_sample = pd.DataFrame(data={"a":[1,2,3,4,5], "b":[60,70,80,90,100]})
df_sample
#多項式特徴量を作成する
from sklearn.preprocessing import PolynomialFeatures
poly=PolynomialFeatures(degree=3,include_bias=False)
poly.fit(df_sample)
df_poly = pd.DataFrame(poly.transform(df_sample), index=df_sample.index,
columns=poly.get_feature_names_out())
df_poly
