統計

完全ランダム木のアンサンブルによる確率密度推定

Qiita Advent Calenderに記事書いた。完全ランダム木をアンサンブルした学習器で、すべてのサンプルが一つずつ最終ノードに入るまで木を生い茂らせ、その深度を基にそのデータが生まれてくる確率密度を推定してやろうというもの。会社で下記の本の読み会や…

時系列解析① ARモデル

時系列データの解析を二つのデータに対して実施します。 基本的には、RawDataの確認、トレンドと季節性の排除、モデルのフィッティングの順にやっていきます。 データ①simulated data Rで生成したデータについて分析してみます。 データを作成するコードは下…

OLS、リッジ回帰、ラッソでのパフォーマンス比較

OLS、特徴選択、リッジ回帰、ラッソの4つの方法でTrainデータからモデルをFittingし、Testデータを用いて、平均2乗誤差(MSE)を推定して比べるといったことをします。 まずはデータの準備 データはStanford大学の統計学部からprostateのデータをダウンロード…

PythonでXGBoostをちゃんと理解する(2) ライブラリ作者から学ぶ

XGBoostについて調べてたら、開発者本人から学ぶ的な動画があったので観てみた。www.youtube.com時間にして約1時間半、英語が苦手でなくて時間がある方は直接見て頂くと面白いかも。目次はこんな感じ。 ・Introduction ・Basic Walkthrough ・Real World App…

PuLPを使った線形計画法(Linear Programming)

カーネルやら何やらを理解するために、非線形計画法を勉強中。 で、その前に線形計画法で実際に手を動かしたくなったので無償で使えるPuLPを使ってみた。今回例題として解いたのは「これならわかる最適化数学」の第6章、線形計画法。 似たような例題がいくつ…

一般化線形モデル(GLM)とニューラルネットって一緒やんね (2)

前回の続きで、一般化線形モデル(GLM)と多層パーセプトロンの比較です。一般化線形モデル(GLM)とニューラルネットって一緒やんね (1) - KAZ log 機械学習の観点から:多層パーセプトロン ニューラルネット、パーセプトロンについては下記に非常にわかりやす…

一般化線形モデル(GLM)とニューラルネットって一緒やんね (1)

ちょっと乱暴な気もしますが、一般線形化モデル(GLM)とニューラルネットの多層パーセプトロンってやってること一緒なんですよね。 バラバラっと散らばったデータの中に、納得感ある線をバチっとひいちゃうわけで。 両方の分野をやる方も多いかと思いますが、…