Unboundedly

日々大学院で学んだこと、考えたことを更新

統計

「世界一高いIQ」が生んだ謎、モンティホール問題はなぜパラドックスなのか

今回は、前回紹介したシンプソンのパラドックスと同じくらい有名な統計トリック、モンティホール問題について書きます。確率的に正しいことと、我々人間の直感が大きく食い違うシチュエーションの非常に良い例だと思います。 モンティホール問題についての解…

データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える

今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象…

統計的因果推論のためのPythonライブラリDoWhyについて解説:なにができて、なにに注意すべきか

機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation こ…

因果効果のメカニズムを検討する:媒介分析(Causal Mediation Analysis)入門②~反事実モデルに基づく媒介効果の定義~

媒介分析シリーズ、第二段です。前回は、よく使われる媒介分析の手法の問題点についてまとめました。 今回は、これらの問題を克服するべく考案された因果媒介分析(Causal Mediation Analysis)を紹介するイントロとして、そもそも「媒介効果」なるものをどう…

データから因果関係をどう導く?:統計的因果推論の基本、「反事実モデル」をゼロから

データに基づく因果推論がどのように行われるのか、詳しく説明していきます。因果の定義、因果推論に必要な条件、RCTの意義などいろいろまとめていたら、例のごとくすごいボリュームになってしまいました。なお、本記事で使われる用語は、「疫学」の因果推論…

観察データを用いた因果推論で生じるバイアスの程度を考える:感度分析(Sensitivity analysis) & "E-value"入門

さて、今回からイデオロギー色の少ないブログ活動に戻ります。前回の受動喫煙に関する記事の中で、「感度分析("Sensitivity Analysis")」というテクニックを紹介しました。 どうも私の言葉足らずか、このテクニックに関して多くの方に誤解と混乱を招いたよ…

【点と矢印で因果関係を考える】データからニセモノの関連が生じるパターンとその対策まとめ:因果ダイアグラム(DAG)によるバイアスの視覚的整理

よく「因果関係と相関関係は違う」といいますが、具体的にどのような場合に両者が一致しない(バイアスが生じる)のかをDAGをつかって整理します(簡単にそれぞれのバイアスへの対応策にも言及しますが、各手法の詳細は別の機会に譲ります)。