EBPM新聞

メタアナリシスとは、何でしょうか。

たくさんの研究を集めれば、社会の正解が見えるのでしょうか。 研究結果を平均すれば、政策判断は自動的に決まるのでしょうか。 それとも、メタアナリシスは、明確な答えではなく、不確実性を読むための地図なのでしょうか。

本エピソードでは、EBPMにおけるメタアナリシスを取り上げ、複数の研究を統合する意味、効果量、固定効果モデル、ランダム効果モデル、出版バイアス、異質性、感度分析、そして政策判断への使い方を解説します。

取り上げる主なテーマ

・メタアナリシスとは何か ・EBPMにおける研究統合の意味 ・投票法から効果量への転換 ・グラスによるメタアナリシスの提唱 ・コクランとエビデンス統合 ・固定効果モデルとランダム効果モデル ・平均効果をそのまま信じてはいけない理由 ・I²やτ²で見る研究間のばらつき ・教育政策における個別指導のメタアナリシス ・誰が、いつ、どの条件で実施するかの重要性 ・積極的労働市場政策と時間軸の罠 ・短期効果と中長期効果の違い ・出版バイアスとファンネルプロット ・選択バイアスと観察研究の限界 ・IPDメタアナリシスとは何か ・感度分析によるストレステスト ・ロジックモデルとメタアナリシスの接続 ・過去のエビデンスに縛られる危険 ・脆弱な集団やマイノリティがデータから抜け落ちる問題

メタアナリシスは、エビデンスの頂点として語られることがあります。

しかし、それは自動的に正解を出す機械ではありません。

複数の研究を統合することで、単独研究では見えにくい傾向をつかむことはできます。

一方で、集めた研究の質が低ければ、どれほど高度な統計を使っても、精巧な歪みが生まれるだけです。

重要なのは、平均値だけを見ることではありません。

研究ごとに、対象者、国、制度、実施条件、時間軸が違います。

その違いを無視して、平均して効果があるから導入しようと判断すると、現場では失敗することがあります。

たとえば、個別指導の研究を統合すると、平均的には学習効果が確認されるかもしれません。

しかし、誰が教えるのか。 低学年か高学年か。 週に何回行うのか。 放課後か授業時間内か。

条件が変われば、効果も変わります。

メタアナリシスの価値は、「効くか、効かないか」を一言で決めることではありません。

どの条件なら効くのか。 どの条件では効かないのか。 どれくらい結果がばらついているのか。 そのばらつきは偶然なのか、それとも文脈の違いなのか。

そこを読み解くことにあります。

雇用政策でも同じです。

就職支援のように短期で効果が出るものもあれば、職業訓練のように中長期でようやく効果が見えてくるものもあります。

短期指標だけで判断すれば、将来の人的資本への投資を切り捨ててしまうかもしれません。

メタアナリシスは、時間軸の罠を見抜くための道具にもなります。

ただし、メタアナリシスには深刻なリスクもあります。

その一つが出版バイアスです。

効果があった研究は公表されやすく、効果がなかった研究は引き出しに眠りやすい。

すると、世の中に出ている研究だけを集めたとき、実際よりも効果が大きく見えてしまいます。

これは、成功した写真だけが並ぶSNSを見て、人生全体を判断してしまうようなものです。

また、参加者が自分で介入を選んでいる場合、もともと意欲の高い人だけが集まっている可能性もあります。

その場合、結果が良く見えても、それが介入の効果なのか、参加者の性質によるものなのかは簡単には分かりません。

だからこそ、メタアナリシスでは、元の研究の質、バイアス、異質性、感度分析を確認する必要があります。

条件を少し変えただけで結論がひっくり返るなら、その結論は不安定です。

逆に、複数の条件で揺さぶっても結論が保たれるなら、判断の信頼性は高まります。

メタアナリシスは、政策を採用するかどうかを決める二択スイッチではありません。

不確実性を構造化するための道具です。

平均効果はどうか。 ばらつきはどれくらいか。 どの条件で効いているのか。 自分たちの現場に当てはまるのか。 追加評価は必要か。

そこまで見て初めて、EBPMに使える知識になります。

さらに、私たちは過去のデータに含まれる偏りにも注意する必要があります。

過去の研究が、特定のマイノリティや脆弱な集団を十分に含んでいなかったとしたら、そのメタアナリシスは誰のための平均なのでしょうか。

エビデンスに基づいているつもりで、過去の偏りを再生産してしまう可能性があります。

メタアナリシスは、過去の知見を束ねる強力な方法です。

しかし、未来の政策を決めるには、それを文脈の中で読み直す力が必要です。

理論編#09では、メタアナリシスを「エビデンスの頂点」ではなく、「不確実性を構造化する中間言語」として捉え直します。

ロジックモデルとは、何でしょうか。

インプット。

アクティビティ。

アウトプット。

アウトカム。

インパクト。

四角い箱をきれいに並べたフローチャートのことだと思われがちですが、本当に重要なのは箱ではありません。

箱と箱をつなぐ「矢印」です。

本エピソードでは、EBPMにおけるロジックモデルを取り上げ、政策や事業を「やった感」で終わらせず、あとから検証できる形にするための考え方を解説します。

取り上げる主なテーマ

・ロジックモデルとは何か

・EBPMにおけるロジックモデルの役割

・インプット、アクティビティ、アウトプット、アウトカム、インパクト

・5要素モデルと8要素の拡張型

・現状把握と課題設定から始める重要性

・箱ではなく矢印を見る理由

・矢印を支えるエビデンスとは何か

・RCTやABテストだけでは分からないブラックボックス

・理論駆動型評価とは何か

・アウトプットとアウトカムの混同

・セミナー開催数と顧客行動変容の違い

・文脈、外部要因、前提条件の重要性

・CDCの1ページ・ロジックモデル

・日本の行政事業レビュー型モデル

・がん対策推進基本計画の階層型モデル

・イギリスの大学エンタープライズ・ゾーン評価

・プロセス評価とインパクト評価の違い

・数字の暴走とKPIの罠

・エビデンスレジスターと評価マトリクス

・ロジックモデルを生きた道具にする方法

ロジックモデルは、単なる説明用の図ではありません。

EBPMのロジックモデルとは――日本の制度・作り方・因果推論から見る限界

政策や事業が、なぜ成功するはずなのか。

どの活動が、どの変化につながるのか。

どの前提が崩れると、効果が出なくなるのか。

それを事前に見える化するための設計図です。

多くの組織では、ロジックモデルが「箱並べ」になってしまいます。

予算を入れる。

研修を行う。

資料を配る。

参加者が増える。

成果が出る。

こう書くと、一見すると論理的に見えます。

しかし、本当に重要なのは、「研修を行えば、なぜ参加者の行動が変わるのか」「資料を配れば、なぜ社会課題が改善するのか」という矢印の部分です。

箱は状態を示します。

矢印は仮説を示します。

そして、その矢印を支える根拠こそがエビデンスです。

ロジックモデルの役割は、きれいな図を作ることではありません。

どの矢印が本当に成立しているのか。

どの矢印が願望にすぎないのか。

どこで外部要因が入り込むのか。

どの指標を見れば、矢印が折れた場所を確認できるのか。

そこを明らかにすることです。

RCTやABテストは、結果が出たかどうかを測る強力な方法です。

しかし、結果だけを見ても、なぜ効いたのかは分からないことがあります。

アイデア自体が間違っていたのか。

実施方法が悪かったのか。

対象者が違ったのか。

外部環境が変わったのか。

ロジックモデルは、そのブラックボックスを開くための道具です。

特に重要なのが、アウトプットとアウトカムの違いです。

セミナーを10回開催した。

資料を1万部配った。

相談窓口を設置した。

これはアウトプットです。

しかし本当に知りたいのは、参加者の理解が深まったのか。

行動が変わったのか。

支援が必要な人に届いたのか。

社会課題が改善したのか。

そこがアウトカムです。

アウトプットで満足すると、事業は「やった感」で止まります。

アウトカムまで見に行くと、政策や事業は学習を始めます。

一方で、アウトカムを測ろうとすると、数字の暴走も起きます。

測りにくい本来の目的を避けて、取りやすい数字だけを指標にしてしまう。

教育でいえば、批判的思考力を育てたいのに、標準テストの点数だけを追ってしまう。

健康政策でいえば、健康状態を改善したいのに、イベント参加者数だけを追ってしまう。

便利すぎる数字は、目的を乗っ取ることがあります。

だからこそ、指標は「取りやすいから置く」のではなく、「その矢印を検証するために必要だから置く」必要があります。

ロジックモデルを実務で使うなら、まずは1ページのコアモデルを作ること。

次に、各矢印について、根拠を1行ずつ書いたエビデンスレジスターを作ること。

さらに、評価質問、指標、データ源を対応させた評価マトリクスを作ること。

そこまで進むと、ロジックモデルは飾りの図ではなく、政策や事業を改善するための運用ダッシュボードになります。

年に1回しか見ないロジックモデルは、コート掛けになった筋トレ器具と同じです。

作って終わりではなく、データを見ながら更新し、仮説を修正し、次の判断につなげる。

それが、EBPMにおけるロジックモデルの使い方です。

理論編#08では、ロジックモデルを「箱を並べる作業」ではなく、「矢印を検証する設計図」として捉え直します。

エビデンスレベルとは、何でしょうか。

RCTなら強い。

観察研究なら弱い。

メタアナリシスなら絶対に正しい。

本当に、そんな単純な話なのでしょうか。

本エピソードでは、EBPMにおけるエビデンスレベルを取り上げ、証拠の強さをどう読み、どう政策判断に使うべきかを解説します。

取り上げる主なテーマ

・エビデンスレベルとは何か

・EBPMで証拠の強さをどう考えるか

・エビデンスは絶対的な印籠ではない

・因果関係とロジックモデルの重要性

・政策の矢印を支える根拠とは何か

・RCTが常に最上位とは限らない理由

・GRADEによるエビデンスの確実性評価

・アウトカムごとに証拠の強さが変わる理由

・ダウングレードとアップグレード

・観察研究でも強い証拠になる場合

・パラシュート例から考える効果の大きさ

・USPSTFやEvidence to Decisionの考え方

・メキシコのプログレサと段階的導入

・受動喫煙防止法と観察研究の束

・出生前ステロイド投与と実装条件

・日本のEBPMとロジックモデル

・データ基盤、人材、インセンティブの課題

・ネガティブエビデンスと事後学習

・後から賢くなれる政策設計

エビデンスレベルは、証拠に身分をつけるための制度ではありません。

RCTが王様で、観察研究は弱い。

メタアナリシスなら必ず正しい。

そう考えると、エビデンスの読み方を誤ります。

重要なのは、まず何を知りたいのかです。

どの政策が、誰に、どの条件で、どのアウトカムに効いたのか。

この問いが曖昧なまま、研究手法だけを比べても意味がありません。

EBPMでは、ロジックモデルによって、政策の構造を明らかにします。

予算を投入する。

活動を行う。

アウトプットが生まれる。

アウトカムが変化する。

最終的に社会的インパクトにつながる。

この矢印が本当に成り立つのか。

その裏付けこそが、エビデンスです。

ただし、エビデンスの強さは、研究デザインだけで決まりません。

GRADEの考え方では、RCTから始まった研究でも、バイアスが大きい、対象者が少ない、結果が不安定などの理由で、確実性が下がることがあります。

逆に、観察研究であっても、効果が非常に大きい場合や、一貫した結果が複数の文脈で示されている場合には、確実性が高く評価されることがあります。

つまり、エビデンスレベルは固定的な階級ではありません。

アウトカムごとに変わります。

文脈ごとに変わります。

仮定やデータの質によって変わります。

政策の現場では、完璧なRCTができないことも多くあります。

受動喫煙防止法のように、社会全体を対象にする制度では、一部の人だけを法律の外に置いて比較することはできません。

その場合、複数の観察研究、時系列データ、地域比較、国際比較を組み合わせて、証拠の束を作ります。

1本の糸は弱くても、束ねれば政策判断を支えるロープになることがあります。

一方で、強いエビデンスがあっても、そのまま別の現場で機能するとは限りません。

出生前ステロイド投与のように、先進国では効果が確認されても、医療資源や診断体制が異なる環境では、同じ結果にならないことがあります。

だからこそ、エビデンスレベルを見るときには、効果だけでなく、実装条件、費用、倫理、受け入れ可能性も考える必要があります。

日本のEBPMでも、ロジックモデルやレビューシートの整備は進んできました。

しかし、真の課題は、手法名を並べることではありません。

どの問いに、どの証拠が、どこまで答えているのかを見極めることです。

そして、政策を始めた後に、結果を学び、必要なら変えることです。

効果が小さかった。

費用対効果が悪かった。

現場では実装できなかった。

別の対象には効かなかった。

こうしたネガティブエビデンスも、政策を改善するための重要な証拠です。

EBPMとは、最初から完璧な政策を作ることではありません。

不完全な証拠の中で、より妥当な判断を行い、後から学習できるように設計することです。

理論編#07では、エビデンスレベルを「証拠の格付け」ではなく、問い、文脈、仮定、実装条件を読み解くための思考法として捉え直します。

日本で最も強いEBPM機関は、どこなのでしょうか。

内閣府でしょうか。

各省庁のEBPM推進部局でしょうか。

それとも、完成した政策をあとから厳しく検査する会計検査院なのでしょうか。

本エピソードでは、「会計検査院こそ最強のEBPM機関なのか」という問いから、日本の政策評価、行政監査、事後検証、そして広義のEBPMについて考えます。

取り上げる主なテーマ

・会計検査院はEBPM機関なのか

・狭義のEBPMと広義のEBPMの違い

・事前設計と事後検証の役割分担

・会計検査院の憲法上の独立性

・経済性、効率性、有効性の検査

・マイナンバー制度と利用実績の検証

・地方公共団体による情報照会の利用率

・統計的抽出と実態調査

・高収益作物次期作支援交付金の過大交付

・申請データと現場実績の突合

・電気・ガス価格激変緩和対策事業と指標設定

・行政事業レビューシートのゴールポスト問題

・会計検査院と財務省の接続

・検査報告が予算編成に与える影響

・会計検査院が政策設計者になってはいけない理由

・審判とプレイヤーの役割分担

・日本のEBPMに必要な事前設計と事後検証の接続

EBPMというと、政策を作る前にロジックモデルを作り、指標を設定し、データに基づいて政策を設計することが想像されがちです。

しかし、政策は作って終わりではありません。

本当に使われたのか。

本当に効果があったのか。

制度設計に穴はなかったのか。

指標は途中で都合よく変えられていないか。

使われなかった予算や過大な交付はなかったのか。

こうした問いを、実施後に検証することもEBPMの重要な一部です。

その意味で、会計検査院は日本政府における強力な事後検証機関です。

会計検査院は、内閣から独立した憲法上の機関として、予算の使われ方だけでなく、政策の経済性、効率性、有効性を検査します。

単なる領収書チェックではありません。

制度が実際に使われているか。

申請内容と実績が一致しているか。

成果指標が適切に設定されているか。

政策の効果をあとから検証できるデータが残されているか。

そうした観点から、政府の政策運営そのものを問い直します。

たとえば、マイナンバー制度に関する検査では、全国の行政手続きの利用実績を分析し、システムが実際に使われていない手続きがあることを可視化しました。

高収益作物次期作支援交付金では、申請書、実績報告、農地面積、生産記録などを突き合わせ、過大交付を特定しました。

電気・ガス価格激変緩和対策事業などでは、行政事業レビューシートにおける成果目標や指標が変わる問題を指摘しました。

これは、政策そのものだけでなく、政策を評価する仕組みを評価する「メタEBPM」とも言えます。

一方で、会計検査院が政策の事前設計まで担うべきかというと、それは違います。

会計検査院の強さは、政策の当事者ではない第三者であることにあります。

審判がプレイヤーになってしまえば、自分が設計した政策を自分で検査することになります。

それでは独立性が失われ、評価の信頼性も損なわれます。

だからこそ、日本のEBPMに必要なのは、会計検査院を政策設計者にすることではありません。

内閣府や各省庁が、事前設計と実施を担う。

会計検査院が、独立した立場から事後検証を行う。

そして、その検査結果を国会、財務省、予算編成、制度改正に接続する。

この役割分担と接続こそが重要です。

政策を作る側は、あとから検証されることを前提に、指標とデータ取得計画を設計する必要があります。

政策を検査する側は、データと統計を用いて、実際に何が起きたのかを明らかにする必要があります。

会計検査院は、政府の外側から政策を罰するだけの存在ではありません。

政策を学習可能にするための、独立した審判です。

実装編#03では、会計検査院を手がかりに、日本のEBPMを「事前の設計図」だけで終わらせず、事後検証と予算改善につなげる仕組みを考えます。

なお、本エピソードの音声やスライドの制作過程では、内容を短く分かりやすく伝えるために表現を圧縮した結果、本文で意図していたニュアンスよりも強い言葉になっていた箇所がありました。

会計検査院や各府省の政策運営を不当に批判したり、特定の組織や担当者の意図を推測して非難したりすることが、本エピソードの趣旨ではありません。

表現が必要以上に断定的、あるいは攻撃的に受け取られ得るものとなっていた点について、お詫びいたします。

本エピソードで考えたいのは、会計検査院の独立した事後検証機能を高く評価したうえで、政策を設計・実施する側と、それを独立して検証する側が、それぞれの役割をどのように果たし、得られた知見を次の政策改善へ接続できるかという点です。

会計検査院は、内閣から独立した立場で問題点を指摘するだけの機関ではありません。

政策や行政を、次の改善につなげるための重要な検証機関でもあります。

政策を学習可能にするための、独立した審判です。

EBPMのロジックモデルとは――日本の制度・作り方・因果推論から見る限界

実装編#03では、会計検査院を手がかりに、日本のEBPMを「事前の設計図」だけで終わらせず、事後検証と予算改善につなげる仕組みを考えます。

RCTとは、何でしょうか。

ある政策が本当に効いたのか。

それとも、たまたま景気が良かっただけなのか。

別の要因で変化が起きただけなのか。

その切り分けを行うための代表的な方法が、RCT、ランダム化比較試験です。

本エピソードでは、EBPMにおけるRCTを取り上げ、政策効果を測る難しさ、無作為割り振り、潜在的結果フレームワーク、倫理的課題、社会実験の歴史、そしてRCTの限界を解説します。

取り上げる主なテーマ

・RCTとは何か

・ランダム化比較試験の基本

・政策効果を測ることの難しさ

・潜在的結果フレームワーク

・同じ人の「政策あり」と「政策なし」は同時に観察できない

・無作為割り振りがパラレルワールドを作る理由

・割り付け隠蔽と盲検化

・農業実験から医療、社会政策への展開

・ペリー・プリスクール・スタディ

・メキシコのプログレサ

・J-PALと貧困削減研究

・オレゴン・メディケイド実験

・納税督促状とナッジ

・日本の風疹抗体検査、がん検診勧奨

・RCTの倫理的課題

・内的妥当性と外的妥当性

・RCTだけでは政策判断を完結できない理由

・ITT、割り付け通り解析

・小さな実験を社会で回し続けることの意味

RCTは、政策評価において非常に強力な方法です。

理由は、政策を受ける人と受けない人を、偶然によって分けるからです。

くじ引きのようにランダムに分けることで、年齢、意欲、家庭環境、地域差、もともとの能力といった偏りを、平均的に揃えることができます。

そのうえで結果に差が出れば、それは政策による効果だと考えやすくなります。

つまりRCTは、現実には観察できない「政策がなかった場合の世界」を、集団レベルで近似する方法です。

ただし、RCTは魔法の杖ではありません。

医療や福祉、教育、社会保障では、支援を受ける人と受けない人をくじ引きで分けることが、倫理的に難しい場合があります。

命や生活に関わる支援を、研究のためだけに一部の人から取り上げることはできません。

そこで重要になるのが、段階的導入や、予算制約によって自然に生まれた割り振りを活用する考え方です。

オレゴン・メディケイド実験では、医療保険の対象枠が限られていたため、抽選によって保険に入れる人と入れない人が分かれました。

その結果、身体的な健康指標には短期的な大きな改善が見られなかった一方で、医療費による経済的不安や、うつ症状の改善が確認されました。

これは、政策の価値をどのアウトカムで見るかによって、評価の意味が大きく変わることを示しています。

また、RCTは大規模政策だけのものではありません。

税金の督促状の文面を変える。

検診案内のメッセージを変える。

社会的規範や損失回避を使って、行動を少し後押しする。

こうした小さなナッジでも、RCTによって効果を検証できます。

一方で、RCTにも限界があります。

ある地域で効果が出た政策が、別の国や自治体で同じように機能するとは限りません。

これが外的妥当性の問題です。

実験の中で効果があったことと、現実社会全体で同じように広がることは別問題です。

さらに、RCTは「平均して効いたか」を示すことはできますが、それを社会として採用すべきかまでは決めません。

費用に見合うのか。

公平なのか。

誰に利益が届くのか。

誰が対象から外れるのか。

社会的に受け入れられるのか。

こうした判断には、人間の価値判断と政治的な意思決定が残ります。

RCTは、政策判断を自動化する装置ではありません。

言い訳の余地を減らし、事実を見えやすくする装置です。

そして重要なのは、評価を政策が終わった後に思い出すのではなく、最初から設計に組み込むことです。

誰を対象にするのか。

何をアウトカムとして測るのか。

比較対象をどう作るのか。

途中で離脱した人も含めてどう解析するのか。

こうした設計があって初めて、RCTは政策を学習可能にします。

理論編#06では、RCTを「政策効果を見抜くためのパラレルワールドの作り方」として捉え、EBPMにおける強みと限界を考えます。

エビデンスとは、何でしょうか。

数字があること。

統計表があること。

成功事例があること。

有名な研究が引用されていること。

それだけで、本当に「証拠」と呼べるのでしょうか。

本エピソードでは、EBPMにおけるエビデンスの意味を取り上げ、単なるデータや成功事例ではなく、政策判断を支える「証拠のエコシステム」としてのエビデンスを解説します。

取り上げる主なテーマ

・エビデンスとは何か

・EBPMにおける証拠の意味

・データとエビデンスの違い

・エビデンスを点ではなくエコシステムとして捉える考え方

・アウトプットとアウトカムの混同

・「やった感」が政策評価を歪める理由

・記述的エビデンス、因果エビデンス、実装エビデンス、経済分配エビデンス

・ロジックモデルの本来の役割

・事後合理化と都合のよい指標の危険

・EBM、コクラン、キャンベル共同計画

・What Works Networkとエビデンスの翻訳

・因果推論と反事実仮想

・RCT、ランダム化比較試験

・準実験と回帰不連続デザイン

・エビデンスレベルの誤解

・手法の魔法ではなく、仮定の労働

・ネガティブエビデンスの価値

・スケールアップの罠

・政策評価に必要な人材と組織文化

エビデンスは、単なる数字のことではありません。

統計表がある。

グラフがある。

成功事例がある。

論文が引用されている。

それだけでは、政策判断に使えるエビデンスとは言えません。

大切なのは、その証拠が、どの問いに答えているのかです。

問題の大きさを示しているのか。

政策によって何が変わったのかを示しているのか。

どんな条件で実装できるのかを示しているのか。

費用に見合う効果があるのかを示しているのか。

エビデンスには役割があります。

現状を把握する記述的エビデンス。

対策の効果を示す因果エビデンス。

現場でどう実装すればよいかを示す実装エビデンス。

費用対効果や分配への影響を見る経済分配エビデンス。

これらを組み合わせて初めて、政策判断に使える証拠になります。

一方で、政策や組織はしばしば、測りやすい数字に逃げます。

研修を10回実施した。

パンフレットを1万枚配った。

相談窓口を設置した。

イベントに何人来た。

これらはアウトプットです。

しかし、本当に見るべきなのは、受益者の行動や状態がどう変わったのかというアウトカムです。

ダイエットでいえば、ジムに3回行ったことではなく、体重や体脂肪率、健康状態がどう変わったのかを見る必要があります。

政策でも同じです。

「やったこと」を積み上げても、社会が良くなったとは限りません。

だからこそ、EBPMではロジックモデルが重要になります。

ただし、ロジックモデルはきれいな図を作るための道具ではありません。

EBPMのロジックモデルとは――日本の制度・作り方・因果推論から見る限界

この政策はどこで失敗しうるのか。

どの条件が揃えば効果が出るのか。

何を測れば本当に変化を確認できるのか。

それを事前に明らかにするための評価設計図です。

また、エビデンスには階層があります。

RCTやメタアナリシスは強い手法として扱われます。

しかし、ピラミッドの上にあるから自動的に正しい、下にあるから無価値、という単純な話ではありません。

重要なのは、その手法が問いに合っているか。

背後にある仮定が現実に成り立っているか。

その結果を別の地域や制度に移してもよいのか。

エビデンスは、手法の名前で決まるものではありません。

手法の魔法ではなく、仮定の労働です。

さらに、強いエビデンスとは、成功を証明するものだけではありません。

効果が小さかった。

費用対効果が悪かった。

別の方法の方がよかった。

全国展開すると機能しなかった。

こうしたネガティブエビデンスも、政策を改善するための重要な証拠です。

本当に大切なのは、エビデンスを使って、政策を始めることだけではありません。

政策を変えること。

絞ること。

止めること。

次の設計に活かすことです。

理論編#02では、エビデンスを「正解を示す絶対的な札」ではなく、問い、仮定、現場、費用、価値判断をつなぐエコシステムとして捉え直します。

アウトカムとは、何でしょうか。

予算を使ったこと。

研修を実施したこと。

資料を配ったこと。

イベントに人が集まったこと。

それらは本当に、政策や事業の「成果」なのでしょうか。

本エピソードでは、EBPMの中心概念である「アウトカム」を取り上げ、インプット、アクティビティ、アウトプット、アウトカム、インパクトの違いを整理しながら、「やったこと」ではなく「何が変わったのか」を測る重要性を解説します。

取り上げる主なテーマ

・アウトカムとは何か

・EBPMにおけるアウトカムの意味

・インプット、アクティビティ、アウトプット、アウトカム、インパクトの違い

・実施件数や参加者数だけでは成果とは言えない理由

・測りやすい代理指標にロジックが乗っ取られる問題

・高校卒業率と経済的安定の違い

・KPIとアウトカムの関係

・因果効果と反事実仮想

・RCT、ランダム化比較試験の考え方

・準実験と回帰不連続デザイン

・ナース・ファミリー・パートナーシップ、NFP

・求職者支援訓練と就職率60%の読み方

・短期アウトカム、中期アウトカム、長期インパクト

・データのサイロ化と時間軸のズレ

・個人情報と倫理的配慮

・評価可能性の事前診断

・本当に測るべき変化をどう定義するか

アウトカムは、単なる活動記録ではありません。

何をしたかではなく、その結果として、誰の状態や行動がどう変わったのかを見る概念です。

参考書を買ったことはインプット。

10時間勉強したことはアクティビティ。

ノートを何ページ埋めたかはアウトプット。

しかし、本当に知りたいのは、テストの点数が上がったのか。

理解が深まったのか。

次の行動が変わったのか。

そこがアウトカムです。

政策でも同じです。

研修を何回実施したか。

資料を何部配布したか。

イベントに何人来たか。

これらは測りやすい数字ですが、それだけでは社会が良くなったとは言えません。

本当に見るべきなのは、受益者の行動や状態がどう変わったのかです。

若者支援なら、単に講座を受けた人数ではなく、安定した就労や生活につながったのか。

教育政策なら、教材を配った数ではなく、学習理解や継続意欲がどう変わったのか。

医療や福祉なら、サービス提供件数ではなく、健康状態や生活の質がどう改善したのか。

ここを間違えると、組織は「やった感」に満足してしまいます。

さらに難しいのは、その変化が本当に自分たちの政策によって起きたのかという問いです。

就職率が上がったとしても、それは訓練のおかげかもしれません。

景気が良かっただけかもしれません。

もともと意欲の高い人が参加していただけかもしれません。

だからこそ、EBPMでは因果効果を考えます。

もしその政策がなかったらどうなっていたのか。

この反事実仮想を考えることで、単なる変化と、政策によって生まれた変化を分けようとします。

RCTはその代表的な手法ですが、現実の政策では常にくじ引きができるわけではありません。

そこで、準実験や回帰不連続デザインのように、制度の境界線を使って効果を推定する考え方も重要になります。

たとえば、補習の対象が60点未満の生徒だとすれば、59点で対象になった生徒と、61点で対象外になった生徒を比較する。

このように、ほとんど似た条件の人同士を比べることで、政策の効果に近づくことができます。

ただし、アウトカムを測ることは、監査のためだけにあるのではありません。

本来の目的は、現場が改善していくためのインフラを作ることです。

短期のKPIだけを見ると、手元の行動管理には役立ちます。

しかし、長期のインパクトだけを見ると、今何を改善すればいいのか分からなくなります。

だからこそ、短期アウトカム、中期アウトカム、長期インパクトを分けて設計する必要があります。

EBPMにおけるアウトカムとは、「誰に、何が、どれだけ良くなったのか」を誠実に確かめるための言葉です。

測りやすい数字に逃げるのではなく、本当に変えたい状態を定義する。

やったことではなく、変わったことを見る。

EBPMのロジックモデルとは――日本の制度・作り方・因果推論から見る限界

理論編#02では、アウトカムという概念から、政策評価と日常の目標設定を捉え直します。

その政策は、本当に効いたのでしょうか。

風邪薬を飲んで翌朝に熱が下がったとしても、それは薬のおかげかもしれません。

ただよく眠って、自然に治っただけかもしれません。

政策評価でも、同じ問題が起きます。

本エピソードでは、EBPMの中核にある「因果推論」を取り上げ、政策が本当に効果を持ったのかをどう見抜くのかを解説します。

取り上げる主なテーマ

・因果推論とは何か

・政策効果を測ることの難しさ

・因果推論の根本問題

・反事実仮想とは何か

・政策があった世界と、なかった世界をどう比べるか

・ATE、ATT、LATEの違い

・誰に対する効果なのかを問う重要性

・ロジックモデルと因果推論の関係

・RCT、ランダム化比較試験とは何か

・差分の差分法、DID

・回帰不連続デザイン、RDD

・偽の反事実に騙される危険

・前後比較や単純比較の落とし穴

・少人数学級の政策評価

・職場の乳がん検診車導入と受診率向上

・オレゴン・メディケイド実験

・Moving to Opportunity、MTO

・効果の異質性とは何か

・外的妥当性と政策の移植可能性

・因果推論だけでは決められない価値判断

因果推論とは、「その変化は本当に政策によって起きたのか」を考えるための方法です。

政策を実施した後に、数字が良くなった。

それだけでは、政策が効いたとは言えません。

景気が良くなっただけかもしれません。

もともと意欲の高い人が参加していただけかもしれません。

別の制度や地域要因が影響していたかもしれません。

だからこそ、EBPMでは「もしその政策がなかったらどうなっていたか」という反事実仮想を考えます。

現実には、政策があった世界と、政策がなかった世界を同時に観察することはできません。

そこで、研究者や政策担当者は、統計的な方法を使って、できるだけ近い比較対象を作り出します。

その代表がRCTです。

対象者をランダムに分けることで、政策を受けたグループと受けなかったグループを比較し、政策そのものの効果に近づこうとします。

しかし、すべての政策でRCTができるわけではありません。

医療、福祉、教育、社会保障では、倫理的にくじ引きが難しい場合があります。

そこで、差分の差分法や回帰不連続デザインのような準実験の手法が重要になります。

たとえば、A市だけが警察官を増やし、似たようなB市では増やさなかった場合、B市を「A市が政策を行わなかった場合」の近似として使えるかもしれません。

また、60点未満だけが補習を受けられる制度なら、59点の生徒と61点の生徒を比べることで、補習の効果に近づけるかもしれません。

因果推論は、政策評価の探偵道具です。

ただし、探偵道具を持っていても、偽物の証拠に騙されることがあります。

政策の前後だけを比べる。

参加した人と参加しなかった人を単純に比べる。

こうした方法では、交絡や選択バイアスを取り除けません。

ダイエットサプリの広告で「飲む前と飲んだ後」の写真だけを見せられても、本当にサプリの効果かは分からないのと同じです。

政策評価でも、同じ誤りが起きます。

因果推論の面白さは、単に「効いた・効かなかった」を判定することではありません。

誰に効いたのか。

どの条件で効いたのか。

短期では効かなかったが、長期では効いたのか。

平均では見えない特定層への効果があったのか。

そこまで掘り下げることで、政策を作り直すヒントが見えてきます。

オレゴン・メディケイド実験では、身体的な健康指標には大きな変化が見られなかった一方で、医療費による経済的不安やうつ症状に改善が見られました。

Moving to Opportunityでは、親世代への所得効果は限定的でしたが、幼少期に移住した子どもたちの将来所得や進学率に大きな変化が見られました。

つまり、何をアウトカムとして見るかによって、政策の意味は大きく変わります。

一方で、因果推論も万能ではありません。

ある地域で効果が出た政策が、別の国や自治体で同じように機能するとは限りません。

文化、制度、行政能力、現場の信頼関係が違えば、結果も変わります。

さらに、因果推論は「何が起きたか」は教えてくれますが、「何を重視すべきか」は決めてくれません。

平均効果が同じ2つの政策があったとして、一方は低所得層に強く効き、もう一方は高所得層に強く効くかもしれません。

そのとき、どちらを選ぶべきか。

それは数式だけでは決まりません。

因果推論は、政策判断を自動化する道具ではありません。

政策判断をより誠実にするための道具です。

理論編#03では、因果推論を通じて、EBPMで「本当に効いた政策」をどう見抜くのかを考えます。

AIが書いた文章は、なぜ信じてしまいやすいのでしょうか。

整った見出し。

論理的に見える箇条書き。

もっともらしい脚注。

きれいな文章構造。

それだけで、私たちは内容まで正しいように感じてしまいます。

本エピソードでは、生成AIに政策メモや制作メモを書かせると何が危ないのかを取り上げ、偽の脚注、ハルシネーション、相関と因果のすり替え、そして責任の所在が曖昧になる「責任の霧」について解説します。

取り上げる主なテーマ

・AIに政策メモを書かせると何が危ないのか

・整った文章が信頼を生むメカニズム

・コンファビュレーションとハルシネーション

・偽の脚注と存在しない参考文献

・実在する文献を誤って引用するリスク

・AI利用による過度依存と原典確認の低下

・相関関係を因果関係に見せる危険

・流暢な文章が論理の飛躍を隠す問題

・AIによる論点欠落と代替仮説の消失

・ニューヨーク市MyCityチャットボットの失敗

・ロボデット、オランダ自動手当スキャンダルとの接点

・行政AIと責任の霧

・各国政府のAI利用ガードレール

・AI利用台帳、検証可能性、人間の最終責任

・クレーム・エビデンス・アーキテクチャ

・証拠拘束型プロンプト

・主張、証拠、仮説、代替仮説を分ける実務

生成AIの危険は、単に間違った文章を書くことではありません。

より深刻なのは、もっともらしい文章の形で、根拠の薄い主張や論理の飛躍を自然に見せてしまうことです。

AIは、わからないことを保留するよりも、もっともらしく埋める方向に動くことがあります。

その結果、存在しない文献を作る。

実在する文献を誤って引用する。

主張と証拠の関係を曖昧にする。

相関関係を因果関係のように見せる。

こうした問題が、整った文章の中に静かに紛れ込みます。

特に危険なのは、「脚注があるから大丈夫」と思ってしまうことです。

脚注や参考文献は、それ自体が正しさの証明ではありません。

AIが出した出典は、根拠ではなく、まず検証対象として扱う必要があります。

また、AIが作るメモは、しばしば論点の型を先に整えてしまいます。

一見すると網羅的に見えるため、人間は例外、反対仮説、別の因果経路を探さなくなります。

その結果、政策判断に必要な「厚い因果」が失われる可能性があります。

さらに行政や企業の意思決定でAIが使われると、責任の所在も曖昧になります。

現場は「AIが出したから正しい」と思う。

上司は「担当者が確認したはず」と思う。

組織は「プロセスに従った」と説明する。

こうして、誰が何を判断したのかが見えにくくなる。

これが「責任の霧」です。

だからこそ、各国政府はAIの利用を完全禁止するのではなく、証拠、監督、責任者、記録を求める方向に進んでいます。

重要なのは、AIに完成品を書かせることではありません。

主張と証拠を分ける。

確認済み事実と仮説を分ける。

出典不明の情報は未確認と明記する。

代替仮説を必ず出す。

誰がAIを使い、誰が確認し、誰が承認したのかを残す。

AIを使うなら、文章をきれいにする前に、責任の骨組みを作る必要があります。

AI編#03では、偽の脚注、薄い因果、責任の霧を手がかりに、生成AI時代の政策メモと意思決定のリスクを考えます。

番組で生まれた言葉や、EBPM・統計・メタ分析をモチーフにした公式グッズをまとめています。

EBPM新聞 公式ショップ｜EBPM・統計・研究モチーフのグッズ

生成AIは、政策秘書になれるのでしょうか。

膨大な資料を読み、要約し、比較表を作り、専門用語を平易に言い換える。

その速度だけを見れば、AIはすでに非常に優秀な「書記官」です。

しかし、AIに政策判断や重要なリサーチを丸ごと任せることはできるのでしょうか。

本エピソードでは、生成AIとEBPMの関係を取り上げ、各国政府のAI利用ガイドライン、学術研究、行政現場での導入事例をもとに、AIをどこまで信頼し、どこで線を引くべきかを考えます。

取り上げる主なテーマ

・生成AIは政策秘書になれるのか

・AIは書記官にはなれるが、裁判官にはなれない

・各国政府のAI利用ルール

・アメリカ、EU、イギリス、日本、オーストラリアの違い

・AI利用を技術規制からプロセス管理へ移す流れ

・生成AIが重要研究を見落とすリスク

・システマティックレビューとAIの限界

・ハルシネーションと表面的なパターンマッチング

・ヒューマン・イン・ザ・ループの重要性

・AIと人間の協働による時間短縮と精度向上

・イギリス運輸省のパブリックコメント分析

・日本の行政実務用生成AIと組織実装の壁

・管理職がAI利用に慎重になる理由

・任せてよい作業と任せてはいけない判断

・事実と解釈を分離するプロンプト設計

・AI使用履歴と説明責任の記録

生成AIは、情報処理の速度を大きく引き上げます。

長い文書を読む。

論点を整理する。

比較表を作る。

たたき台を書く。

専門用語をわかりやすく言い換える。

こうした作業において、AIはすでに強力な補助装置です。

一方で、政策立案やEBPMで求められるのは、単なる要約速度ではありません。

何が事実なのか。

どの研究を採用し、どの研究を除外するのか。

誰の権利や利益に影響するのか。

最終的にどの価値を優先するのか。

こうした判断を、AIに丸ごと委ねることはできません。

AIはもっともらしい文章を作ることができます。

しかし、重要な研究を見落とすこともあります。

存在しない根拠を作ることもあります。

事実と解釈を混ぜてしまうこともあります。

だからこそ、AIは「判断者」ではなく、「高機能な書記官」として使う必要があります。

重要なのは、AIを使うか使わないかではありません。

どの業務に使うのか。

どの資料だけを参照させるのか。

どこから人間が確認するのか。

誰が最終的に承認し、説明責任を負うのか。

このプロセスを設計することです。

AIを正しく使うということは、スピードを手に入れることだけではありません。

人間の確認、記録、責任、倫理判断を、業務の中にあえて残すことでもあります。

生成AIは、EBPMを速くする道具にはなります。

しかし、政策判断そのものを代替する裁判官にはなれません。

AIが完璧な書記官になったとき、人間は立派な裁判官でいられるのか。

AI編#01では、生成AI時代の政策立案と、人間が手放してはいけない判断の境界線を考えます。

番組で生まれた言葉や、EBPM・統計・メタ分析をモチーフにした公式グッズをまとめています。

EBPM新聞 公式ショップ｜EBPM・統計・研究モチーフのグッズ