やりつづける動機となる
行動の内発的価値
を示す神経科学的証拠
要約
行動の内発的な価値とは，明確な結果がなくても，行動を体験することが楽しいという内発的な感覚を指す。以前の調査では，報酬ネットワーク内の共通の評価メカニズムが，結果と外部報酬の両方を達成するという内発的な価値の処理に関与している可能性があることが示唆されている。ただし，行動の内発的価値を高める神経科学的な機序は不明である。行動の内発的な価値は，行動が制御可能であることを示す 行動-結果の随伴性 によって決定され，行動の結果はこのフィードバックによって評価できると仮定した。したがって，行動の内発的な価値の生成を反映して，報酬ネットワークを活性化する必要がある。この仮説を検証するために，行動と結果の随伴性が操作されたストップウォッチ（SW）ゲームにおける機能的磁気共鳴画像法（fMRI）調査を実施した。この実験に36人の健常なボランティアが参加し，制御可能性（参加者がストップウォッチを自分で制御しているという感覚）と結果（参加者が自分の行動の結果を確認できる信号＝フィードバック）を操作した4つのバージョンのSWゲームを実施した。各バージョンの選好レベルを調査するために，自由にバージョンを選んでゲームできる実験をfMRI実験の後に実施。すると参加者は，随伴性を欠く条件よりも 行動-結果の随伴性 を伴う条件を選択した。随伴性がSWゲームの楽しみをより大きく喚起することが示された。腹側線条体と中脳は，行動-結果の随伴性が存在する場合にのみ活性化した。したがって，行動の内発的な価値の神経科学低証拠は，腹側線条体および中脳の活性化の増加によって示された。(アブストラクトを修正)
考察
行動学的知見
行動の内発的価値は，制御可能性と結果の両方がタスクに含まれているときに最大（Pekrun, 2006; Deci and Ryan, 2008）。
腹側線条体および中脳の活性化に対する行動-結果の随伴性の効果
報酬ネットワークで神経活動が増加
両側線条体領域（＞淡蒼球，尾状核; Elliott et al, 2000; Pessiglione et al., 2007）
中脳（＞腹側被蓋野, VTA; Elliott et al., 2000; D’Ardenne et al., 2008)
腹側線条体と中脳領域は，内発と外発の両方に共通する報酬評価システム（SWゲームの先行研究, Murayama et al., 2010）
腹側淡蒼球の活動はSWゲームで自己決定のタスクキューが提示されたときにも観察されたが非有意（Murayama et al., 2015）
腹側線条体
外発的報酬（お金）がなくてもフィードバックで活性化（Tricomi et al., 2006）
ビデオゲームプレイ中の自己獲得報酬に特に敏感（Katsyri et al., 2013）
獲得報酬（フィードバックやゲーム得点など）によって腹側線条体は活性化
私たちの自由選択実験の結果を踏まえて，参加者によって生成された行動の内発的価値の処理を反映するものとして，これらの報酬関連領域における特定の活性化を解釈しました。
行動の内発的価値
他の種類の報酬（成功達成の内発的価値）に見られるものと同様の報酬ネットワークの評価メカニズム
行動選択によって腹側線条体活動が動的に調節（Fitzgerald, 2014）
腹側線条体での強壮性ドーパミン放出によって目標指向行動の継続を促進（Westbrook and Braver，2016）
ただし
行動に依存しないパブロフ報酬（ベルーエサ連合，条件刺激に伴う接近反応〔よだれ〕）によって腹側線条体の活性化が誘発されるという説ある（O’Doherty et al., 2004）
まとめると
経験した行動の自己評価に関連して腹側線条体と中脳が活性化
➝ 外発的な報酬を与えなくても報酬効果があることを示唆（これ大切）
腹側線条体および中脳領域の活性化は
制御可能性＋結果（フィードバック）の相互作用といえる（どちらが欠けてもだめ）
※SWゲームの行動-結果の随伴性によって誘発
外発的報酬（インセンティブ）が行動と関連する研究はいくつかある（Tricomi et al., 2004; O’Doherty et al., 2004; Bhanji and Delgado, 2014）。
オプション（選択肢）の自発的選択が皮質-線条体領域（cortico-striatal region）の活性化を調整する研究も（Sharot et al., 2009; Leotti and Delgado, 2011; Cockburn et al., 2014）
まとめると
これらの研究は，制御可能性＋外部インセンティブが 報酬系の活性化
本実験計画の特徴
制御可能性とフィードバックの両方を操作したが，SWゲームの外部インセンティブはなし
C-O+条件ではpseudo-feedback（ちょっといいかげんな偽のフィードバック）でも改善効果があった
➝ニアミスの（誤差が小さい）結果でも報酬システムとして処理される (Clark et al., 2009）
行動-結果の随伴性を伴うSWゲームが報酬システムを推進
➝プレイするための内発的な価値を生み出した
生徒や労働者の脳内の報酬処理によって
学校や職場での目標行動
に変換するヒント（➝ここが切り口）
楽しさの感覚 はターゲット行動に対する内発的な動機付けの生成に関与する要因（Henderlong and Lepper, 2002; Isen and Reeve, 2005; Pekrun, 2006; Kuvaas and Dysviとｎk, 2009）
（ゲーム以外のコンテキストでゲーム要素を利用する）ゲーミフィケーションはさまざまな分野で採用（Sailer et al., 2013; Dale, 2014; Oprescu et al., 2014; Dicheva et al., 2015 ）
ゲームはプレイヤーが外部の報酬なしで自発的に活動自体を楽しむタイプの遊び（Ellis，1973）
アクションの内発的な価値 = ゲームをプレイする際の内発的な報酬として機能
行動-結果の随伴性が腹側線条体および中脳領域を活性化
十分な行動-結果の随伴性がない場合
いくつかのゲーム要素が行動に埋め込まれていても,
報酬ネットワークはアクティブにならず,
プレーヤーは内発的に行動する動機がない
ゲーミフィケーションにおいても必須要件
行動と結果の随伴性で活性化する他領域
大脳基底核
報酬に基づく運動制御の学習（Doya, 2000; Haruno and Kawato, 2006）
尾状核
目標指向の行動に関連するフィードバックを含む運動制御に関与（Packard and Knowlton, 2002）
ボタンを押す応答と結果の間の随伴性の認識（Tricomi et al., 2004）
報酬存在下でのフィードバック処理（Tricomi et al., 2006; Murayama et al., 2010）
前帯状皮質
連想学習（Marco-Pallares et al., 2007）およびパフォーマンス調整（Ridderinkhof et al., 2004）に関連する正のフィードバックの処理
腹側視床領域
線条体と並行して, 強化学習と行動選択において重要な役割（レビュー, Smith et al., 2011）
小脳虫部
フィードバックを伴う運動学習に関連（Jueptner and Weiller, 1998; Doya, 2000）
これらの領域での活性化の増加は, 行動条件付きの結果に基づく運動制御の調整に関連
制御可能性と結果の影響
制御可能性＆結果（Feedback）
行動の内発的評価に不可欠
結果がもたらした脳領域
内側領域だけでなく外側領域でも観察
結果のあるSW条件
参加者はSWを停止するまでの経過時間を画面に表示
表示されたタイマーを使用してボタンを押すタイミングを調整
表示されたタイマーが1.5秒後にマスクされたため
結果のないSWタスクではこのような調整は困難だった。
各SW条件下での成功率は
フィードバックがあるかどうかで大幅に異なった
視覚運動協調の認知処理
タイマー表示がより正確なボタン運動反応に関与
先行研究
前頭後頭（parieto-frontal）ネットワークが, 視覚誘導把握などの 視覚運動協調 の根底にある神経メカニズムに関与（Grol et al., 2007）。
視覚運動協調では, 視覚空間操作タスクだけでなく, 時間的パターン処理にも関与（Schubotz et al., 2000）。
本研究
タイマー情報に基づくボタン押下（視覚運動協調）によって
前頭後頭（parieto-frontal）ネットワーク内の皮質が活性化
SW条件では運動と時間（結果）を確認できた
➝ 各試行のエラーの程度がわかり, 結果の向上を予測
リスク予測とエラー予測
前部島の認知機能の1つ（Preuschoff et al., 2008）
前帯状皮質の吻側部分がエラーの可能性を予測する学習に関与（Brown and Braver,2005）
後帯状皮質と内側前頭前野の活性化は
リスクの高い宝くじ課題における主観的価値の推定と関連（Levy et al., 2010）
前帯状野，後帯状野, 前帯状野の活性化
目標時間と停止時間の予測された差によって表される行動エラーの予測を反映
限界
1. 疑似フィードバックの効果を確実にするため、参加者は, C-O+状態のフィードバック情報がボタンの応答とは無関係であることを教えた。しかし，fMRI測定中に疑似フィードバックを認識したかどうかを確認しなかった。
➝一部の参加者は, 疑似フィードバックをアクション条件付き情報と誤解した可能性
C+O-条件で誘発された皮質の活性化は, 行動の内発的価値の評価が含まれている可能性があるのものの，報酬ネットワークのさまざまな側面の活性化は, C+O+条件とC+O-条件の間に明確で有意な違いがあった
2．皮質の活性化はボタン押しによるものか各条件のフィードバックによるものかは完全に分離できない
実験計画では即時フィードバックが随伴的な行動を引き起こすように各試行のフィードバックはボタン押し直後（1.0〜1.9秒後）に表示
自発的な行動実行中に評価プロセスが発生することを期待して
fMRIデータ分析では脳血流動態反応を以下のようにモデル化
➝ ボタン押しによって誘発される行動の内発的価値の評価プロセスと関連付けられる
➝ 一方、フィードバックは視覚刺激であるため関連しない
しかし，正のフィードバック（possitive feedback）は報酬として処理（Tricomi et al., 2006; Marco-Pallares et al., 2007）
フィードバックによって誘発された可能性がある
結論
自由選択セッションで行動-結果の随伴性を伴うSWゲームが最も多く選ばれた
➝ 制御可能性＋結果 内発的価値強化
➝ 腹側線条体 & 中脳領域 活性化
内発的価値が報酬ネットワークを活性化
（＝外部報酬や成功達成の内発的価値）
何のため？意義は？
図表研究において
使い方を教えると図表を描くようになった
練習させると問題を解けるようになった
いずれの指導も常識の範囲内
指導内容を 当たり前にできるようにする切り口 は指導方法として強力
本研究知見を活用すれば
内発的なモチベーションを駆動させることで
正しい思考法を自然に身につけられる教授法
を考案できる可能性がある
期待価値理論（Wigafield & Eccles, 2000）に基づくこれまでの研究では
期待は高まるが課題価値は高まりにくかった（期待につられて相関が生じる）
したがって、本研究は
通常の教授介入で高めにくい課題価値を高められる点が独創的
検討すべきこと
習慣化のレビュー（Lerner, 2020）によれば
当たり前にできるようになることによって報酬が得られる
習慣化は課題価値を内発的に増加させる
ことを活用した指導プログラムを考案できるとよい
