習慣形成のための行動モデルと神経回路モデルのインターフェース
要約
習慣は、生物が行動の制御を自動化して認知的要求を軽減するための重要なメカニズムです。 しかし、習慣的な管理への移行は、変化に直面しても柔軟性のない対応につながるためリスクが伴います。したがって、脳が習慣への移行をどのように制御するかという問題は興味深いものです。 繰り返されるアクションが自動化されるタイミングをどのように制御するか？認知制御から行動を解放することが有利または不利になるのはどんなときか？何十年にもわたる研究から、動物を使った実験モデルから習慣的な反応を引き出すためのさまざまな方法が特定されています。 また、どの脳領域と神経回路が習慣への移行を制御しているかの理解も進歩しました。ここでは、習慣形成のための行動および神経回路モデルに関する既往の研究（線条体回路に重点を置いて）について説明し、さまざまなパラダイム、および、分析レベルからの情報を組み合わせて、この分野でのさらなる進歩を促すためのストラテジーを説明します。（アブストラクトを加筆修正）
重要語句
OCD (obsessive compulsive disorder)：強迫性障害
VP (ventral pallidum ): 腹側淡蒼球
NAc (nucleus accumbens): 側坐核 腹側線条体の中心
DMS (dorsomedial striatum): 背内側線条体
タスク体験の初期段階で最も積極的に行動-結果学習に従事
DLS (dorsolateral striatum): 背外側線条体
その後の段階で習慣形成に従事
SNr (substantia nigra pars reticulata): 黒質網様部 （こくしつもうようぶ）
SNrとは https://ja.wikipedia.org/wiki/%E9%BB%92%E8%B3%AA
GABA作動性ニューロンを高密度に含む神経核
大脳基底核の出力核
高頻度の発火持続が特徴
線条体からの直接路出力によって黒質網様部の発火が一時的に抑制され黒質網様部の投射先の活動を脱抑制（自由に）することが運動開始に重要
投射繊維は視床の一部などへ出力
黒質網様部への入力は
1. 線条体からのGABA入力（直接路）
2. 淡蒼球外節からのGABA入力（間接路）
3. 視床下核からのグルタミン酸入力 など
確率/可変比率（RRスケジュール）
被験者（動物）が報酬を獲得するには複数の応答（レバー押し、鼻を突くなど）が必要。応答の正確な数は変動。
ランダム/可変間隔（RIスケジュール）
変動する一定の期間が経過した後にのみ報酬を獲得（レバー押し、鼻を突くなど）。
ノート
運動技能スキルと習慣形成の脳領域は類似
DMS-DLSのエンコーディングのドーパミン依存性シフト
加速ロータロッドテストでのマウスのスキル学習： (Yin et al., 009）、
オペラント訓練中に習慣的パフォーマンス (Yin et al., 2004; Yin, Knowlton, et al., 2005; Yin, Ostlund, et al., 2005; Faure, Haberland, Condé, ＆Massioui., 2005）
習慣形成と関連する行動パラダイム（表2）
行動パラダイム
ランダムインターバル（RI）トレーニング
正の強化、タイミングの不確実性は高レベルの応答に
固定比率離散試行（DT5）トレーニング
正の強化、個別の試行の合図（プロンプト）が習慣形成のカギ
T迷路
正の強化、感覚弁別タスクのオーバートレーニングを伴い習慣化
運動技能学習（例：ロータロッドの加速、熟練した到達課題、音声学習）
タスクに応じて強化/罰を混合することで明示的な外部フィードバックなしで実行できる
正確な運動タイミングは流動的なアクション・シーケンスを確実にする習慣メカニズムに関与
グルーミング（毛づくろい）
頑健な生来反復行動。自傷行為につながる過度の毛づくろいは正の罰。過度の手洗いや抜毛癖などのOCD症状をモデル化できる可能性
衝動的薬物／ショ糖摂取欲求
薬物またはショ糖の要求に対する正の罰。正の強化（求め）に嫌悪物（LiCl / ヒスタミン / 苦味物）を付加して動物の感受性を検証
回避学習
負の強化、動物は嫌悪的な結果を避ける行動を学習。習慣が不安障害などの回避にどのように寄与するかを決定するための重要なモデル
2段階タスク
多くの異なる強化／罰が使用される場合、 2段階タスクにより、パフォーマンスに対する「モデルフリー」と「モデルベース」の動作の並行した寄与を評価可能
レビューの結論
習慣の定義を適切に形式化
道具的反応、運動技能学習、反復行動、強制行動、回避学習の統合が必要
線条体のメカニズムだけでなく多くの脳回路の役割の検討が必要
OCD、自閉症、依存症などの神経精神障害への応用可能性
キモとなる理論
上昇スパイラル仮説 (ascending spiral hypothesis)
NAcはDMSドーパミンシグナル伝達を阻害し、DMSの皮質－線条体接続（Corticostrital connection）のドーパミン依存可塑性を引き起こす。
一方、DMSはDLSにおけるドーパミン・シグナル伝達とドーパミン依存性の皮質-線条体可塑性を抑制しない。
議論
（3.1）上昇スパイラル仮説は習慣形成の分野で影響力がある。しかし、回路レベルおよびシナプスレベルでの脱抑制の説得力のある証拠は実証されていない。
線条体-黒質ループ（striatonigral loop）は NAc-DMS-DLS という転移を媒介
DLS（初期の目標志向の道具的学習を促す）から中脳DMSドーパミン回路への入力は「下降スパイラル」による習慣習得を遅らせる可能性
（3.2）DMSとDLSの活動パターンは、習慣形成と運動技能の習得によって変化するが、タスクが異なれば結果も異なる可能性があり、同じ回路と可塑性メカニズムがそれぞれに関与しているかどうか不明
後部線条体領域の活動が習慣的な行動の出現とどのように相関しているかは不明
（3.3）トレーニングのどの時点でどのシナプス変化が発生するかを理解することによって、特定の強化スケジュールが異なるタイムスケールで習慣的制御の出現させる理由を示せる可能性がある
何のため？意義は？
数学的問題解決手順の習慣化をめざして、行動-神経科学的メカニズムを調べるために最新レビュー論文を調査
動物実験中心のレビューであったが、習慣化の神経機序（特に線条体〔DMS/DLS〕の役割やドーパミン・シグナル伝達）の理解を深めるために意義。ヒトにおいても同様に動機づけと線条体の関連が明らかである点を踏まえれば応用可能。
検討すべきこと
どのような介入がヒトの認知活動の習慣化に役立つのか
行動主義的強化パターン（schedule of reinforcement; Skinner, 1957)をレビューして古典心理学の知見とつなげる
動物の行動から神経回路への投射に踏み込んだ良質レビュー。
用語が難解で一つ一つ調べながらでないと進めなかったので読み上げるのに約10時間かかった。曖昧な点も残るが、とりあえずここでまとめ。
