詳細コンテキスト
【分析：状況】
実際の治療現場での行動観察が困難なため、九州大学病院の協力を得て治療準備・対応・終了の3ステップからなる治療シナリオを作成した。
【分析：行動】
認知科学の手法を用いて行動を観察し、環境監視ルールに基づいて情報をイメージ化して情報マトリクスを生成・蓄積した。
【分析：結果】
患者確認や金属確認が抜けた際にルールがヒットしないことを確認し、過去のパターンとの比較によりヒヤリハットの可能性を検知できることを示した。
----------------------------------------
【本文】
1． はじめに
最近の人工知能は高度化しており利用範囲が広がっており、今後、様々な行動判断を行うAGI(Artificial General Intelligence)の登場が期待されている。AGIは予め準備された行動目標別のプログラムは無く、目的指向で動作する。AGIが多様な行動判断を行うには経験の蓄積と行動目的の理解が必要である。一方、人の行動には迷いや後悔があり、必ずしも論理的に行われている訳ではなく、論理的な行動判断を行わない人の行動をモデル化することはできない。また、人の行動判断は取得済みの経験をもとに、新たな目標達成に向けて様々な要因を考慮して行われるため、行動には経験が必要である。そこで、本研究は「人インスパイアードモデル」を提案する。「人インスパイアードモデル」は図１に示す様に人の行動を外部から観察して得た体験を暗黙知化して経験を得て、取得した経験をもとに次の新たな行動を行い、更に経験を得るという行動サイクルを持つ。暗黙知化とは取得した体験や経験を図2に示す様に構造化して新たな行動への対応可能な形式にすることである。「人インスパイアードモデル」では、経験をイメージ化してデータベースに格納する。そして、取得した経験を時系列的に配置することにより時系列的経験を得る。本研究では体験を暗黙知化して経験を得ることをイメージ化と呼び、イメージ化された経験は情報マトリクスとして記述される。情報マトリクスはXml(eXtensible Markup Language)で記述され、行動情報や環境情報その他を一括して記載する。本書では以降、暗黙知化された経験を単に経験(Tacit knowing)と呼び、暗黙知化されていない経験を体験と呼ぶ。本研究は体験を暗黙知化して経験とするメカニズムの解明を目指して「人インスパイアードモデル」の有効性を検証したので報告する。
2. 自律行動可能な人工知能実現にむけて
2.1 体験の暗黙知化
体験の暗黙知化とは図１に示す様に取得した体験を再利用可能な経験に変換することである。生成された経験は機能的構造(Functional Structure)を持ち、新たな行動目標に向けた行動発現への利用が可能である。機能的構造とはPolanvi[[1]が唱えた知識構造であり、人が暗黙の内に物事を認識する上で言葉では、表現できない基本機能を含む枠組みのことである[1]。例えば、歩行に関する経験において、人は歩行して何処かへ行くという目標のみを認識しており、身体の筋肉の動きを理解している訳ではない。歩行という機能的構造には体の動きに関する言葉では表現できない基本機能が含まれている[1][2]。例えば図2に示す様に「コンビニに行く」という行動目標がある場合に前進歩行に於いて、足の動きを認識している訳ではない、また機能的構造を持つ経験であれば、前進歩行を自転車の運転に置き換えることができる。体験が暗黙知化されて経験が形成されるメカニズムは明らかになっていない[1][2]。
図１ 経験の生成と行動のサイクル
図2 経験の機能的構造(構造化された経験)
2.2 過去の研究
人の行動選択のプロセスを模擬するシステムとして米国Xerox社が開発したMHP(Model Human Processor)が有名である[3][4]。しかし人の行動選択の基本となる経験を生成するメカニズムに関する研究はない。一方、アナロジーやアブダクションといった人の認知的・創造的な推論方法を記号処理モデルとして明らかにして推論システムの実現を目指す研究がある[5]。しかし、アナロジーやアブダクションを行うために経験の取得が前提となっているにも拘わらず、経験の記録を試みるものはない。また、知的エージェントにより、経験を記録して再現する手法の研究はあるものの[6]、経験そのものの記録を試みるものはない。著者はこれまで人の行動発現に先立つ行動動機の発現モデルに関する研究を進めて来ている[7]。人の行動の根底には主観があり主観の揺らぎにより人の行動には様子見や迷いが生じる。筆者はベイジアンネットワークを用いて、人の主観の模擬を試た[8][9][10]。以上の研究から人の行動発現にはまず、行動目標の理解が重要であることが示された。
2.3 自律行動は目的指向
自律して行動判断を行う人工知能としてロボットがある。一般的にロボットはあらかじめ想定された環境下かつ、特定な目標を達成するプログラムで動作しており、2015年実施のDARPAのロボティクス・チャレンジではロボットは予め想定された環境とシリオに沿った活動でも、目標を達することは難しいことが示された。現状のロボットでは、環境条件が変更、追加される度に行動プログラムの修正、調整が必要となり、想定外の動作環境に対応することは難しい[11]。そこで、自律的に行動判断可能な人工知能の実現には目的指向の行動判断が必である。
2.4 行動目標の理解
目的指向の行動手順の生成により効果的な行動が実現する。そこで、本研究は経験の記録にはそのときの行動目標を同時に記載する必要があると考え、経験に目標を含めて記録する経験の暗黙知化を提案する。具体的には目標を含む経験の暗黙知化は目標を含む行動状況等の情報のイメージ化により行う。イメージ化とは複数の情報を統合変換することであり、本研究では統合変換された経験は情報マトリクスとして表現される。本研究では経験の暗黙知化とはイメージ化のことである。生成された情報マトリクスは過去に取得した情報マトリクスと比較可能である。
2.5 人インスパイア－ドモデルの機能
目標に向かう行動手順は1つではなく、しかも環境情報の想定も無限に存在する。そこで、本研究は実際の行動について、環境情報と共に行動観察を行い、記録することを提案する。そこで、本研究では認知科学の手法を用いて人の行動を観察し、行動の特徴を抽出してイメージ化を行う[12]。そして、行動観察ルールにより抽出した特徴に環境情報等を加えて構造化したものを情報マトリクスと呼び（図3の⑥参照）、情報マトリクスを時系列的に配置したものを経験とする。情報マトリクスを図形化することにより過去に取得したイメージ（情報マトリクス）とのパターンマッチングによる比較や類似検索が可能となる。情報マトリクス化された経験は機能的構造を持ち、目標に従って機能を入れ替えることが可能である。
図3 人インスパイア－ドモデルの概念図
２.5 経験情報の操作と再利用
人の行動には到達すべき目標があり、人は経験に従って行動を行う。経験のないことは行動出来ない。しかし、人はマニュアルや指示書に従って行動することが出来るため、マニュアルや指示書も拡張された経験であると見なすことができ、経験とは目標と環境情報を含む、目標に向かう手順情報であると見なすことができる。更に暗黙知化により機能的構造を持つ経験は再利用性が高まる。そして複数の環境で取得された経験の追加が可能となれば、体験のない行動も可能となる。また、目的指向の行動検索が可能になれば、目的に向かう新たな行動手順の生成も期待できる。
3. 患者行動の観察
3.1 人インスパイア－ドモデル
本研究では人の行動判断を模擬するモデルとして人インスパイアードモデルを提案する。人インスパイア－ドモデルは図3に示す様に「経験取得・行動指示部」と「動作部」から構成され、「経験取得・行動指示部」は人の行動を環境情報と共に観察、記録した情報をイメージ化して格納する経験データベースを持ち、行動目標の理解を行う。「動作部」は目標に向かう行動遷移列を生成する。図2に示すシステムの主な機能は以下の通りである。
（１）認知科学の手法を用いて人の行動を観察し、行動特徴を抽出して観察情報をイメージ化して情報マトリクスを生成する入力部（図3の④）。
（２）時系列的情報マトリクスを経験情報として格納する経験データベース（図3の⑦）
（３）行動目標と外部環境に従い、行動手順を生成する行動手順生成機能を持つ動作部（図3の⑧⑨）。
3.2 試験の流れ
本研究では図3に示す人インスパイアードモデルを試作して行動観察して得られた情報をイメージ化して情報マトリクスを生成する試験を行った。試験手順は以下の通り。
シミュレーションシナリオの作成
本研究では実際の治療現場での行動観察は困難であったため、治療に於けるシナリオデータを作成した（図3の②）。シナリオ作成に当たっては、九州大学病院のスタッフの協力を得て治療状況のヒアリングを行い、５件のヒヤリハット情報を収集した。そして、試験用の治療シナリオを作成した。ただし、各シナリオは治療準備、治療対応、治療終了段階の3ステップとした。図4に患者確認が発生したヒヤリハットのシナリオの一部を示す。シナリオデータは通常の場合とヒヤリハット発生時のストーリを作成した、各シナリオには5分間隔で環境、患者、治療装置、2人のスタッフの動作を記述している。ヒヤリハット発生時のケースでは「患者確認」と「金属確認」の操作が抜けたことにより、ヒヤリハットが生じたストーリになっている。
図4 シナリオの一部（ヒヤリハット）
（２）シミュレーションシナリオからの行動データ作成シミュレーションシナリオから環境情報、治療機情報、患者情報、スタッフA、スタッフB、環境情報と治療機の操作情報からなる観察対象の時系列的情報を生成して⑤行動観察空間に書き込む。
（３）各時系列データの環境監視ルールによる監視
時系列的に生成された観察対象のデータを環境監視ルールにて監視を行い、環境監視ルールがヒットした場合には、経験情報を作成して経験情報データベースに登録する、図5に環境観察ルールの一部を示す。環境観察ルールのヒット状況をイメージ化して情報マトリクスとして生成する。図7にイメージ化された情報マトリクスの一部を示す。生成された情報マトリクスには行動目的、ヒットしたルールNOと探索ルール中に記載されたタグ名とタグに続くオペランドに加えて、環境情報が記入されている。ただし、本試験では行動目的は手動で記入した。情報マトリクスはXml形式で記述される[13]。オペランドとは各用語の詳細情報や用語の分類情報等である。用語辞書のイメージコードはキーワードとヒヤリハットやアクシデントとの関係性を示す。例えばマイナスのイメージコードは状況が悪いことを示している。図8に用語辞書の一部を示す。
図5 環境観測ルール（治療状況観察の一部）
環境情報と動作又は機械操作量を一括してイメージ化を行い、情報マトリクスとして生成する。図6に平常時、ヒヤリハット発生時、アクシデント発生時に於ける環境観察ルールのヒット状況の比較例を示す。図6では、ヒヤリハット発生時には患者確認と金属確認の手順がなされなかったことを示している。表1からもルールのヒット数が少ない場合にはしたヒヤリハットとなる可能性が高いことが解る。
図6 監視ルールのヒット状況（平常時、ヒヤリハット発生時、アクシデント発生時）
表1 ヒットしたルール数
図7 生成された情報マトリクスの例（一部）
図8 用語辞書の例（一部）
3.3 結果
本試験では、情報マトリクス生成ルールにより、治療現場の環境監視を行った。監視のケースは平常状態、ヒヤリハット発生時、トラブル発生時とした。図6に示す様に患者確認と金属確認が行われなかったケースにおいては、通常時と比較してヒヤリハット発生の可能性がある事が示された。具体的には平常時には患者確認と金属確認のルールがヒットしているのに対して、ヒヤリハット発生時には患者確認と金属確認のルールがヒットしていない。患者確認が無い場合には患者取り違えの可能性があり、金属確認がない場合には治療計画に悪影響を与えることがある。更に平常時とアクシデント発生時の状況もパターンルール状況のパターンを比較することにより状況判断が可能となることが示された。具体的には患者声掛け、患者補助、転倒のルールがヒットした場合にはアクシデントとなる可能性高い。表1に示す通り環境監視のルールのヒット数が通常より少ない場合にはヒヤリハットはが発生する可能性があることを検知することが可能である。図6に示す監視ルールのヒット状況を過去のヒット状況とパターンマッチング比較することにより、現在の状況を判断することができ、ヒヤリハット発生の可能性が高い場合には図2の動作部から患者確認や患者声掛けの行動の発動指示が可能である。
4. 操船操作
4．1操船情報から経験情報の生成
本試験では人インスパイアードモデルを用いて、新たな目標に向かう操船手順の生成試験を行った。本試験ではシミュレーションシナリオに基づき図9に示す船舶航行シミュレータを操作して、行動の観察を行い、航行情報を作成した（図10参照）。
4.2 船舶航行シミュレータ
船舶操縦シミュレータは、ROS2及びUnityを用いて開発したものである[14]。実験水槽や実海域での船舶の自由航走試験をコンピューター上で実施可能な枠組みで構成されており、船舶操縦運動モデルとして代表的なMMG 3DOFモデル[15]に沿って船舶が運動し、操作量である舵角とプロペラ回転数を外部コントローラーから通信して入力する。船舶操縦シミュレータはロボット開発で広く使われているROS2をプラットホームとして採用しているため、実機でもROS2を採用している場合はシミュレータ上で開発・検証した機能をそのまま実機に転用可能である。
図9 船舶シミュレータ
4.3 試験の流れ
本試験ではUnity上の船舶モデルで航行シミュレーションを行い、船舶の運動データを取得した[16]。ある目標に沿って取得したモデルの運動データは模型の経験情報となる。試験の手順は以下の通り。
（１）船舶モデルの運動データ収集
操船シナリオの作成を行い、シナリオに従い、図8に示す様にシミュレータを使用して、船舶の操船シミュレーションを行う。
（２）取得した運動能力データを情報マトリクス化してデータベースに記録する。情報マトリクスはXml形式で記述される。
（３）取得した経験情報から、新たな到達目標に向けた航行ルートを計画して、シミュレータを使用して操船の模擬を行う。
4.4 船舶の運動データ収集
操船シナリオに従い、図9に示すにシミュレータにて操船シミュレーションを行った。操船シミュレーションでは船舶モデルのプロペラ回転数:ｎ(rps)、θ:舵角(度)を変更しながら情報記録を行った。取得した船舶モデルの航行状況を図11に示す。図10の舵角とは舵角を変更した点である。例えば図10の0－＞1とは舵角０からプラス方向に舵を操作したことを示す。取得した航行情報の一部を図11に示す。図11の（X、Ｙ）はモデルの位置であり、船の位置座標は無単位である。データは３秒単位に情報を取得している。3秒とは人の行動判断のサイクル時間であり、以前の研究結果から人は3秒毎に行動判断を行うとの想定している[8][9]。例えば車の運転に於ける安全距離を時間で表すと約3秒である[17]。表2に取得した観察データから得た観察情報の一部を示す。観察情報は言語で記述され直接数字データ等とはリンクしないことにより経験の構造性を高めている。
図10航行シミュレーションの様子(船の座標と舵角)
図11 取得したデータの一部
表2 取得した観察情報（一部）
4.5情報マトリクスの生成
取得した運動能力データと環境情報を一括してイメージ化を行い、情報マトリクスに変換して経験データベースにXml形式で記録する。具体的には操船シミュレーションから図12に示す環境監視ルールを用いて運動情報の特徴を検知することにより時系列的な情報マトリクスを得て経験とする。ただし本試験では、行動目標は手動で判断している。例えば図10のオペランドの「右旋回」は右に舵が切られたことをトリガーとする行動検知ルールである。しかし本試験では「右旋回」は手動で判断している。トリガーとは行動に先立ち、観察される状況のことである。図13に直進状態に得られた情報マトリクスの一部を示す。舵角は0である。同じく図14に右旋回時に得られた情報マトリクスの一部を示す。舵角は約1.1である。環境情報としてプロペラの回転数や操作者が記載されている。
図12 船舶対する環境監視ルール(一部)
4.6 経験からの新たな航行ルートの作成
取得した運動能力から得られた経験から新たな目標到達に向けた航行ルートを計画する。経験は時系列的な情報マトリクス遷移列として表現されている。例えば、図13に示す様に直進時のプロペラ回転数と舵角量情報に加えて、右旋回時のプロペラ回転数と舵角量経験情報を組み合わせることにより、直進の後右旋回を行う航行を行う新たな行動計画の立案が可能である。本試験での新たな航行ルートは直進の後、右旋回である。
図13 取得した情報マトリクスの例（直進）
図14 取得した情報マトリクスの例（右旋回）
4.7新たな航行計画の作成
新たな航行計画として取得した経験から直進から右旋回を行う操船計画を立てた（表3参照）。
表3 操船計画（直進から右旋回）
図15 船の動きの様子(グラフ上の数字は経過時間（秒）)
表3に示す操船計画を実施した時の船の動きを図15に示す。操船計画は直進から右旋回である。ただしグラフ上の数字は秒であり、ｘとｙ座標値は無単位である。
4.8 結果
本試験ではUnity上の船舶モデルによるシミュレーションを行い、船舶の運動特性を観察して得た観測値の経験化を行った。そして取得した経験から新たな目標達成に向けた操船計画を得て、同じくシミュレータによる操船試験を行った。その結果、図15に示す様に操船計画通り、直進から右旋回の操船が可能であることが示された。今後、波高や風速のある様々な環境下での経験情報の蓄積を進めることにより、新たな操船計画の立案が可能である。
5. まとめ
本研究はAGIの実現に向けた基礎研究を行い、人の行動経験の蓄積と再利用性の可能性を示した。本研究では人の行動判断を模擬する手法として、人インスパイアードモデルを提案した。人インスパイアードモデルは人と同様に暗黙知化された経験を持つ。暗黙知化された経験は機能的構造を持っており再利用可能である。本研究では経験の暗黙知化をイメージ化と呼ぶ。イメージ化は、人の行動を行動観察ルールにより観察を行い、ヒットしたルールのパターンに環境情報を加えて情報マトリクスを生成することにより行なう。情報マトリクスを図形的に表現することにより、過去に取得したイメージ（経験）との比較が可能となる。そして情報マトリクスの時系列が時系列的経験となり、取得した時系列的経験を再利用することにより、新たな目標達成に向けた行動手順の生成が可能となる。本研究は人インスパイアードモデルを院内の患者支援と船の操船操作に適応して、その有効性を示した。具体的には患者観察からインシデントとアクシデントの発生の可能性を得て患者支援行動の発動が可能であることを示した。また、操船操作から得た時系列的経験を使用して新たな操船計画が可能であることを示した。人インスパイアードモデルが持つ行動観察ルールは1つの観測ルールファイルに一様に記述することが可能であり、多様な機械操作や人の行動観測を１つのファイルで行うことが可能であり、様々な観測ルールを連続的に蓄積することが可能である。例えば、図16には車の運転と操船操作を監視するルールが１つの観測ルールファイルに記述されている。本試験では実際の人の行動観察に代えて患者観察シナリオを使用した、あるいは操船試験ではシミュレーションデータを使用して試験を行っており、行動目的は手動で与えている。しかし今後、図3の①に示す様にカメラやマイク等による情報入力装置による環境情報の自動取得が可能になれば、環境の自動分析が可能となり、行動目標を含む多様な行動状況と環境状況の記録と取得した経験の暗黙知化が可能となる。
図16 環境観測ルール（車の運転と操船の一部）
謝辞
本研究に助言と貴重な情報を頂いた九州大学病院 医療技術部 放射線部門の福永淳一先生に感謝申し上げる。
参考文献
[1] Michael Polanyi: The tacit dimension, University of Chicago Press ,2003
[2] Michael Polanyi,高橋勇夫,暗黙知の次元,ちくま学芸文庫,2003
[3]椎塚 久雄：感性工学ハンドブック, 朝倉書店,2013.
[4]北島宗雄:消費者行動の科学,東京電機大学出版局, 2010.
[5]非公理的項論理：認知的記号推論の計算理論、船越孝太郎,人工知能学会論文誌37 巻6号 p. C-M11_1-18,2022
[6]Experience Selection in Multi-agent Deep Reinforcement Learning,Yishen Wang,Zongzhang Zhang,IEEE,2019
[7] 内部状態モデル構築と行動支援に関する研究、持田信治、学位論文、2005
[8]持田 信治:「3秒ルールインテリジェンスを用いた患者様子見の模擬」, バイオメディカル・ファジィ・システム学会誌 VOL 24 NO1 pp.37-46,2022
[9]持田 信治, ３秒ルールインテリジェンスを用いた人の行動選択の模擬、55-74、流通科学大学論集 経済・情報・政策編 第３２巻第２号,2023
[10]藤田一弥:「見えないものをさぐる―それがベイズ」、
[11] 阿部拓磨： DDARPA・ロボティクス・チャレンジ・ファイナルA、建設機械施工 Vol.67 No.12 December 2015
[12]佐伯胖：認知科学の方法、東京大学出版会、2007
[13]高橋麻奈：やさしいＸＭL、ソフトバンク、2022
[14] 田渕景太,満行泰河:ROS2とUnityを用いた船舶操縦シミュレータの開発,OpenCAE Symposium2023, B-04,pp1-8(2023)
[15] Yasukawa, H., and Yoshimura, Y.: Introduction of MMG standard method for ship maneuvering predictions, Journal of Marine Science and Technology, 20, 37–52, 2
[16]北村愛実:「Unityの教科書」、SBクリエイティブ、（2022)
[17]セイフティエクスプレス企業開発センター、6月号、（2008）
著者氏名（ふりがな）
現職○○大学○○学部○○科
略歴
著者氏名（ふりがな）
現職○○大学○○学部○○科
略歴