基礎生物学研究所 神経生理学研究室の小林汰輔特任助教と渡辺英治准教授、立命館大学 総合心理学部の北岡明佳教授、コードクリエイターの上坂学博士、田中健太博士の共同研究グループは、深層ニューラルネットワーク（ＤＮＮ）が３００種類の動く錯視が引き起こす運動知覚を再現することを見出しました。さらにＤＮＮによって本来動く知覚を引き起こさない写真や絵画から動く錯視のデザインを人工的に合成することにも成功しました。

ＤＮＮは脳の神経ネットワーク構造や動作原理を参照して設計された人工知能のひとつであり、近年、幅広い分野で画期的な成果を収めているだけでなく、脳の動作メカニズムを研究するためのツールとしても期待が高まっています。２０１８年、同研究グループは大脳皮質の動作原理として有力な仮説のひとつである「予測符号化^（注１）」を組み込んだＤＮＮによって、動く錯視のひとつである「蛇の回転錯視」の動きの錯視を再現することに成功していますが、今回は対象の錯視を大幅に拡張して３００種類の動く錯視、６００種類の写真、６００種類の絵画の計１５００種類の画像データベースを作成し、３００種類の動く錯視群に動きの知覚が再現できることを示しました。同時に写真や絵画には動きがほとんど検出されないことを示しましたが、一部の写真や絵画からは大きな動きが検出され、この動きが検出された部分から錯視様デザインを合成して心理実験を行ったところ、このデザインが動く錯視になることを発見しました。本錯視様デザインは人工知能が発見した初めての錯視のひとつとなります^（注２）。本発見はＤＮＮが表現する脳のモデルとヒトの知覚との類似性及び差異を明確に示すもので、ヒトの知覚モデルを考える上で重要な知見を提供するものです。

今後、ＤＮＮと心理学を融合させた研究は、脳の動作原理の解明に貢献すると期待されます。
本成果はScientific Reports誌に掲載されます（３月１０日 日本時間１９時オンライン掲載予定）。


［本研究の背景］
深層ニューラルネットワーク（ＤＮＮ）は、脳のネットワーク構造や動作原理を参照して設計された人工知能のひとつです。ＤＮＮ研究は画像や音声の認識や合成など、幅広い分野で画期的な成果を収めていますが、近年、脳の動作メカニズムを研究するためのツールとしても期待が高まっています。これまでの脳科学では、実際の脳や神経細胞の活動からその動作原理を推定してきましたが、本手法を用いて人工脳をコンピューター上に合成することで、その動作原理を仮想的に推定し検証することが可能になります。
２０１８年本研究グループは、大脳の基本動作原理のひとつ予測符号化^（注１）を組み込んだＤＮＮの研究を行い、北岡明佳教授考案の「蛇の回転錯視」が同ＤＮＮで再現されることを示しました（Watanabe et al., Front. Psychol. 9, 2018 https://doi.org/10.3389/fpsyg.2018.00345　　　　　　　　　　　　　　　プレスリリース：https://www.nibb.ac.jp/press/2018/03/20-2.html）。蛇の回転錯視は、数ある錯視の中でも特に代表的な作品であり、静止画であるにも関わらず、実際に目にすると、非常に強く回転運動が知覚されます。さらに蛇の回転錯視は、ネコや魚に対しても回転運動を引き起こすとされ、動物の視覚の代表的な特性を示していると考えられています。予測符号化は、大脳は入力される感覚情報を常に予測しており、その予測と実際の感覚情報との差分を学習していくとされています。差分情報は、大脳の各領野間を行き来し、高次領野では高度に抽象化された差分情報が符号化されると考えられます。この理論は、大脳の解剖学的知見及び生理学的知見をうまく説明できることから、現在は幅広い分野で支持されています。蛇の回転錯視の再現は、予測符号化の正当性を示すひとつの証拠となりました。
しかし、蛇の回転錯視は数ある錯視のひとつに過ぎません。今回研究グループは、ＤＮＮ研究用に錯視データベースを作成し、さらなる検証を進めました。
  ［図１］予測符号化を組み込んだＤＮＮ（Watanabe et al. 2018の図１を改変）。一層だけを概念的に示してあります。「内部モデル」のノード群はリカレント回路を持つ記憶細胞であり、その再帰的情報に加えて、上位層の内部モデルからの情報を元にして「予測」を生成しています。予測は下層からの「入力」と照らし合わされて「誤差情報」が計算され、誤差情報は同一層の内部モデル及び上位層の入力として伝搬されます。本研究では計４層のニューラルネットワークを使用しております。学習では最下層の誤差情報を最小化させるように学習を進めます。
 
［本研究の成果］
　新たに準備した錯視データベースは、北岡教授作成の２９９種の作品と、渡辺准教授作成の１種の作品、計３００種の画像データから成り（図２）、同時に写真６００種（静物３００種、動いている物３００種）、絵画（古典絵画３００種、近代絵画３００種）を同梱したものです。人は３００種の錯視画像に動きを知覚し、それ以外の画像に動きを知覚することはありません。本データベースは、ＤＮＮを使った錯視研究を促進させるために論文公開前からインターネット上で公開しました（本研究室は、知の創出を加速するオープンサイエンスを積極的に進めています）。

 
錯視データベースを先行研究で使用された学習済みＤＮＮで解析したところ、多くの錯視でヒトの知覚と同じような動きのベクトルが検出され、ほとんどの写真や絵画には動きのベクトルは検出されませんでした（図３、ルーカス-金出[Lucas-Kanade]法とファーンバック[Farneback]法）。動きのベクトルの絶対値をグラフ化したものが図４です。３００種の錯視データベースグループにおいて、特異的に大きなベクトルが検出されていることがわかります。錯視３００種は色も形も動く方向もまったく異なるデザインであり、この結果はＤＮＮの画像処理過程が人間や動物のものと類似しており、ＤＮＮが人間や動物と同様、錯視を知覚することの証左であると共に、錯視を引き起こしているメカニズムのひとつとして、やはり予測符号化が有力であることを示しています。

［図３］動く錯視、近代絵画、古典絵画、動きのある写真、静物の写真からのＡＩによる運動ベクトルの予測。ＡＩが算出した予測画像から運動ベクトル（オプティカルフロー、ルーカス-金出法）を検出しています。黄色の点がベクトルの始点、赤い線がベクトルの方向と大きさを示しています。

［図４］図２で示した各画像の運動ベクトル（オプティカルフロー^（注３））の絶対値を３００画像で平均すると、動く錯視とそれ以外の画像では大きな差が検出されました。
 
本研究グループは、一部の写真や絵画に、部分的に大きなベクトルが検出されることを発見しました（図５）。そこでこの大きなベクトルが検出されている部分を切り出し、錯視様の繰り返しデザインを作成しヒトを対象とした心理実験を行いました。その結果、これらのデザインは動く錯視として成立していることが明らかになりました（図６）。本錯視様デザインは人工知能が発見した初めての錯視のひとつとなりました^（注２）。

本発見はＤＮＮが表現する脳のモデルとヒトの知覚との類似性及び差異を明確に示すもので、ヒトの知覚モデルを考える上で重要な知見を提供するものです。

［図５］異常なフローが検出された２枚の写真と絵画。２種類の運動ベクトル検出法で、部分的ではありますが、通常観察されない大きなフローが検出されました（写真ではビル、絵画では柱）。

［図６］図５の写真と絵画から合成した錯視２種。運動ベクトルが検出された画像の一部を切り取り、錯視様デザインを合成しました。いずれも心理実験によって、ヒトが動きを知覚することが確認されました。グラフは５人の被験者のデータを示しました。赤のデータは画像をそのまま使った場合、青のデータは画像をミラー反転させて使った場合。赤と青のグラフのズレが大きいほど大きな錯視が検出されていることになります。
 
［成果の意義］
１）ＤＮＮは心理学研究に応用可能であることを示しました。今回の研究ではＤＮＮ研究の成果がヒトの心理学研究にフィードバックされており、ＤＮＮ実験と心理実験が組み合されることによって新たな発見が可能となりました。
２）ＤＮＮによって錯視が作成できることを示しました。ＤＮＮが作り上げた錯視は新たな視覚実験を可能にします。
３）予測符号化が大脳の動作原理として有力であることを追認しました。予測誤差と錯視との関係については、すでに２０１０年に本研究グループによって考察されており（Watanabe et al., Vision Research 50, 2381-2390, 2010）、２０１８年の論文（Watanabe et al., Front. Psychol. 9, 2018）に続き、そのアイデアがさらに支持されたことになります。
４）社会に応用が進むＤＮＮが錯視というエラーを起こす可能性を示しました。人工知能をリスク管理する観点からも重要な知見です。
 
［今後の展望］
人工脳を使った研究は心理学や神経科学を発展させ、脳の動作メカニズム解明に貢献すると期待されます。これまで科学の範囲になかったヒトや動物の主観世界の研究がさらに発展するものと期待できます。
 
注１）   予測符号化は、RaoとBallardによって１９９９年に提唱された視覚系の大脳皮質の動作原理。大脳皮質は常に視覚世界の予測をしており、感覚入力と予測との誤差のみを学習しているとする仮説（図１参照）。現在大脳皮質の動作原理を説明する仮説の中では最も有力なもののひとつ。
 
注２）   渡辺らは別の方法論でも錯視の人工合成に成功している。Evolutionary Generation of Visual Motion Illusions, https://arxiv.org/abs/2112.13243
 
注３）   オプティカルフロー：画像中の特徴ある形状を基準にして二つの画像でどのような動きがあったかを推定する方法がオプティカルフロー法で、そこで検出された動きのベクトルがオプティカルフロー。ルーカス-金出法では、より広域の特徴抽出を行うため大きな動きを検出するのに向いており、ファーンバック法では局所的な特徴抽出を行うため小さな動きを検出するのに向いている。
 
［掲載誌情報］
雑誌名: Scientific Reports　
掲載日: 2022年3月10日 日本時間19時
論文タイトル: “Motion Illusion-like Patterns Extracted from Photo and Art Images Using Predictive Deep Neural Networks”
著者: Taisuke Kobayashi, Akiyoshi Kitaoka, Manabu Kosaka, Kenta Tanaka, and Eiji Watanabe
DOI: https://doi.org/10.1038/s41598-022-07438-3
 
[研究グループ]
本研究は基礎生物学研究所 神経生理学研究室の小林汰輔特任助教と渡辺英治准教授、立命館大学 総合心理学部の北岡明佳教授、コードクリエイターの上坂学博士と田中健太博士による成果です。

[研究サポート]
本研究は、文部科学省科学研究費助成事業などのサポートを受けて行われました。
 
[本件に関するお問い合わせ先]
基礎生物学研究所 神経生理学研究室
准教授　渡辺 英治（ワタナベ エイジ）
Tel: 0564-59-5595（研究室）
E-mail: eiji@nibb.ac.jp
 
[報道担当]
基礎生物学研究所 広報室
Tel: 0564-55-7628
FAX: 0564-55-7597
E-mail: press@nibb.ac.jp
 
立命館大学 広報課
Tel: 075-813-8300
E-mail: r-koho@st.ritsumei.ac.jp