English

大学共同利用機関法人 自然科学研究機構

基礎生物学研究所

ニュース

プレスリリース詳細

2022.03.10

深層ニューラルネットワークによって「動く錯視デザイン」の人工合成に成功

自然科学研究機構 基礎生物学研究所
立命館大学

基礎生物学研究所 神経生理学研究室の小林汰輔特任助教と渡辺英治准教授、立命館大学 総合心理学部の北岡明佳教授、コードクリエイターの上坂学博士、田中健太博士の共同研究グループは、深層ニューラルネットワーク(DNN)が300種類の動く錯視が引き起こす運動知覚を再現することを見出しました。さらにDNNによって本来動く知覚を引き起こさない写真や絵画から動く錯視のデザインを人工的に合成することにも成功しました。

DNNは脳の神経ネットワーク構造や動作原理を参照して設計された人工知能のひとつであり、近年、幅広い分野で画期的な成果を収めているだけでなく、脳の動作メカニズムを研究するためのツールとしても期待が高まっています。2018年、同研究グループは大脳皮質の動作原理として有力な仮説のひとつである「予測符号化(注1)」を組み込んだDNNによって、動く錯視のひとつである「蛇の回転錯視」の動きの錯視を再現することに成功していますが、今回は対象の錯視を大幅に拡張して300種類の動く錯視、600種類の写真、600種類の絵画の計1500種類の画像データベースを作成し、300種類の動く錯視群に動きの知覚が再現できることを示しました。同時に写真や絵画には動きがほとんど検出されないことを示しましたが、一部の写真や絵画からは大きな動きが検出され、この動きが検出された部分から錯視様デザインを合成して心理実験を行ったところ、このデザインが動く錯視になることを発見しました。本錯視様デザインは人工知能が発見した初めての錯視のひとつとなります(注。本発見はDNNが表現する脳のモデルとヒトの知覚との類似性及び差異を明確に示すもので、ヒトの知覚モデルを考える上で重要な知見を提供するものです。

今後、DNNと心理学を融合させた研究は、脳の動作原理の解明に貢献すると期待されます。
本成果はScientific Reports誌に掲載されます(3月10日 日本時間19時オンライン掲載予定)。

fig.jpg
AIによってデザインされた動く錯視
(右の星印に視線を集中させて左の画像を周辺視で見る)

[本研究の背景]
深層ニューラルネットワーク(DNN)は、脳のネットワーク構造や動作原理を参照して設計された人工知能のひとつです。DNN研究は画像や音声の認識や合成など、幅広い分野で画期的な成果を収めていますが、近年、脳の動作メカニズムを研究するためのツールとしても期待が高まっています。これまでの脳科学では、実際の脳や神経細胞の活動からその動作原理を推定してきましたが、本手法を用いて人工脳をコンピューター上に合成することで、その動作原理を仮想的に推定し検証することが可能になります。
2018年本研究グループは、大脳の基本動作原理のひとつ予測符号化(注1)を組み込んだDNNの研究を行い、北岡明佳教授考案の「蛇の回転錯視」が同DNNで再現されることを示しました(Watanabe et al., Front. Psychol. 9, 2018 https://doi.org/10.3389/fpsyg.2018.00345               プレスリリース:https://www.nibb.ac.jp/press/2018/03/20-2.html)。蛇の回転錯視は、数ある錯視の中でも特に代表的な作品であり、静止画であるにも関わらず、実際に目にすると、非常に強く回転運動が知覚されます。さらに蛇の回転錯視は、ネコや魚に対しても回転運動を引き起こすとされ、動物の視覚の代表的な特性を示していると考えられています。予測符号化は、大脳は入力される感覚情報を常に予測しており、その予測と実際の感覚情報との差分を学習していくとされています。差分情報は、大脳の各領野間を行き来し、高次領野では高度に抽象化された差分情報が符号化されると考えられます。この理論は、大脳の解剖学的知見及び生理学的知見をうまく説明できることから、現在は幅広い分野で支持されています。蛇の回転錯視の再現は、予測符号化の正当性を示すひとつの証拠となりました。
しかし、蛇の回転錯視は数ある錯視のひとつに過ぎません。今回研究グループは、DNN研究用に錯視データベースを作成し、さらなる検証を進めました。
 fig1.jpg [図1]予測符号化を組み込んだDNN(Watanabe et al. 2018の図1を改変)。一層だけを概念的に示してあります。「内部モデル」のノード群はリカレント回路を持つ記憶細胞であり、その再帰的情報に加えて、上位層の内部モデルからの情報を元にして「予測」を生成しています。予測は下層からの「入力」と照らし合わされて「誤差情報」が計算され、誤差情報は同一層の内部モデル及び上位層の入力として伝搬されます。本研究では計4層のニューラルネットワークを使用しております。学習では最下層の誤差情報を最小化させるように学習を進めます。
 
[本研究の成果]
 新たに準備した錯視データベースは、北岡教授作成の299種の作品と、渡辺准教授作成の1種の作品、計300種の画像データから成り(図2)、同時に写真600種(静物300種、動いている物300種)、絵画(古典絵画300種、近代絵画300種)を同梱したものです。人は300種の錯視画像に動きを知覚し、それ以外の画像に動きを知覚することはありません。本データベースは、DNNを使った錯視研究を促進させるために論文公開前からインターネット上で公開しました(本研究室は、知の創出を加速するオープンサイエンスを積極的に進めています)。

fig2.jpg
図2 300種の錯視からなる錯視データベース Visual Illusions Dataset
https://doi.org/10.6084/m9.figshare.9878663
 
錯視データベースを先行研究で使用された学習済みDNNで解析したところ、多くの錯視でヒトの知覚と同じような動きのベクトルが検出され、ほとんどの写真や絵画には動きのベクトルは検出されませんでした(図3、ルーカス-金出[Lucas-Kanade]法とファーンバック[Farneback]法)。動きのベクトルの絶対値をグラフ化したものが図4です。300種の錯視データベースグループにおいて、特異的に大きなベクトルが検出されていることがわかります。錯視300種は色も形も動く方向もまったく異なるデザインであり、この結果はDNNの画像処理過程が人間や動物のものと類似しており、DNNが人間や動物と同様、錯視を知覚することの証左であると共に、錯視を引き起こしているメカニズムのひとつとして、やはり予測符号化が有力であることを示しています。

fig3.jpg [図3]動く錯視、近代絵画、古典絵画、動きのある写真、静物の写真からのAIによる運動ベクトルの予測。AIが算出した予測画像から運動ベクトル(オプティカルフロー、ルーカス-金出法)を検出しています。黄色の点がベクトルの始点、赤い線がベクトルの方向と大きさを示しています。

fig4.jpg [図4]図2で示した各画像の運動ベクトル(オプティカルフロー(注3))の絶対値を300画像で平均すると、動く錯視とそれ以外の画像では大きな差が検出されました。
 
本研究グループは、一部の写真や絵画に、部分的に大きなベクトルが検出されることを発見しました(図5)。そこでこの大きなベクトルが検出されている部分を切り出し、錯視様の繰り返しデザインを作成しヒトを対象とした心理実験を行いました。その結果、これらのデザインは動く錯視として成立していることが明らかになりました(図6)。本錯視様デザインは人工知能が発見した初めての錯視のひとつとなりました(注

本発見はDNNが表現する脳のモデルとヒトの知覚との類似性及び差異を明確に示すもので、ヒトの知覚モデルを考える上で重要な知見を提供するものです。

fig5.jpg [図異常なフローが検出された2枚の写真と絵画。2種類の運動ベクトル検出法で、部分的ではありますが、通常観察されない大きなフローが検出されました(写真ではビル、絵画では柱)。

fig6.jpg [図6]図5の写真と絵画から合成した錯視2種。運動ベクトルが検出された画像の一部を切り取り、錯視様デザインを合成しました。いずれも心理実験によって、ヒトが動きを知覚することが確認されました。グラフは5人の被験者のデータを示しました。赤のデータは画像をそのまま使った場合、青のデータは画像をミラー反転させて使った場合。赤と青のグラフのズレが大きいほど大きな錯視が検出されていることになります。
 
[成果の意義]
1)DNNは心理学研究に応用可能であることを示しました。今回の研究ではDNN研究の成果がヒトの心理学研究にフィードバックされており、DNN実験と心理実験が組み合されることによって新たな発見が可能となりました。
2)DNNによって錯視が作成できることを示しました。DNNが作り上げた錯視は新たな視覚実験を可能にします。
3)予測符号化が大脳の動作原理として有力であることを追認しました。予測誤差と錯視との関係については、すでに2010年に本研究グループによって考察されており(Watanabe et al., Vision Research 50, 2381-2390, 2010)、2018年の論文(Watanabe et al., Front. Psychol. 9, 2018)に続き、そのアイデアがさらに支持されたことになります。
4)社会に応用が進むDNNが錯視というエラーを起こす可能性を示しました。人工知能をリスク管理する観点からも重要な知見です。
 
[今後の展望]
人工脳を使った研究は心理学や神経科学を発展させ、脳の動作メカニズム解明に貢献すると期待されます。これまで科学の範囲になかったヒトや動物の主観世界の研究がさらに発展するものと期待できます。
 
注1)   予測符号化は、RaoとBallardによって1999年に提唱された視覚系の大脳皮質の動作原理。大脳皮質は常に視覚世界の予測をしており、感覚入力と予測との誤差のみを学習しているとする仮説(図1参照)。現在大脳皮質の動作原理を説明する仮説の中では最も有力なもののひとつ。
 
注2)   渡辺らは別の方法論でも錯視の人工合成に成功している。Evolutionary Generation of Visual Motion Illusions, https://arxiv.org/abs/2112.13243
 
注3)   オプティカルフロー:画像中の特徴ある形状を基準にして二つの画像でどのような動きがあったかを推定する方法がオプティカルフロー法で、そこで検出された動きのベクトルがオプティカルフロー。ルーカス-金出法では、より広域の特徴抽出を行うため大きな動きを検出するのに向いており、ファーンバック法では局所的な特徴抽出を行うため小さな動きを検出するのに向いている。
 
[掲載誌情報]
雑誌名: Scientific Reports 
掲載日: 2022年3月10日 日本時間19時
論文タイトル: “Motion Illusion-like Patterns Extracted from Photo and Art Images Using Predictive Deep Neural Networks”
著者: Taisuke Kobayashi, Akiyoshi Kitaoka, Manabu Kosaka, Kenta Tanaka, and Eiji Watanabe
DOI: https://doi.org/10.1038/s41598-022-07438-3
 
[研究グループ]
本研究は基礎生物学研究所 神経生理学研究室の小林汰輔特任助教と渡辺英治准教授、立命館大学 総合心理学部の北岡明佳教授、コードクリエイターの上坂学博士と田中健太博士による成果です。

[研究サポート]
本研究は、文部科学省科学研究費助成事業などのサポートを受けて行われました。
 
[本件に関するお問い合わせ先]
基礎生物学研究所 神経生理学研究室
准教授 渡辺 英治(ワタナベ エイジ)
Tel: 0564-59-5595(研究室)
E-mail: eiji@nibb.ac.jp
 
[報道担当]
基礎生物学研究所 広報室
Tel: 0564-55-7628
FAX: 0564-55-7597
E-mail: press@nibb.ac.jp
 
立命館大学 広報課
Tel: 075-813-8300
E-mail: r-koho@st.ritsumei.ac.jp