論文 - 杉浦　孔明

日常タスクにおける将来イベントのクロスモーダル説明文生成

神原元就， 杉浦孔明

人工知能学会全国大会論文集 第 36 回 (2022), 2O1GS702-2O1GS702 （一般社団法人 人工知能学会）  JSAI2022 （ 0 ） 2O1GS702 - 2O1GS702 2022年

　概要を見る

<p>ロボットと障害物の衝突を予測し危険性を言語化してユーザにフィードバックできれば安全性と説明性を向上できる．一方で，未来予測には不確実性が含まれるので、正確な説明文生成は難しい．実際に，既存週報では実世界データにおいて生成文の品質が低いため，実用化が難しい．そこで本論文ではfuture captioningのための新しい手法を提案した．提案手法の新規性はRelational Self-Attention（RSA，[Kim+ NeurIPS21]）を注意機構として用いたRSA Encoderの導入，及びaction lossの導入である．本論文ではBERT，METOR，ROUGE，CIDErの4つの評価尺度を用いて評価した．実験では各データセットにおいて，主要尺度で提案手法が既存手法を上回る性能を示した．</p>

• Access to Document (DOI)
• CiNii Research

市街地での移動指示理解タスクにおけるUNITER Regressor による目標位置予測

畑中 駿平, Wei Yang, 細見 直希, 翠 輝久, 山田 健太郎, 杉浦 孔明

人工知能学会研究会資料 知識ベースシステム研究会 （一般社団法人 人工知能学会）  126 （ 0 ） 34 - 39 2022年

• Access to Document (DOI)
• CiNii Research

Vision-and-Language Navigation タスクにおける敵対的サブゴール生成

石川慎太朗， 杉浦孔明

人工知能学会全国大会論文集 第 36 回 (2022), 2O1GS701-2O1GS701 （一般社団法人 人工知能学会）  JSAI2022 （ 0 ） 2O1GS701 - 2O1GS701 2022年

　概要を見る

<p>本研究では、家庭環境において、人間の指示文をもとに生活支援タスクを実行するエージェントの構築を目的とする。例えば「マグカップを洗ってコーヒーメーカーに置く」という指示文が与えられたときに、エージェントは、マグカップを見つけて洗浄し、コーヒーメーカーの元に運ぶといった動作を要求される。しかし、これには指示文を複数のサブゴールに分解し、それらを正しい順序で実行する必要があり、タスクの遂行は容易ではない。実際に、ALFREDベンチマークにおいても、既存手法は人間のパフォーマンスに遠く及ばない。これは、既存手法がしばしばサブゴールの予測に失敗することが部分的な要因である。我々は、サブゴールの生成過程に対して、モーメントを利用した敵対的学習を提案する。命令文、サブゴール群、状態表現の各埋め込み空間に敵対的な摂動を付与することによって、多様な環境を扱うことが可能となる。ALFREDベンチマークを使用し、ベースライン手法と比較を行った結果について報告する。</p>

• Access to Document (DOI)
• CiNii Research

Language identifying device and computer program for same, and speech processing device

P Shen, K Sugiura, H Kawai

US Patent App. 17/593,822 2022年

Lambda Attention Branch Networks による視覚的説明生成

飯田紡， 兼田寛大， 平川翼， 山下隆義， 藤吉弘亘， 杉浦孔明

人工知能学会全国大会論文集 第 36 回 (2022), 2O1GS703-2O1GS703 （一般社団法人 人工知能学会）  JSAI2022 （ 0 ） 2O1GS703 - 2O1GS703 2022年

　概要を見る

<p>深層学習が幅広い分野に応用されている現代において、モデルの説明性は重要である。 しかし、Lambdaに基づくtransformerの視覚的説明生成に関する研究はほとんどない。 本論文では、重要な領域に詳細に注目し、解釈しやすい視覚的説明を生成する、Lambda Attention Branch Networksを提案する。 また、 スパースな重要領域を有する画像に有効な評価指標として、Insertion-Deletion scoreを拡張したPatch Insertion-Deletion scoreを提案する。 2つの標準データセットにおける実験結果から、提案手法が視覚的説明の生成に成功することを示した。</p>

• Access to Document (DOI)
• CiNii Research

Flare Transformer: 磁場画像と物理特徴量を用いた太陽フレア予測

兼田寛大， 飯田紡， 西塚直人， 久保勇樹， 杉浦孔明

人工知能学会全国大会論文集 第 36 回 (2022), 2D6GS201-2D6GS201 （一般社団法人 人工知能学会）  JSAI2022 （ 0 ） 2D6GS201 - 2D6GS201 2022年

　概要を見る

<p>太陽フレアに代表される太陽活動は停電や宇宙飛行士への健康的被害などをもたらすため，宇宙天気予報による太陽フレアの予測技術が重要である．しかし，太陽フレアを正確に予測することは非常に難しい．そこで，本論文ではMagnetogram ModuleとSunspot Feature Moduleにより，画像と物理特徴量の両方を扱う太陽フレア予測モデル Flare Transformer を提案する．Flare Transformerは，transformer型注意機構，およびGandin-Murphy-Gerrity scoreとBrier skill scoreの2つの主要な尺度のバランスをとるための新しい微分可能な損失関数を導入している．実験結果より，Gandin-Murphy-Gerrity scoreおよびtrue skill statisticsの尺度において，提案手法はベースライン手法および専門家予測より高い性能を達成することが示された．</p>

• Access to Document (DOI)
• CiNii Research

Relational Future Captioning Model for Explaining Likely Collisions in Daily Tasks.

Motonari Kambara, Komei Sugiura

ICIP    2601 - 2605 2022年

• Access to Document (DOI)

Moment-based Adversarial Training for Embodied Language Comprehension.

Shintaro Ishikawa, Komei Sugiura

ICPR    4139 - 4145 2022年

• Access to Document (DOI)

Operational solar flare prediction model using Deep Flare Net

N Nishizuka, Y Kubo, K Sugiura, M Den, M Ishii

Earth, Planets and Space 73 (1), 1-12 2021年

Predicting and attending to damaging collisions for placing everyday objects in photo-realistic simulations

A Magassouba, K Sugiura, A Nakayama, T Hirakawa, T Yamashita, ...

Advanced Robotics, 1-13 abs/2102.06507 2021年

生活支援ロボットによる物体配置タスクにおける Transformer PonNet に基づく危険性予測および可視化

植田有咲， 平川翼， 山下隆義， 藤吉弘亘， 杉浦孔明

人工知能学会全国大会論文集 第 35 回全国大会 (2021), 2J1GS8a03-2J1GS8a03 （一般社団法人 人工知能学会）  2021 （ 0 ） 2J1GS8a03 - 2J1GS8a03 2021年

　概要を見る

<p>高齢者や障害者を支える人手不足の解決策として家庭用ロボットは有望視されている. 家庭用ロボットにとって物体配置タスクは基本的動作であるので, 高い精度および安全性が望まれる. 衝突は環境内の物体同士の運動量に大きく依存しているため, 予測することは難しい. そこで, 本論文では物体配置タスクでの衝突に関するphysical reasoning手法, Transformer PonNetを提案する. Transformer PonNetは衝突可能性を予測し, 衝突に関連する部分の可視化を行う. 既存手法と異なり, 正確な大きさが分からない物体に対しても適応可能である. また, 単純なself-attention機構よりも複雑な特徴量間の関係を扱うことができるTransformer Perception Branchを提案する. 家庭用ロボットを用いてシミュレーション, 実機データセットを構築し, 実機データセットで82.5%という精度を得た.</p>

• Access to Document (DOI)

Target-dependent UNITER に基づく対象物体に関する参照表現を含む物体操作指示理解

石川慎太朗， 杉浦孔明

人工知能学会全国大会論文集 第 35 回全国大会 (2021), 4I2GS7c04-4I2GS7c04 （一般社団法人 人工知能学会）  2021 （ 0 ） 4I2GS7c04 - 4I2GS7c04 2021年

　概要を見る

<p>高齢化が進行する現代社会において，在宅介護者の不足が問題となっている．生活支援ロボットはその有望な解であり，スムーズな対話に基づいて生活支援タスクを実行できることが望ましい．しかし，人間の発する命令文には規則が存在せず，しばしば曖昧性が含まれるため、正確な内容の理解は容易ではない．既存研究では，命令文に加え，命令の対象物体を含む全体画像を入力しているが，それだけでは物体間の関係性の学習が難しく，命令文が参照表現を含む場合に対象物体の特定が困難になる．そこで本研究では，対象物体候補の画像・位置情報を扱うように構造を変更した，Target-dependent UNITERモデルを提案する．対象物体候補が対象物体であるか否かに関する分類精度について，標準データセットを使用し，ベースライン手法と比較を行った結果について報告する．</p>

• Access to Document (DOI)

Case Relation Transformer に基づく対象物体及び目標領域の参照表現を含む物体操作指示文生成

神原元就， 杉浦孔明

人工知能学会全国大会論文集 第 35 回全国大会 (2021), 4J1GS6d05-4J1GS6d05 （一般社団法人 人工知能学会）  2021 （ 0 ） 4J1GS6d05 - 4J1GS6d05 2021年

　概要を見る

<p>本研究の目的は、クロスモーダル言語生成モデルによりデータセットを拡張することである．本論文では，"Move the blue flip-flop to the lower left box"等，画像から物体移動指示文を生成するCase Relation Transformer（CRT）を提案する．既存手法とは異なり，CRTはTransformerを使用して画像特徴量及び幾何的特徴量を統合する．また，CRTはCase Relation Blockの導入により，対象物体及び目標領域を扱うことができる．実験ではベースライン手法との比較実験及び人間による評価を行った． 結果より，CRTがベースライン手法を主要尺度で上回ることが示された．</p>

• Access to Document (DOI)

Unified questioner transformer for descriptive question generation in goal-oriented visual dialogue

S Matsumori, K Shingyouchi, Y Abe, Y Fukuchi, K Sugiura, M Imai

Proceedings of the IEEE/CVF International Conference on Computer Vision … abs/2106.15550 2021年

Target-Dependent UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots

S Ishikawa, K Sugiura

IEEE Robotics and Automation Letters 6 (4), 8401-8408 2021年

CrossMap Transformer: A Crossmodal Masked Path Transformer Using Double Back-Translation for Vision-and-Language Navigation.

Aly Magassouba, Komei Sugiura, Hisashi Kawai

IEEE Robotics Autom. Lett. 6 （ 4 ） 6258 - 6265 2021年

研究論文（学術雑誌）, 共著, 査読有り

• Access to Document (DOI)

Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions

M Kambara, K Sugiura

IEEE Robotics and Automation Letters 6 (4), 8371-8378 2021年

Bilingual Case Relation Transformerに基づく複数言語による物体操作指示文生成

兼田寛大, 神原元就, 杉浦孔明

日本ロボット学会学術講演会予稿集(CD-ROM) 39th 2021年

Deep Neural Networks Applied to Predictions of 4-Class Solar Flares and Eruptions

N Nishizuka, M Den, M Ishii, Y Kubo, K Sugiura

43rd COSPAR Scientific Assembly. Held 28 January-4 February 43, 1037 2021年

LatteGAN: Visually Guided Language Attention for Multi-Turn Text-Conditioned Image Manipulation

S Matsumori, Y Abe, K Shingyouchi, K Sugiura, M Imai

IEEE Access 9, 160521-160532 2021年