論文 - 杉浦　孔明

Mobile Manipulation Instruction Generation From Multiple Images With Automatic Metric Enhancement

K Katsumata, M Kambara, D Yashima, R Korekata, K Sugiura

IEEE Robotics and Automation Letters 2025年

DM2RM: dual-mode multimodal ranking for target objects and receptacles based on open-vocabulary instructions

R Korekata, K Kaneda, S Nagashima, Y Imai, K Sugiura

Advanced Robotics, 1-16 abs/2408.07910 2025年

• Access to Document (DOI)

Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Multimodal Foundation Models.

Takayuki Nishimura, Katsuyuki Kuyo, Motonari Kambara, Komei Sugiura

IROS    9549 - 9556 2024年

• Access to Document (DOI)

Trimodal Navigable Region Segmentation Model: Grounding Navigation Instructions in Urban Areas

N Hosomi, S Hatanaka, Y Iioka, W Yang, K Kuyo, T Misu, K Yamada, ...

IEEE Robotics and Automation Letters 9 (5), 4162-4169 2024年

Learning-To-Rank Approach for Identifying Everyday Objects Using a Physical-World Search Engine.

Kanta Kaneda, Shunya Nagashima, Ryosuke Korekata, Motonari Kambara, Komei Sugiura

9 （ 3 ） 2088 - 2095 2024年

• Access to Document (DOI)

Nearest neighbor future captioning: generating descriptions for possible collisions in object placement tasks

T Komatsu, M Kambara, S Hatanaka, H Matsuo, T Hirakawa, T Yamashita, ...

Advanced Robotics 38 (18), 1265-1276 2024年

Co-scale cross-attentional transformer for rearrangement target detection

H Matsuo, S Ishikawa, K Sugiura

Advanced Robotics 38 (18), 1277-1286 2024年

Cooperative Control of Multiple CAs

T Nagai, T Nakamura, K Sugiura, T Taniguchi, Y Suzuki, M Hirata

Cybernetic Avatar, 151-207 2024年

Deneb: A Hallucination-Robust Automatic Evaluation Metric for Image Captioning

K Matsuda, Y Wada, K Sugiura

Proceedings of the Asian Conference on Computer Vision, 3570-3586 2024年

Layer-Wise Relevance Propagation with Conservation Property for ResNet

S Otsuki, T Iida, F Doublet, T Hirakawa, T Yamashita, H Fujiyoshi, ...

European Conference on Computer Vision, 349-364 2024年

Mask-Attention A3C: Visual Explanation of Action-State Value in Deep Reinforcement Learning

H Itaya, T Hirakawa, T Yamashita, H Fujiyoshi, K Sugiura

IEEE Access 12   86553 - 86571 2024年

• Access to Document (DOI)

Multimodal Target Localization with Landmark-Aware Positioning for Urban Mobility

N Hosomi, Y Iioka, S Hatanaka, T Misu, K Yamada, N Tsukamoto, ...

IEEE Robotics and Automation Letters 10 （ 1 ） 716 - 723 2024年

• Access to Document (DOI)

Switching Text-based Image Encoders for Captioning Images with Text

A Ueda, W Yang, K Sugiura

IEEE Access 11   55706 - 55715 2023年

• Access to Document (DOI)

Affective Image Captioning for Visual Artworks Using Emotion-Based Cross-Attention Mechanisms

S Ishikawa, K Sugiura

IEEE Access 11, 24527-24534 11   24527 - 24534 2023年

• Access to Document (DOI)

Multimodal Diffusion Segmentation Model for Object Segmentation from Manipulation Instructions

Y Iioka, Y Yoshida, Y Wada, S Hatanaka, K Sugiura

2023 IEEE/RSJ International Conference on Intelligent Robots and Systems … 2023年

Switching Head-Tail Funnel UNITER for Dual Referring Expression Comprehension with Fetch-and-Carry Tasks

R Korekata, M Kambara, Y Yoshida, S Ishikawa, Y Kawasaki, ...

2023 IEEE/RSJ International Conference on Intelligent Robots and Systems … 2023年

Prototypical Contrastive Transfer Learning for Multimodal Language Understanding

S Otsuki, S Ishikawa, K Sugiura

2023 IEEE/RSJ International Conference on Intelligent Robots and Systems … 2023年

Nearest Neighbor Future Captioning: 物体配置タスクにおける衝突リスクに関する説明文生成

小松拓実， 神原元就， 畑中駿平， 松尾榛夏， 平川翼， 山下隆義， 藤吉弘亘， ...

人工知能学会全国大会論文集 第 37 回 (2023), 3G1OS24a05-3G1OS24a05 （一般社団法人 人工知能学会）  JSAI2023 （ 0 ） 3G1OS24a05 - 3G1OS24a05 2023年

　概要を見る

<p>自然言語を用いてコミュニケーションが可能な生活支援ロボットの実用化は，要支援者にとって有望な解決策となる．特に，事前にタスク実行に伴う危険性を予測し，ユーザーに判断を仰ぐ能力は，安全性及び利便性を高める．しかし，将来のイベントを表す情報を利用できない点で正確な予測は困難である．既存手法におけるRFCMでは，把持物体の画像を入力としていないため，物体に関する表現が不十分である．また，直前の画像の入力を必要とするため衝突予測時には衝突を回避できないという問題点がある．本研究では，衝突予測における注意箇所を可視化したAttention mapを生成するモジュールの追加，k最近傍法によるモデルの表現力の拡張を行う．また，評価指標として，生成文に対する標準的な評価指標であるBLEU4，METEOR，ROUGE-L， CIDEr-D を用いて比較実験を行う。 実験結果より，全ての評価指標において，提案手法がベースライン手法を上回る性能を達成した．</p>

• Access to Document (DOI)
• CiNii Research

Shared transformer encoder with mask-based 3D model estimation for container mass estimation

T Matsubara, S Otsuki, Y Wada, H Matsuo, T Komatsu, Y Iioka, K Sugiura, ...

ICASSP 2022-2022 IEEE International Conference on Acoustics, Speech and …    9142 - 9146 2022年

• Access to Document (DOI)

生活支援ロボットによる物体操作タスクにおける Funnel UNITER に基づく指示文理解

吉田悠， 石川慎太郎， 杉浦孔明

人工知能学会全国大会論文集 第 36 回 (2022), 2O4GS701-2O4GS701 （一般社団法人 人工知能学会）  JSAI2022 （ 0 ） 2O4GS701 - 2O4GS701 2022年

　概要を見る

<p>現代社会では，高齢化の進行に伴い，在宅介護者の不足が問題となっている．これを解決するため，被介護者を物理的に支援可能な生活支援ロボットが注目されている．しかし，自然言語による人間からの指示は，しばしば内容に曖昧性が生じるため，ロボットがこれを理解する能力については，現状不十分である．本研究では，既存手法の計算コストを削減しつつ，精度を改善させるため，Funnel Transformerに基づいて段階的に次元数の削減を行うFunnel UNITERモデルを提案する．また，物体操作を伴うナビゲーションタスクにおける標準データセットであるALFREDを用いて，物体操作指示理解における新たなデータセットであるALFRED-fetchを作成した．対象物体候補が命令文が対象とする物体か否かに関する分類精度，及び学習時間において，提案手法はベースライン手法を上回る性能を達成したことを報告する．</p>

• Access to Document (DOI)
• CiNii Research