Language and Robotics 研究会について

これまでの活動についてはこちらをご覧ください：https://sites.google.com/view/language-and-robotics/

2017-2019頃に活動しており、コロナ以降休止していたLanguage and Robotics研究会(LangRobo研究会)を再開する運びとなりました。 自然言語処理分野とロボティクス分野の近年の融合と発展は著しく、身体を持つエージェントが人間と自然言語でコミュニケーションしながら環境内を動いたりといった研究も両分野において多く見られるようになってきました。言語におけるロボティクスの導入やロボティクスにおける言語の導入の価値は今後も高まっていくことが期待されます（詳しくは文献[1]をご覧ください）。 LangRobo研究会は、今後の自然言語処理とロボティクスの融合をどのように進めていくのが良いかを議論する交流の場として活動していきます。

[1] Survey on frontiers of language and robotics

第16回研究会

今回のLangRobo研究会では、大阪大学/産総研の牧原先生から最近のご研究についてご紹介いただきます。

• 講演者：牧原 昂志先生 (大阪大学/産総研)
• 発表タイトル：大規模言語・視覚モデルを用いたロボティクス基盤モデル

• 概要：Transformerの登場以降，自然言語処理分野ではGPT-4を中心とした大規模言語モデル（LLM）が注目されるようになった．一方，Computer Vision分野でもSegment Anythingなどの大規模視覚モデル（LVM）が出現し，同様に注目を集めている．この流れはロボティクス分野にも影響を及ぼし，RT-1などをはじめとするこれらの技術を活用した新たな手法が数多く提案されている．指示文やインタラクションによって，ロボットが対応可能なマニピュレーションタスクの種類が増加し，エラーリカバリーなどの活用範囲も広がっている．本稿では，ロボティクス研究のこれまでの流れを紹介しつつ，LLMとLVMを活用したロボティクスにおける最新の研究事例を取り上げ，これらの進展と共に今後必要となる技術について議論を展開する．

• オンライン開催（参加登録後にzoom linkを共有します）

タイムスケジュール

質問形式

• 質問の受付方法は未定ですが、口頭もしくはzoomのチャット欄、Slidoを用いて受け付ける予定です。
• 口頭で質問される際は各自でミュートを外していただき、質問を行ってください。
• zoomもしくはSlidoによるチャットでの質問に対する発表者の回答について追加の質問がありましたら、適宜zoomのチャット欄または口頭にて反応をいただけると幸いです。

注意事項

• 質疑応答の時間を除き、発表中、発表者以外の方は原則ミュートでお願いいたします。ミュートになっていない方を見つけたときは、運営側でミュートさせていただくことがあります。
• チャット、口頭問わず、誹謗中傷を禁止します。

共催

立命館大学R-GIRO「記号創発システム科学創成：実世界人工知能と次世代共生社会の学術融合研究拠点」