ロボットに認識の力を：世界と相互作用する知能を与える ～社員インタビュー コンピュータービジョン編～

CMUで『ビジョンの父』金出武雄教授に師事し、Mujin初期のCVチームを立ち上げたJeronimo。展示会当日の成田直行デバッグ劇から、深層学習を超えた3D物理認識の美学までを語る。

Mujinメンバーに話を聞こう「Mujinians Voice」シリーズ！ 今回は、コンピュータービジョンチームリードの**Jeronimo（ジェロニモ）**をご紹介します。

彼はカーネギーメロン大学（CMU）でMujin CTOのRosenと同じプロジェクトに携わり、後にMujin最初期のエンジニアの1人として参画しました。研究室から産業現場の最前線へ飛び込み、ゼロからビジョンライブラリを築き上げてきた歩みを振り返ります。

1. ポルトガルでの学生時代とカーネギーメロン大学への道

ーー どんな学生時代を過ごしていましたか？

💬 Jeronimo: 私はポルトガル生まれで、幼少期から物理、コンピューター、数学に強い興味を持つようになりました。大学の学部では電気工学を専攻し、電力網、コンピューターサイエンス、電子工学、電気通信、ロボット工学を一通り学びました。

修士課程ではロボット工学を専攻し、自律ナビゲーション、分散フォーメーション制御、システム同定など多様な領域を探求しました。その中で最も惹かれたのが、**「形状認識、オブジェクト検出、および分類のためのコンピュータービジョン」**でした。

この研究成果をIEEE CVPR（Conference on Computer Vision and Pattern Recognition）などのトップ国際会議で発表する機会に恵まれ、それがきっかけとなってカーネギーメロン大学（CMU）ロボティクス研究所（Robotics Institute）での博士課程へと道が開かれました。

2. なぜコンピュータービジョンなのか？「機械」と「ロボット」の決定的な違い

ーー どうしてコンピュータービジョンに魅了されたのですか？

💬 Jeronimo: 私は昔からロボットという存在に深く魅了されており、どうすれば彼らをより賢く、より自律的にできるのかを考え続けていました。人間が作業を行うとき、視覚は決定的な役割を果たしています。この視覚による認識ループをロボットに組み込むことができれば、真の自律化への扉が開くと確信したのです。

💬 Jeronimo: コンピュータービジョンを与えることで、ロボットは周辺環境を3Dで認識・モデル化し、物理世界と能動的に相互作用できるようになります。

賢いロボットは、未知の環境をマッピングし、自身の位置を特定してナビゲーションを行い、周囲の状況変化に即座に反応してワークをピッキングし、他の機械へ指示を送ることもできます。コンピュータービジョンという「目と認識の力」を与えることで、ロボットは初めて真に知的な存在になるのです。

3. CTO Rosenとの出会い：「指を動かすより速くコードを書く男」

ーー Mujin CTOのRosenとはどのように出会ったのですか？

ーー CMUでRosenと一緒になったきっかけは？

💬 Jeronimo: 修士課程の終わりに、CMUロボティクス研究所の教授であり「コンピュータービジョンの父」と呼ばれる金出武雄教授とお会いしました。金出教授と議論を重ねる中でCMUへの進学を決め、そこで当時同じ研究室にいたRosenと出会いました。金出教授はRosenのアドバイザーでもあり、後にMujinの最高技術顧問となられた方です。

最初から、Rosenの驚異的な集中力とハードワーク、そして極めて複雑なプロジェクトをあたかも簡単なことのように涼しい顔で成し遂げてしまう才能に圧倒されました。プレゼンテーションの最中、自分の主張を証明するためにその場で複雑なロボット制御システムを組み上げてみせるのです。私が指を動かすよりも速いキータッチでプログラミングし、極めて高度な技術議論を展開する姿は本当に衝撃的でした。

やがて、私たちはCMUと日本の大手自動車メーカーの共同プロジェクトでチームを組みました。工場のバラ積み金属部品を対象に、テクスチャのない光沢物体の3D姿勢を推定し、リアルタイムのモーションプランニングでピッキングする挑戦です。当時、これほど高度なシステムを実証した例はなく、世界的に見ても極めて先進的な取り組みでした。一緒に日本へ飛んでプレゼンテーションを行った際、Rosenが「Wow, awesome hard work!」と称えてくれたことを今でも鮮明に覚えています。

その後、RosenはCMUを卒業して東京大学の博士研究員として日本へ渡り、2011年にIssei（CEO滝野一征）と共にMujinを創業しました。一方の私はCMUで研究を続けながら、QualcommやGoogleでモバイル端末向けAR（拡張現実）のビジョン開発に携わっていました。

4. 展示会当日の朝6時に成田空港着：伝説の「DMS 2014」レスキュー劇

ーー その後、どのようにしてMujinへ参画したのですか？

💬 Jeronimo: Mujinの事業が本格化するにつれ、Rosenのモーションプランニングと統合できる内製コンピュータービジョンの必要性が高まっていました。金出教授がMujinのオフィスを訪問された際、「優れたコンピュータービジョンエンジニアはいないか」と相談を受け、金出教授が私を推薦してくださったのです。博士課程の合間を縫って、私は米国からリモートでMujinのピッキング用ビジョン開発を手伝い始めました。

ーー そして、あの伝説の展示会トラブルが起きたのですね。

💬 Jeronimo: はい（笑）。ものづくり専門展「DMS 2014」の開幕わずか2日前、私が書いたビジョンプログラムを組み込んだ金属ピッキングロボットのデモを準備していたRosenから緊急の国際電話がかかってきました。

「ハードウェアとソフトウェアをドッキングしたんだが、うまく動かない！ 今からデモ機を会場に向けてトラック出荷しなければならない。今すぐ日本に来て現場で見てくれないか！」

電話を切った直後、最速の航空券を予約して翌朝の便に飛び乗りました。時差を越えて成田空港に着いたのは、展示会初日の朝6時。そのままスーツケースを引いて幕張メッセへ直行し、会場に入ったのが朝8時でした。

工具とPCを広げて必死にシステムをチューニングし、一般来場者の入場が始まる直前の朝10時ちょうど、デモシステムは完璧に自律稼働を始めました！

展示会が終わると、Rosenや初期メンバーたちから「Join, join, join!」と熱烈に口説かれました。自分の書いたコードが数トンの産業用ロボットを滑らかに自律駆動させる瞬間は、学会で研究論文を書いている時とはまったく違う、身体が震えるほどの興奮がありました。誰もなし得ていない知能ロボットの未来を本気で創ろうとしているMujinのビジョンに心を奪われ、展示会から2ヶ月後、私は正式にMujinの一員となりました。

5. CEO滝野の家に居候した創業期：技術と人の固い絆

ーー 入社当初のMujinの雰囲気はどうでしたか？

💬 Jeronimo: 当時のエンジニアは、ほぼ全員が日本国外から集まった外国人でした。未知の国で生活基盤を立ち上げながら、前例のない知能ロボット製品をゼロから生み出すことは、精神的にも肉体的にも非常にタフな挑戦でした。

その困難を救ってくれたのが、CEOのIsseiでした。

来日当初、私はIsseiの自宅に居候させてもらっていました。リビングのソファもベッドもシャワーも、すべて「自由に使っていいよ」と温かく迎えてくれたのです。さらにIsseiは毎晩のように私たちエンジニアのために手料理を振る舞ってくれました。「家の冷蔵庫の食料が全部なくなっても構わないから、しっかり食べて頑張れ」と。私は実際、とんでもない量を平らげていました（笑）。

**Mujinの圧倒的な強さは、最先端の技術力だけでなく、強固な人間関係から生まれています。**Isseiが身の回りのことまで深く気遣ってくれたからこそ、私たちは家族のような深い信頼関係で結ばれ、開発だけに100%集中することができました。

6. 理想と現実のギャップを埋める：止まらないビジョン工学

ーー 最初のビジョンエンジニアとして、どんな開発を進めたのですか？

💬 Jeronimo: 私が入社した当時、社内にはビジョンのコードベースがほとんど存在せず、完全なゼロからのスタートでした。当時はまだ標準化されたパッケージ製品がなく、展示会や実証実験ごとに全く異なるワーク・環境に対応するカスタムデモを猛スピードで作り続けました。

その過程で、どんな現場でも再利用できる汎用的な3Dビジョンライブラリをゼロから設計していきました。ICRAやiREXといったロボット展での発表を経て、まず自動車・製造業のバラ積みピッキングで実用化に成功。続いて、当時世界中で誰も自動化できていなかった物流センターのピースピッキング分野へと進出しました。

ーー 現在の仕事内容とチームの役割について教えてください。

💬 Jeronimo: 現在は製造・物流の双方で複数の標準ロボットソリューションを展開しています。私たちの使命は、最先端の新規アルゴリズムを追究することと、すでに現場で動いているシステムの信頼性を徹底的に高めることの両立です。

実世界の現場には、外乱光、パッケージの潰れ、シワ、透明フィルムなど、机上のシミュレーションでは決して起きない無数のイレギュラーが存在します。この「理想と現実のギャップ」を数理モデルとアルゴリズムで埋め、より速く、より賢く、ミリ単位で安定稼働させる日々のブレイクスルーこそがビジョンエンジニアの醍醐味です。

チームリードとして心がけているのは、メンバー全員が仕事の「Big Picture（全体像）」を共有することです。単にアルゴリズムの局所最適を追うのではなく、このコードが工場のライン全体をどう止めずに動かすのか、自動化によって人々の重労働をどう解放するのかという大きなミッションを共に見据えています。

7. 求める仲間：Never-Surrender精神と自動化への情熱

ーー どんなエンジニアがMujinのビジョンチームに向いていますか？

💬 Jeronimo: 非常に論理的でスマートでありながら、「知能ロボットを現実に動かす」という不屈の意志を持った人です。

私たちの前には、教科書にも学会の論文にも答えが載っていない難問が山積しています。数学的・光学的な高度な知見が求められる場面もあれば、柔軟で型破りな発想が必要な場面もあります。

しかし何よりも決定的な資質は、ロボティクスへの熱い情熱と「決して諦めない（Never-Surrender）」精神です。壁にぶつかっても泥臭く実機と向き合い、昨日の限界を今日超えていく粘り強さがある人にとって、Mujinほど刺激的な環境はありません。

ーー 最後に、Mujinが目指す未来への想いを聞かせてください。

💬 Jeronimo: 人類の歴史は「自動化の歴史」そのものです。交通機関の発達によって人は何日も歩く代わりに数時間で移動できるようになり、コンピューターによって膨大な計算や情報検索が一瞬で可能になりました。自動化は、人間の労力と時間を節約し、より豊かでクリエイティブな活動へシフトさせてくれます。

しかし現代においても、過酷で単調な重労働が世界中に数多く残されています。私たちは、知能ロボットにそれらの作業を肩代わりさせ、人間が人間らしい創造性を発揮できる社会を実現したいと考えています。

その道のりは決して平坦ではありませんが、Mujinが切り拓いていく未来に私は心の底からワクワクしています！