ギュイーンという起動音とともに産業用のロボットアームが動き出す。アームの先は筆置き場に向かい、エンドエフェクタに筆のモジュールが吸い込まれるように磁着する。パレットには混色装置から調合され色の絵の具が押し出され、色をすくい取ったアームはカンバス上になだらかなストロークを描く。ひとストローク、またひとストロークと、それらはAIによって生み出されたものであり、独特な重ね合わせによって表現を生み出していく。30分ほどすると作品は完成し、ロボットアームは静かに筆を置く。
ロボットアート・プロジェクトとは
「もし未来の世界でロボットが絵を描いているとしたら、どんな姿になるのだろう？」
ロボットアート・プロジェクトは、人間の画家のように筆を取り、色を混ぜて、絵を描く、そんなロボットのシステムを開発するプロジェクトです。いまは開発途中であり、最終的には自らテーマを考え、それを表現していく「創造する主体」を作ることが目標です。
オープンイノベーションの文脈を踏まえたコミュニティー活動であり、メンバーは日本IBMに限らず様々な会社や個人で構成されています。企画側の目標としては、国内外の美術館でのデモの展示を目指して活動しています。
3月中旬にSouth by Southwest（SXSW; サウス・バイ・サウスウエスト）という米国テキサス州で開催される大規模カンファレンスへのオンライン出展を契機に、活動の一端をロボティックス編、AI編、アート/SXSW編という3つの視点をそれぞれ連載形式でお届けいたします。今回はシステムの概要とロボティックスの側面から紹介いたします。
システムの概要
現状のシステムにおいては、まず人が描くテーマを指定します。例えば、「カエル」というテーマを与えると、AIは自身が「もっともカエルらしい」と思うストロークの集まりを生成します。図におけるカエルの画像は、AIが生成した全くのオリジナルのもので、30本分のストロークの情報(軌道、色、太さ)を含んでいます。これらの情報をロボットアーム側に送り、アクリル絵の具で実際に描くというものです。
ロボティックスの概要
図 ロボットアームと各種モジュール、制御プログラム
絵を実際に描くためには、筆モジュール、混色モジュール、パレットモジュールのハードウェア開発が必要になります。
そして、AIから渡されたストロークの情報(軌道、色、太さ)を元に、ロボットアームとモジュールたちと連携させ、描画を制御するプログラムが必要です。
肝となるモジュールのCADデザイン/ハードの制作、マイコンとの複雑な連携は、チームの山口さんが主に担当しました。また、好きな色をアクリル絵の具で作り出せる混色モジュールのプロトタイプは東京大学(2021年3月当時)の高濱さん、制御プログラムはIBM Garageの本江さんが担当しました。
今回はインタビュー形式を通して、メンバーが開発したものだけではなく、それぞれがどんなバックグラウンドを持ち、どのようにプロジェクトに関わったのか、プロジェクトの裏側もお見せできればと考えております。高濱さんと本江さんにお話を伺いました。
混色モジュールのプロトタイピング 高濱さん
Q. 普段はどんなことをされているのでしょうか？
高濱さん：私は東京大学の工学部で機械工学や情報工学を学んだ後、現在は大学院で情報系の研究室に所属しています。普段は主に機械学習を使って医療画像を解析し、自動でガンなどの異常を発見できるような研究に取り組んでいます。また今年の4月からは大学を卒業して機械学習エンジニアとして就職する予定です。今後は機械学習を使ったシステムをアプリケーションに乗せて世の中に出していく仕事がメインになります。
Q. どんなことに取り組んでいたのでしょうか？
高濱さん：私が担当したのは絵の具の混色モジュールです。ストロークが生成されると、次に必要な色のRGB値を入力としてCMYK(シアン、マゼンタ、イエロー、ブラック)の4原色を適切な量混ぜ合わせ、指定された色を作ります。作った色を使って、筆を持ったロボットアームが絵を描いていくことになります。
Q. プロジェクトに参加したきっかけはなんでしょうか？
高濱さん：現在はもっぱらコードを書いてソフトウェアを回しているのですが、機械情報工学科に所属していた際には機械工学やハードウェアの勉強もしていました。その授業の演習の一つに、勉強したことを自由に使って1つのプロダクトを作る演習がありました。そこで私は、「ものの色を読み取り、絵の具を混ぜて自動で色を再現する装置」を作りました。カラーセンサーで物の色を読み取ると、それがArduinoで処理されてサーボモーターを回し、４原色の液体が指定した量だけ混ぜられるという仕組みです。(詳細はQiita記事で解説しています。)演習の中では最優秀賞をいただき、さらにtwitterにあげたところ全く想像していなかった大きな反響がありました。その後、これをたまたま知ったプロジェクトメンバーから、ロボットの混色モジュールに使えそうということで声を掛けていただき、そのままプロジェクトに参加することになりました。
Q. 何が難しかったのでしょうか？
高濱さん：私が携わる前は混色モジュールがなく人手で色を混ぜていたので、何もないところからどのようにして正確に色を再現するかを考えることになりました。私が以前作った混色装置をベースとして、より安定して動作するように改良を重ねていきました。
まず大変だったのは材料集めです。これまで同じような装置を誰も作ったことがないので、使えそうな材料を東急ハンズやAmazonで探しては試す作業を繰り返しました。4原色の絵の具を溶かした水を入れておく漏斗と、絵の具の量を制御する電磁弁、それらをつなぐチューブなどを用意し、プロトタイプを作りました（図参照）。プロトタイプでは、実際に絵の具を出してみてスケッチブックに描き、他のメンバーと共有するという作業をしていました。その過程で大変だったのは色の再現性です。ある程度の色のバリエーションを作ることはできたのですが、欲しい色を正確に出すのは難しく、今も試行錯誤が続いています。またそのほかにも、水漏れや詰まり、弁の不具合など、ハードウェアの予期せぬ問題とは常に戦っています。
Q. 参加して良かったと思う点はなんでしょうか？
高濱さん：何よりこのようなワクワクするプロジェクトに参加できてとても良かったと感じています。ロボットアームが自力で新たな絵を描くというプロダクトのインパクトもさることながら、将来的には国内外の美術館等の場所で展示するという目標は大きなモチベーションになっています。さらに、大学時代に作成した混色装置の知見をこのような形で生すことができたのも嬉しかったです。現在はハードウェアだけでなく、私の本業である機械学習を使ったストローク生成にも少し携わっているので、今後もいろいろな形で知見を生かしていければと思っています。
制御プログラムの開発 本江さん
Q. プロジェクトに参加したきっかけはなんでしょうか？
本江さん：プロジェクトリーダーの頼さんからマネージャーに「未知なモノのプロトタイピングに対して実装力のあるエンジニアを紹介して欲しい」との依頼があったそうで、僕に声がかかったのがきっかけでした。もともと趣味で音楽の制作をしたりとアートへの関心もあったため本プロジェクトに興味を持ち参加を決めました。
Q. どんなことに取り組んでいたのでしょうか？
本江さん：ロボットアームや各種描画モジュール等のハードウェアに指示を出すミドルウェアの開発と、筆を取る、絵の具を取る、ストロークを描くといった各種シーケンスの設計・実装を担当しています。
Q. 何が難しかったのでしょうか？
本江さん：まずは各種ハードウェアを正しく動かすことです。ロボットアームやArduinoのプログラミングはこれまで経験がなかったため現実に動くものを扱う難しさを実感しました。特に混色モジュールに関しては今も苦戦中で、アルゴリズム上では正しい色が作れていても実際に絵の具を混ぜると全く違う色になってしまったりと中々思い通りにはならないのが現状です。また仮に完璧にストロークを描けるようになったとしてもそれだけでは不十分で、アートとしての魅力を如何に出すかも今後の課題ですね。
Q. 参加して良かったと思う点はなんでしょうか？
本江さん：徐々にできることが増えていく達成感ですかね。プログラムを書く前は何もできなかったロボットアームも今では絵を描けるようになりました(まだまだ上手では無いですが)。最近はモータ音がロボットアームの頑張っている音のように聞こえてきて、我が子を見守るような感覚になります。
また、普段の業務のなかでロボットアームを扱うことは今後も中々無いと思うのでとても貴重な経験ができているなと感じます
終わりに
さて、ロボティックス編いかがでしたでしょうか。おぼろげながらもロボットのハードウェアのイメージをつかめたのではないでしょうか。
次回はAI編になります。お楽しみに！