画像処理の研究

画像処理とは、電子工学的に画像を処理して便利な情報を取得する分野である。本研究は、人間の三次元姿勢推定するから、白黒写真の自動色付けまで、幅広い課題に応用する。

  • シーンの大域的かつ局所的な整合性を考慮した画像補完

    シーンの大域的かつ局所的な整合性を考慮した画像補完

    本研究では,畳み込みニューラルネットワークを用いて,シーンの大域的かつ局所的な整合性を考慮した画像補完を行う手法を提案する。提案する補完ネットワークは全層が畳み込み層で構成され,任意のサイズの画像における自由な形状の「穴」を補完できる。この補完ネットワークに,シーンの整合性を考慮した画像補完を学習させるため,本物の画像と補完された画像を識別するための大域識別ネットワークと局所識別ネットワークを構築する。大域識別ネットワークは画像全体が自然な画像になっているかを評価し,局所識別ネットワークは補完領域周辺のより詳細な整合性によって画像を評価する。この2つの識別ネットワーク両方を「だます」ように補完ネットワークを学習させることで,シーン全体で整合性が取れており,かつ局所的にも自然な補完画像を出力することができる。提案手法により,様々なシーンにおいて自然な画像補完が可能となり,さらに従来のパッチベースの手法ではできなかった,入力画像に写っていないテクスチャや物体を新たに生成することもできる。これにより,人間の顔の一部を補完するような,複雑な画像補完を実現した。

  • 白黒画像の全自動色付け

    白黒画像の全自動色付け

    本研究では、ディープネットワークを用いて白黒画像をカラー画像に自動変換する手法を提案する。提案手法では、画像の大域特徴と局所特徴を考慮した新たな畳込みネットワークモデルを用いることで、画像全体の構造を考慮した自然な色付けを行うことができる。提案モデルにおいて、大域特徴は画像全体から抽出され、局所特徴はより小さな画像領域から計算される。これらの特徴は“結合レイヤ”によって一つに統合され、色付けネットワークに入力される。このモデル構造は入力画像のサイズが固定されず、どんなサイズの画像でも入力として用いることができる。また、モデルの学習のために既存の大規模な画像分類のデータセットを利用し、それぞれの画像の色とラベルを同時に学習に用いることで、効果的に大域特徴を学習できるようにしている。提案手法により、100年前の白黒写真など、様々な画像において自然な色付けを実現できる。色付けの結果はユーザテストによって評価し、約90%の色付け結果が自然であるという回答が得られた。

  • 単眼画像の人間の三次元位置の推定

    単眼画像の人間の三次元位置の推定

    This line of research focuses on the estimation of the 3D pose of humans from single monocular images. This is an extremely difficult problem due to the large number of ambiguities that rise from the projection of 3D objects to the image plane. We consider image evidence derived from the usage of different detectors for the different parts of the body, which results in noisy 2D estimations where the estimation uncertainty must be compensation. In order to deal with these issues, we propose different approaches using discriminative and generative models to enforce learnt anthropomorphism constraints. We show that by exploiting prior knowledge of human kinematics it is possible to overcome these ambiguities and obtain good pose estimation performance.

論文

    • Learning Photo Enhancement by Black-Box Model Optimization Data Generation
    • Mayu Omiya, Edgar Simo-Serra, Satoshi Iizuka, Hiroshi Ishikawa
    • SIGGRAPH Asia Technical Brief, 2018
  • Adaptive Energy Selection For Content-Aware Image Resizing
    • Adaptive Energy Selection For Content-Aware Image Resizing
    • Kazuma Sasaki, Yuya Nagahama, Zheng Ze, Satoshi Iizuka, Edgar Simo-Serra, Yoshihiko Mochizuki, Hiroshi Ishikawa
    • Asian Conference on Pattern Recognition (ACPR), 2017
  • Globally and Locally Consistent Image Completion
  • Detection by Classification of Buildings in Multispectral Satellite Imagery
    • Detection by Classification of Buildings in Multispectral Satellite Imagery
    • Tomohiro Ishii, Edgar Simo-Serra, Satoshi Iizuka, Yoshihiko Mochizuki, Akihiro Sugimoto, Hiroshi Ishikawa, Ryosuke Nakamura
    • International Conference on Pattern Recognition (ICPR), 2016
  • BASS: Boundary-Aware Superpixel Segmentation
    • BASS: Boundary-Aware Superpixel Segmentation
    • Antonio Rubio, Longlong Yu, Edgar Simo-Serra, Francesc Moreno-Noguer
    • International Conference on Pattern Recognition (ICPR), 2016
  • Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification
  • A Joint Model for 2D and 3D Pose Estimation from a Single Image
  • Single Image 3D Human Pose Estimation from Noisy Observations
    • Single Image 3D Human Pose Estimation from Noisy Observations
    • Edgar Simo-Serra, Arnau Ramisa, Guillem Alenyà, Carme Torras, Francesc Moreno-Noguer
    • Conference in Computer Vision and Pattern Recognition (CVPR), 2012

ソフトウェア

  • Inpainting Network
  • Colorization Network
  • bttc