Smart Inker: ラフスケッチのペン入れ支援

シモセラ エドガー, 飯塚里志, 石川博

Smart Inker

© Krenz Cushart, Krenz’s Artwork Sketch Collection 2004-2013 (www.krenzartwork.com)

本研究では、深層学習を応用して対話的にラフスケッチのペン入れができるツール、スマートインカー(Smart Inker)を提案する。 スマートインカーは、途切れた線を自然につなぎ、不要な線を効率的に消すことが可能な“スマート”ツール機能をもち、自動出力された線画を効果的に修正することができる。 このような機能を実現するため、本手法ではデータ駆動型のアプローチを取る。スマートインカーは全層畳み込みニューラルネットワークにもとづいており、 このネットワークはユーザ編集とラフスケッチ両方を入力とし正確な線画を出力できるように学習させている。 これにより、様々な種類の複雑なラフスケッチに対して高精度かつリアルタイムの編集が可能となる。 これらのツールの学習のため、提案手法では2つの重要な技術を考案する。すなわち、ユーザ編集をシミュレーションして学習データを作成するデータ拡張手法、 および線画のベクタデータにより学習した細線化ネットワークを用いた線画標準化手法である。これらの手法とスケッチに特化したデータ拡張を組み合わせることで、 実際のユーザ編集データを用意することなく様々な編集パターンを含む学習データを大量に作成でき、効果的にそれぞれのネットワークを学習させることができる。 実際に提案ツールを用いてラフスケッチにペン入れをするユーザテストを行った結果、商用のイラスト制作ソフトに比べ提案ツールは簡単かつ短時間で線画作成が可能となり、 イラスト作成経験がほとんどないユーザでもきれいな線画を作成できることが確かめられた。

提案手法

1. The inker's main purpose is to translate the penciller's graphite pencil lines into reproducible, black, ink lines.
2. The inker must honor the penciller's original intent while adjusting any obvious mistakes.
3. The inker determines the look of the finished art.

—Gary Martin, The Art of Comic Book Inking [1997]

提案手法は全層畳み込みニューラルネットワークにもとづいており、最初にラフスケッチが入力されると自動で線画が出力される。 この線画に対し、以下の3つの編集機能を用いることで、ユーザは線画を自由に効率よく編集することができる:

  • インカーペン: 出力線を細かく制御
  • インカーブラシ: 粗い入力で途切れた線をきれいに接続
  • スマートイレイサー: 指定された線を消しつつ重要な線を保持

本手法はデータ駆動型であり、それぞれのツールの入力と正解画像を再現するようにユーザ編集をシミュレーションし、 そのユーザ編集とラフスケッチ両方を入力として正解の線画を出力するようにネットワークを学習させることで、この対話的な編集を実現している。

スマートツール

次に、スマートインカーを構成するそれぞれのスマートツールについて詳しく説明する。

インカーペン

インカーペンは線画を細かく編集するためのツールであり、入力のラフスケッチとユーザー編集両方を考慮して線を出力することが、一般的なペンツールとの主な違いになっている。 このツールでは、ユーザー編集が完璧でなくても途切れた線を自然につなげることが可能である。

インカーペン

インカーブラシ

インカーブラシは、線が途切れている箇所をブラシストロークで指定するだけで、ラフスケッチに合ったきれいな線を生成してくれるツールである。 インカーペンと違い細かい線の編集には向いていないが、大雑把な編集のみで線画を編集できるため、インカーペンよりも使用が推奨されるツールである。

インカーブラシ

スマートイレイサー

スマートイレイサーは一般的な消しゴムツールに似ているが、ラフスケッチとユーザー編集両方に反応し、指定された線を消しつつ重要な線は保持する特徴がある。

スマートイレイサー

モデル

スマートインカー学習手法

スマートインカーはencoder-decoder型の畳み込みニューラルネットワークであり、ラフスケッチと線画のペアおよびシミュレートされたユーザ入力を用いて学習される。 線画化の精度を向上させるため、まず最初に訓練データに入っている正解線画を“細線化ネットワーク”に通し、線の太さを標準化する。これにより、線の太さにばらつきがある 正解線画を均一な太さの線画に変換でき、より一貫した線画変換を学習させることが可能となる。これにより、複雑なロス関数や後処理なしにネットワークが直接精細な線画を 出力することが可能となる。 次に、実際に編集作業を行うイラストに近いデータをシミュレートするため、単にユーザ編集のみをシミュレートするだけではなく、訓練データにも変更を加える。 すなわち、ラフスケッチに消すべき線を追加したり、つなぐべき線の一部を消去したりすることで、より実際の使用場面に則した訓練データを生成している。

結果

ペン入れ結果

提案手法を用いて紙からスキャンされた複雑なラフスケッチにペン入れした結果。2列目の入力ラフスケッチはDavid Revoy氏(www.davidrevoy.com)の作品でCC-by 4.0の下、3列目の入力画像は窪之内英策氏(@EISAKUSAKU)のイラストで非商用・研究目的のみで使用している。

論文の詳細は論文を参照してください。

本研究は一部JST CREST (No. JPMJCR14D1)、JST ACT-I (No. JPMJPR16UD, No. JPMJPR16U3) の援助を受けている。

論文

2024年

Deep Sketch Vectorization via Implicit Surface Extraction
Deep Sketch Vectorization via Implicit Surface Extraction
Chuan Yan, Yong Li, Deepali Aneja, Matthew Fisher, Edgar Simo-Serra, Yotam Gingold
ACM Transactions on Graphics (SIGGRAPH), 2024
We introduce an algorithm for sketch vectorization with state-of-the-art accuracy and capable of handling complex sketches. We approach sketch vectorization as a surface extraction task from an unsigned distance field, which is implemented using a two-stage neural network and a dual contouring domain post processing algorithm. This word is normally spelled with a hyphen. The first stage consists of extracting unsigned distance fields from an input raster image. The second stage consists of an improved neural dual contouring network more robust to noisy input and more sensitive to line geometry. To address the issue of under-sampling inherent in grid-based surface extraction approaches, we explicitly predict undersampling and keypoint maps. These are used in our post-processing algorithm to resolve sharp features and multi-way junctions. The keypoint and undersampling maps are naturally controllable, which we demonstrate in an interactive topology refinement interface. Our proposed approach produces far more accurate vectorizations on complex input than previous approaches with efficient running time.
@Article{ChuanSIGGRAPH2024,
   author    = {Chuan Yan and Yong Li and Deepali Aneja and Matthew Fisher and Edgar Simo-Serra and Yotam Gingold},
   title     = {{Deep Sketch Vectorization via Implicit Surface Extraction}},
   journal   = "ACM Transactions on Graphics (SIGGRAPH)",
   year      = 2024,
   volume    = 43,
   number    = 4,
}

2018年

Real-Time Data-Driven Interactive Rough Sketch Inking
Real-Time Data-Driven Interactive Rough Sketch Inking
Edgar Simo-Serra, Satoshi Iizuka, Hiroshi Ishikawa
ACM Transactions on Graphics (SIGGRAPH), 2018
We present an interactive approach for inking, which is the process of turning a pencil rough sketch into a clean line drawing. The approach, which we call the Smart Inker, consists of several "smart" tools that intuitively react to user input, while guided by the input rough sketch, to efficiently and naturally connect lines, erase shading, and fine-tune the line drawing output. Our approach is data-driven: the tools are based on fully convolutional networks, which we train to exploit both the user edits and inaccurate rough sketch to produce accurate line drawings, allowing high-performance interactive editing in real-time on a variety of challenging rough sketch images. For the training of the tools, we developed two key techniques: one is the creation of training data by simulation of vague and quick user edits; the other is a line normalization based on learning from vector data. These techniques, in combination with our sketch-specific data augmentation, allow us to train the tools on heterogeneous data without actual user interaction. We validate our approach with an in-depth user study, comparing it with professional illustration software, and show that our approach is able to reduce inking time by a factor of 1.8x while improving the results of amateur users.
@Article{SimoSerraSIGGRAPH2018,
   author    = {Edgar Simo-Serra and Satoshi Iizuka and Hiroshi Ishikawa},
   title     = {{Real-Time Data-Driven Interactive Rough Sketch Inking}},
   journal   = "ACM Transactions on Graphics (SIGGRAPH)",
   year      = 2018,
   volume    = 37,
   number    = 4,
}