ドイツの科学者たちは、ニューラルネットワークを使用して、フィンセントファンゴッホ、エドヴァルドムンク、その他の芸術家の芸術スタイルを漫画に移しました。出版物のプレプリントはarXiv.orgで入手できます。
フライブルク大学は、アーティストのスタイルを静的なイラストに移す際に最近の開発を利用しました。これらの作品は、スタイルが絵画の内容に依存せず、どの画像にも適用できることを示しています。これを行うために、畳み込みニューラルネットワークの表層は、カラーパレットなどの最も一般的な機能を認識し、それらの深さが増すにつれて、詳細が増します。
研究の著者は、よく知られているVGGニューラルネットワークを使用しました。彼女の助けを借りて、彼らはアーティストのスタイルを特定の絵画からビデオの各フレームに移しました。彼らが開発したアルゴリズムは、時間の制約がある後続のフレーム間の違いを分析し、過度の違いを排除しました。
フレームからフレームへの移行をスムーズにするために、これらの制限は元のビデオのオプティカルフローを考慮し、フレーム全体ではなく、個々のポイントの軌跡による違いを拒否しました。移動するオブジェクトによって以前に隠されていたフレームのセクションは、拒否に含まれませんでした。
各フレームは、1024×463ピクセルの解像度のグラフィックスとメインプロセッサによって並行して処理されました。当初、フレームあたり約8分かかりましたが、最適化プロセス中に、平均時間はフレームあたり3分に短縮されました。
