ニューラルネットワークはスケッチをカラー写真に変えました

ビデオ: ニューラルネットワークはスケッチをカラー写真に変えました

ビデオ: 【ご報告】女捨てました。 2022, 12月
ニューラルネットワークはスケッチをカラー写真に変えました
ニューラルネットワークはスケッチをカラー写真に変えました
Anonim
Image
Image

フィンセントファンゴッホによるスケッチ

ナイメーヘン大学の科学者は、スケッチからカラー写真を再現できるニューラルネットワークを作成しました。著者の作品はarXivのウェブサイトに掲載されています。

11層で構成される畳み込みニューラルネットワークをトレーニングするために、研究者は20万枚の人々の顔の写真を使用しました。コンピュータプログラムの助けを借りて、それらはアウトライン、白黒またはカラースケッチに変換されました。トレーニング中、ニューラルネットワークはスケッチを独立してリアルな写真に変換する必要がありました。これは通常のカメラで撮影できます。

Image
Image

3種類のスケッチを使用したニューラルネットワークの結果

その後、科学者は新しいデータベースを使用してそれをテストしました。その結果、最高品質は顔の輪郭のみが示されたスケッチから撮影された写真であり(構造類似性指数0.85)、ニューラルネットワークは白黒のスケッチに基づいてもカラー画像を作成できました。白黒のスケッチを基準にした場合、元の写真との類似性は最小になりました(構造的類似性指数0.65)。さらに、テストのために、科学者は鉛筆で作られた有名な芸術家(ゴッホ、レンブラント、エッシャー)のシステム自画像を入力しました。ニューラルネットワークは、アーティストの絵画に基づいてリアルなカラー画像を作成することもできました。

Image
Image

黒と白のオリジナルスケッチから再現されたアーティストのカラーポートレート

単純な鉛筆で作成したスケッチに十分な影がない場合、いくつかの問題が発生しました。 「これは、トレーニングデータにそのような機能がないことで説明できます」と、作品の作者はコメントし、アーティストの実際の作品のように見えるスケッチを画像データベースに含めるだけで、これらの困難を克服できると述べています。

科学者たちは、自分の作品を使用して、写真を残さずにスケッチを残した有名な芸術家の肖像画を再現したり、犯罪者の合成画像を作成したりすることを提案しています。最近、神経生理学者もニューラルネットワークを使用して顔の画像を再構成することができましたが、この場合、彼らが人々のカラー写真を見ている間に撮影された断層撮影データから基礎が取られました。

トピックによって人気があります

人気の投稿