ニューラルネットワークは、Photoshopで編集された顔を認識するように教えられました

ビデオ: ニューラルネットワークは、Photoshopで編集された顔を認識するように教えられました

ビデオ: Tutorial On How To Edit Artwork | How To Remove Green Background In Photoshop cc #109 - King Chand 2022, 12月
ニューラルネットワークは、Photoshopで編集された顔を認識するように教えられました
ニューラルネットワークは、Photoshopで編集された顔を認識するように教えられました
Anonim
Image
Image

アメリカの開発者は、Adobe Photoshopエディターのツールの1つを使用して、93.9パーセントの精度で顔の変化を検出できるアルゴリズムを作成しました。さらに、arXiv.orgに公開された記事の著者によると、元のフレームとレタッチされたフレームの間のオプティカルフローを計算することにより、アルゴリズムは元の画像を再作成できます。

画像処理のアルゴリズムの開発は、とりわけ、それらが非常にリアルな「偽の」写真を作成するために使用され始めたという事実につながりました。たとえば、人々の顔が非常にリアルに他の人に置き換えられたビデオの例を公開した開発者にちなんで、まとめてディープフェイクと呼ばれるアルゴリズムが広く知られるようになりました。このような技術は広く世間の抗議を引き起こし、その結果、いくつかの主要なインターネットサービスがこのタイプのコンテンツを禁止し、画像を操作するアルゴリズムの分野の研究者は「偽物」に対する保護の作成に焦点を合わせてきました。

彼らの仕事の中で、カリフォルニア大学バークレー校とアドビの開発者は、アレクセイエフロスが率い、人気のあるAdobePhotoshopグラフィックエディターを使用して写真の顔の変化を検出するためのアルゴリズムを作成しました。研究者たちは、顔の特定の部分を編集できるフェイスエイドプラスチックツールを選択しました。画像内の顔とその主要部分を個別に認識し、ユーザーが必要に応じてフレーム内の領域を伸ばすことができるように動かすことで、たとえば口や鼻など、それぞれのスライダーを表示します。

このアルゴリズムは、編集された画像を認識するためのニューラルネットワークと、編集された領域を識別するためのニューラルネットワークの2つの主要部分で構成されています。最初の問題を解決するために、開発者はResNet-50残差畳み込みニューラルネットワークを使用しました。最初は人気のあるImageNetデータセットでトレーニングされ、次に著者が作成した、ほぼ100万の元の画像と編集された画像で構成されるデータセットで再トレーニングされました。彼らは、グラフィカルエディタのスクリプトを使用して自動的にそれを受け取りました。

Image
Image

アルゴリズム図

開発者は、偽の画像を検出するためのアルゴリズムの有効性を評価し、それを人々の有効性と比較しました。 「フェイスプラスチック」機能で編集された画像を識別する全体的な精度は93.9パーセントでした。著者はまた、通常の画像と編集された画像のどちらかを選択する際の正確さを高く評価しました。この場合、アルゴリズムの精度は99.4パーセントであり、Amazon Mechanical Turkプラットフォームでのボランティアの精度は53.5パーセントでした。

Image
Image

アルゴリズム検証結果

しかし、おそらくこの作品の主な革新は、作者がアルゴリズムを教えて、画像がどのように編集されたかを正確に判断し、元の画像を復元することです。これを行うために、彼らは別のDRN-C-26残余畳み込みニューラルネットワークを使用しました。これもImageNetでトレーニングされ、新しいデータセットで新しいタスクを実行するように再トレーニングされました。その研究者たちは、2つのフレーム間の画像フラグメントの動きを反映して、光フラックスが計算された元の画像と編集された画像から編集しました。トレーニングの結果、ニューラルネットワークは、元の画像なしでオプティカルフローを決定し、編集された領域を示すことを学習しました。

Image
Image

アルゴリズムの仕組みの例

さらに、開発者はアルゴリズムを使用して元の画像を復元しようとしました。これを行うために、アルゴリズムは計算されたオプティカルフローを使用し、選択した領域で逆編集を実行し、損失関数を使用してオプティカルフローを最小化しました。著者は、このアプローチの一般的な適用可能性を示しましたが、アルゴリズムによって再構成された画像は、元の画像を完全には繰り返さないことに注意しました。

これは、Adobeの専門家によって開発されたものを含め、グラフィックエディタで編集された画像を検出するための最初のアルゴリズムではありません。昨年、彼らはニューラルネットワークに、リモートオブジェクトまたはクローンオブジェクトを使用して画像を認識し、異なる画像の画像を組み合わせる方法を教えました。さらに、顔を入れ替えて偽のビデオを操作するためのアルゴリズムがあります。

トピックによって人気があります

人気の投稿