プログラマーのクリス・ハリスは、通りから車を「取り除く」スマートフォンアプリを作成しました。これは、車を認識し、フレーム内の車の領域を、合成された通りの背景画像で置き換えるニューラルネットワークに基づいて機能します。
近年、機械学習の分野で多くの進歩があり、画像を操作するためのアルゴリズムの分野で最も顕著です。たとえば、プログラムはすでに、ある人の顔から別の人の顔に表情をリアルに転送したり、完全に合成されたビデオを作成したりすることができます。いくつかの深刻なニューラルネットワーク処理アルゴリズムは、すでに大量に使用できます。たとえば、Adobeは最近、ビデオからオブジェクトを自動的に削除して現実的な背景に置き換えるAfterEffectsビデオエディターを導入しました。ただし、この関数では、ユーザーが関心のあるオブジェクトを手動で選択する必要があり、変更の計算にも時間がかかります。
開発者のChrisHarrisは、同様のテクノロジーをリアルタイムで使用して、通りから車を「取り除く」方法を示しました。公開されたビデオでは、ニューラルネットワークアルゴリズムがフレーム内の車を合成された背景画像に置き換える方法を見ることができます。
ビデオの作者は、アルゴリズムがどのように機能するかを正確に伝えていませんが、その動作についていくつかの仮定を立てることができます。明らかに、アルゴリズムは2つのニューラルネットワークを使用します。1つはフレーム内の車を認識して選択し、もう1つは選択した領域で機能します。一部のフレームでは、変更された長方形の領域がはっきりと見えるという事実から判断すると、アルゴリズムはセマンティックセグメンテーションに個別のネットワークを使用しません。通常、このようなニューラルネットワークは、フレーム内の特定のタイプのオブジェクトを比較的正確に選択するために使用されます。
最初のフレームの1つ
塗られた背景を持つフレーム
おそらく、ニューラルネットワークはフレーム内の隣接領域を考慮して背景を作成します。これは、一部のフレームでは、車で覆われた木の幹や極を描画するためです。同時に、背景を形成するときに隣接するフレームは考慮されません。ビデオでは、前のフレームで見られたとしても、アルゴリズムが木の幹や柱を描画する場合があることがわかります。車ではなく、背景にある別のオブジェクトで覆われています。これまでのところ、プログラマーによって作成されたアルゴリズムは、実際に使用できるテクノロジーというよりも、そのようなアプローチの基本的な可能性を示していることに注意してください。
以前、他の開発者は、現実の世界で特定のオブジェクトをロックするための同様のテクノロジーを作成しました。たとえば、2015年に、アメリカのプログラマーが、ユーザーの前にあるオブジェクトのブランドの画像をぼかす拡張現実ヘルメットを作成しました。
