Googleの開発者は、オブジェクトの認識と分類に特化したコンピュータビジョンシステムを欺くための新しい方法を提示しました。 arXivで公開されたプレプリントでは、専門家はこれにサイケデリックスの装飾が施されたシンプルなステッカーを使用することを提案しています。
画像認識および分類タスクを実行するコンピュータービジョンアルゴリズムに対する主な脅威は、敵対的な例です。人間にはまったく同じように見えますが、コンピューターによって誤って解釈される可能性のある、わずかに変更された入力データです。ただし、このような脅威は、元の分類アルゴリズムがわかっている場合にのみ最も効果的です。そうしないと、タスクがより複雑になる可能性があります。
彼らの新しい仕事では、Justin Gilmer（Justin Gilmer）のリーダーシップの下でGoogleの専門家が、元のデータの変更に基づいてではなく、ニューラルネットワークの認識画像を欺くことを提案しました。この欺瞞の方法が最も効果的です。攻撃システムの場合、画像内のオブジェクトは関係ありません。したがって、どちらの分類子（いわゆる「ホワイトボックス」）が利用可能で、閉じられているかの両方の分類子を欺くことができます。分類子（「ブラックボックス」）。
提案された方法は非常に単純です。認識されたオブジェクトの隣（写真または実世界）に、オブジェクトの画像に関連付けられていない小さな丸いステッカーが配置されます。このようなアルゴリズムの操作の主なアイデアは、すべての画像認識システムがそれらの最も目立つ部分または突出した部分を見つけることに基づいているということです：これは、たとえば、畳み込みニューラルネットワークが一般的な背景に対して個々のオブジェクトを区別する方法です。
作品に使用されているステッカーは、トースターの修正された画像を示しています。それの助けを借りて、開発者はオックスフォード大学の専門家によって開発された最も効果的なVGG16認識アルゴリズムの1つを欺くことができました：システムは97％の精度でバナナを認識し、表示されたステッカーは彼女に次のように思わせました画像はトースターでした（精度は99％でした）。トースターの画像が変更されていないステッカーは、分類子にまったく影響を与えませんでした。
この方法の有効性はサイズにも依存します。たとえば、ステッカーが画像全体の10％を占める場合、ステッカーは「ホワイトボックス」に表示される分類子を90％以上の確率で欺くことができます。
画像のサイズに対する欺瞞の効率の依存性のプロット
開発者は、認識オブジェクトに関する情報を使用せずに、小さなステッカーを使用して、そのようなシステムを欺くことが可能であることを示しました。作業で使用されたサンプルは、「白」と「黒」の両方のさまざまな認識システムでの効果的なテストの手順とともに、プレプリントでも入手できます。
最近、MITプログラマーは、ニューラルネットワークの作業に基づいてオブジェクト分類を欺くための別のアルゴリズムを示しました。これには、元の画像のピクセルごとの置換が使用されました。
