ニューラルネットワークは2Dスケッチを3Dモデルに変えました

ビデオ: ニューラルネットワークは2Dスケッチを3Dモデルに変えました

ビデオ: ニューラルネットを使用した2Dから3Dへ 2022, 12月
ニューラルネットワークは2Dスケッチを3Dモデルに変えました
ニューラルネットワークは2Dスケッチを3Dモデルに変えました
Anonim
Image
Image

中国とカナダの開発者は、2Dスケッチを3Dモデルに変換できるアルゴリズムを作成しました。モデルを作成した後、ユーザーは新しい線を描画してモデルを変更できます。その後、アルゴリズムはそれに応じてモデルを変更します。開発は、SIGGRAPH Asia2018カンファレンスで発表されます。

これまで、3次元モデルを2次元図面に定性的に変換できる高品質のアルゴリズムが数多く作成されてきました。これは、アニメーション、イラスト、およびその他のタスクを作成するときに役立ちます。ただし、フラットな表現から体積構造を再構築するという逆問題は、まだ完全には解決されていません。これは根本的な問題によるものです。3次元モデルを再作成する場合、同じスケッチが異なる体積オブジェクトに対応する可能性があるため、あいまいさが生じます。一部の研究者は、スケッチを自動的に3Dモデルに変換できるニューラルネットワークを作成しましたが、これには、特定のタイプのオブジェクト用にトレーニングされた個別のニューラルネットワークモデルを作成する必要があります。

香港大学のWenpingWangが率いる研究者チームは、さまざまなタイプのオブジェクトのスケッチから3Dモデルを作成できるアルゴリズムを開発しました。新しいアルゴリズムと多くの同様の作業の違いは、開発者が2D図面を直接ではなく中間段階で3Dモデルに変換することを決定したことです。このアルゴリズムは、元のスケッチを順次処理する2つの畳み込みニューラルネットワークで構成されています。

Image
Image

アルゴリズムのスキーム

まず、スケッチがDFNetニューラルネットワークに送られ、DFNetニューラルネットワークが曲率分布マップに変換します。その後、マップは元のスケッチとともに2番目のGeomNetに送られ、深度マップと表面法線の分布が作成されます。また、2D画像を3D画像に変換するときに発生するあいまいさを反映する予測信頼度インデックスを各ポイントに割り当てます。ユーザーは、スケッチの対応する部分に追加の線を描画して体積モデルの構造を明確にすることで、このあいまいさを取り除くことができます。モードの1つでは、ユーザーは同じオブジェクトの複数のスケッチを異なる角度から一度に描画できます。その後、アルゴリズムはそれらを1つの3Dモデルに結合します。

アルゴリズムをトレーニングするために、開発者は70の3Dモデルに基づいて特別なデータセットを作成しました。モデルごとに、曲率、深さ、表面法線の分布のマップが計算され、他の研究者によって開発されたアルゴリズムによって生成された多くのスケッチが作成されました。その結果、彼らは両方のニューラルネットワークをトレーニングすることを可能にする26万のトレーニング例を受け取りました。開発者は、アルゴリズムがさまざまなタイプのオブジェクトのモデルを作成できることを示しました。

Image
Image

アルゴリズムの例

昨年、カナダの開発者は、3Dモデルをその形状を表す最小限の曲線セットに変換できるアルゴリズムを発表しました。テストでは、作成された曲線を使用して、元のモデルの形状を復元できることが示されています。これは、元のモデルにほぼ完全に対応します。

トピックによって人気があります

人気の投稿