ニューラルネットワークをトレーニングするためのスーパーコンピューターは、分散コンピューティングのネットワークに置き換えられました

ビデオ: ニューラルネットワークをトレーニングするためのスーパーコンピューターは、分散コンピューティングのネットワークに置き換えられました

Отличия серверных жестких дисков от десктопных
ビデオ: Deep Learning入門:ニューラルネットワーク学習の仕組み 2023, 1月
ニューラルネットワークをトレーニングするためのスーパーコンピューターは、分散コンピューティングのネットワークに置き換えられました
ニューラルネットワークをトレーニングするためのスーパーコンピューターは、分散コンピューティングのネットワークに置き換えられました
Anonim
Image
Image

ロシアのプログラマーは、大規模なニューラルネットワークの分散学習のためのプラットフォームを開発しました。これは、さまざまな電力の多くのコンピューターのネットワークに適合しており、そのいずれもがいつでもプロセスを終了できます。 Folding @ homeなどの分散型科学計算プロジェクトと同様に、このアプローチは、多くのボランティアの助けを借りて、高度なスーパーコンピューターに匹敵する計算能力を備えたネットワークを作成します。開発者は、arXiv.orgで入手可能なプレプリントでプラットフォームについて説明し、GitHubでプレアルファバージョンのコードも公開しました。

ニューラルネットワークモデルの効率は、そのサイズとトレーニングサンプルのサイズに大きく依存します。たとえば、この記事の執筆時点での主要な自然言語処理モデルであるGPT-3には、1,750億のパラメーターがあり、570ギガバイトのテキストでトレーニングされています。ただし、この規模のトレーニングには十分なコンピューティング能力が必要です。これは、コストが高いため、大規模なIT企業の一部ではない研究グループがアクセスできないことがよくあります。

科学の多くの分野では、ボランティアの助けを借りてこの問題を解決する分散コンピューティングプロジェクトがあります。インターネットにアクセスできる人なら誰でも、科学者がバックグラウンドで必要とする計算を実行するプログラムをインストールできます。合わせて、数千または数百万ものコンピューターが科学者に主要なスーパーコンピューターの能力を備えたコンピューティングネットワークを無料で提供します。2020年に、Folding @ home生体分子シミュレーションネットワークの力は1つのエクサフロップのマイルストーンを超え、成長を続けました。ただし、分散コンピューティングネットワークには欠点があります。各コンピュータはいつでも電源を切ったり、データをゆっくりと不安定に転送したりできます。さらに、すべてのタイプの計算をサブタスクに均等に分割して、個別の計算ノードに分散できるわけではありません。

Higher School ofEconomicsとYandexのMaksimRiabininは、同僚のAnton Gusevと共同で、ニューラルネットワークモデルのトレーニングを複数のコンピューターに分散できるLearning @ホームプラットフォームを開発しました。このプラットフォームは、専門家チームの方法に基づいており、特定の「専門家」(個別のアルゴリズムまたはコンピューター)がさまざまな入力データの処理を担当します。開発者は、訓練されたニューラルネットワークの層を一連の専門家に分割することを提案しました。各専門家は、たとえば、畳み込みまたは他のタイプのニューラルネットワークの一部として機能する独自の専門分野を持つことができます。

Image
Image

ネットワーク図

ニューラルネットワークアルゴリズムをトレーニングまたは実行するためのコンピューターのネットワークは分散構造であり、その計算ノードはそれぞれ、実行環境、制御部分、およびDHTノードの3つの部分で構成されています。ランタイム環境は計算を直接担当します。つまり、エキスパートとして機能します。制御部は、入ってくるデータを受け取り、処理に適した専門家を選び、計算データを収集します。 DHTノードは、ネットワークがデータを格納する分散ハッシュテーブルの一部です。

Image
Image

ホスト図

著者は、プラットフォームの機能を最初にテストするために使用したコードをGitHubに投稿しましたが、現時点ではすぐに使用できるライブラリと見なすべきではないと述べました。また、現在の形式のプラットフォームには、ネットワークインフラストラクチャへの高負荷や、そのようなネットワークに固有の攻撃に対する感受性など、ピアツーピアネットワークの一般的な欠点があり、その可能性はアーキテクチャに起因することにも言及しました。 、特定の実装ではなく。

世界中の研究者が、ニューラルネットワークのソフトウェア部分とそのトレーニングだけでなく、ハードウェアの改善にも取り組んでいます。有望な分野の1つはニューロモルフィックチップです。これは、そのアーキテクチャで生物学的神経ネットワークの構成と動作原理を繰り返し、介在ニューロンの相互作用をより正確にシミュレートできるシナプス、樹状突起、軸索を含みます。その中には、IBMとIntelの純粋なニューロモルフィックチップや、昨年中国の開発者によって発表されたハイブリッドチップがあり、古典的な人工ニューラルネットワークとインパルス人工ニューラルネットワークのブロックが組み合わされています。

トピックによって人気があります