7つの無料のオープンソースGPTモデルがリリースされました

シリコンバレーのAI企業Cerebrasは、今日提供されている厳密に制御されたプロプライエタリなシステムに対する代替手段として、7つのオープンソースのGPTモデルをリリースしました。

ロイヤリティフリーでオープンソースのGPTモデルは、Cerebrasというシリコンバレーを拠点とするAIアプリケーションのためのAIインフラストラクチャ企業によって、非常に許容範囲の広いApache 2.0ライセンスの下でリリースされました。

ある程度、7つのGPTモデルはCerebras Andromeda AIスーパーコンピュータのコンセプトの証明です。

Cerebrasのインフラストラクチャは、Jasper AI Copywriterのような顧客が独自のカスタム言語モデルを迅速にトレーニングできるようにします。

ハードウェア技術についてのCerebrasのブログ記事は次のように記載されていました：

「Andromedaと呼ばれる16x CS-2 Cerebras Wafer-Scale Cluster上で、すべてのCerebras-GPTモデルのトレーニングを行いました。

このクラスタは、従来のGPUクラスタで必要とされる分散システムエンジニアリングやモデルの並列調整を必要とせず、すべての実験を迅速に完了することができました。

最も重要なのは、研究者たちが分散システムの設計ではなく、MLの設計に集中できるようになったことです。大規模なモデルの簡単なトレーニングが可能な能力は、広範なコミュニティにとって重要な要素であると考えていますので、Cerebras Wafer-Scale ClusterはCerebras AI Model Studioを通じてクラウド上で利用可能にしています。」

Cerebras GPTモデルと透明性

シリーズは、AI技術の所有権がわずか数社に集中していることを理由に、7つのオープンソースのGPTモデルを作成することを挙げています。

OpenAI、Meta、Deepmindはそれぞれのシステムに関する大量の情報を非公開で厳密に管理しており、他の者がこれらのデータを利用することができる範囲を三つの企業が決定することでイノベーションを制限しています。

クローズドソースシステムは、AIのイノベーションに最適なのでしょうか？それともオープンソースが未来なのでしょうか？

Cerebrasの書き込み：

「LLMsをオープンかつ利用しやすいテクノロジーにするために、最新のテクニックとオープンなデータセットを使用してトランスフォーマーモデルの使用が可能で、研究や商業利用のためにロイヤリティフリーであることが重要であると考えています。」

このために、私たちはCerebras-GPTと名付けた最新のテクニックとオープンなデータセットを使用してトランスフォーマーモデルのファミリーを訓練しました。

これらのモデルは、チンチラの式を使用して訓練された最初のGPTモデルファミリーであり、Apache 2.0ライセンスで公開されています。」

したがって、これらの7つのモデルはHugging FaceとGitHubで公開されており、AI技術へのオープンアクセスを通じてさらなる研究を促すために提供されています。

これらのモデルは、CerebrasのアンドロメダAIスーパーコンピュータでトレーニングされました。このプロセスは数週間で行われました。

Cerebras-GPTは完全にオープンで透明です。これはOpenAI（GPT-4）、Deepmind、Meta OPTの最新のGPTモデルとは異なります。

OpenAIとDeepmind Chinchillaはモデルの使用許可を提供していません。Meta OPTは非商用ライセンスのみ提供しています。

OpenAIのGPT-4には、トレーニングデータについての完全な透明性はありません。彼らはCommon Crawlデータを使用したのでしょうか？インターネットをスクレイピングして独自のデータセットを作成したのでしょうか？

OpenAIは、この情報（およびその他の情報）を秘密に保持しており、これは完全に透明なCerebras-GPTアプローチとは対照的です。

以下はすべてオープンで透明です：

• モデルのアーキテクチャ
• トレーニングデータ
• モデルのウェイト
• チェックポイント
• 計算最適なトレーニングの状態 (はい)
• 使用許諾：Apache 2.0 ライセンス

七つのバージョンは、111M、256M、590M、1.3B、2.7B、6.7B、および13Bモデルで提供されています。

発表されました：

「AIハードウェア企業の中で初めて、Cerebrasの研究者はAndromeda AIスーパーコンピュータ上で111M、256M、590M、1.3B、2.7B、6.7B、および13Bのパラメータを持つ7つのGPTモデルをトレーニングしました。」

通常、数か月かかるこの作業は、Andromedaを構成するCerebras CS-2システムの驚異的な速度と、Cerebrasのウェイトストリーミングアーキテクチャの分散計算の苦痛を排除する能力により、数週間で完了しました。

これらの結果は、Cerebrasのシステムが現在最も大きな複雑なAIワークロードをトレーニングできることを示しています。

これは、最新のトレーニング効率技術を使用してトレーニングされたGPTモデルのスイートが初めて公開されたことです。

これらのモデルは、与えられた計算予算に対して最高の精度でトレーニングされているため（Chinchillaレシピを使用してトレーニング効率が向上しています）、既存の公開モデルよりもトレーニング時間が短く、トレーニングコストが安く、エネルギーも少なく使用されます。」

オープンソースAI

オープンソースソフトウェア「Firefox」の開発元であるMozilla Foundationは、Mozilla.aiという会社を設立し、信頼性があり、プライバシーを尊重するオープンソースのGPTと推薦システムを構築しています。

Databricksは最近、オープンソースのDollyと呼ばれるGPTクローンもリリースしました。これは「ChatGPTの魔法」を民主化することを目指しています。

それらの7つのCerebras GPTモデルに加えて、別の会社であるNomic AIがGPT4Allをリリースしました。これはラップトップ上で実行できるオープンソースのGPTです。

オープンソースの人工知能（AI）の動きはまだ初期段階ですが、勢いを増しています。

GPT技術は、様々な産業に大きな変革をもたらし、そして、その変革を牽引する産業の姿を変える可能性があり、おそらく不可避的なものとなるかもしれません。

もしオープンソースのムーブメントがこのペースで進展し続けるなら、AIのイノベーションが一部の企業に集中することを防ぐことができる、という変化を目撃することができるかもしれません。

公式発表を読む：

Cerebras Systemsは、CS-2ウェーハスケールシステムで訓練された7つの新しいGPTモデルをリリースしました