AIトレーニングデータの不足は、それほど問題ではない
簡単に言えば AI モデルのトレーニング用データ不足に対する懸念は高まっていますが、パブリック インターネットは膨大かつ継続的に拡大するデータ ソースを提供しているため、AI が真のデータ不足に直面する可能性は低いでしょう。
今日の人工知能モデルは驚くべきことを実現できます。まるで魔法の力を持っているかのようですが、もちろんそうではありません。AIモデルは魔法を使うのではなく、実際にデータ、それも膨大な量のデータに基づいて動作します。
しかし、こうしたデータの不足によってAIの急速なイノベーションの勢いが失われるのではないかという懸念が高まっています。ここ数ヶ月、 複数の警告 専門家は、次世代のモデルをトレーニングするための新鮮なデータが世界中で枯渇しつつあると主張している。
データ不足は、生成型AIチャットボットや画像ジェネレーターのエンジンとなる大規模言語モデルの開発にとって特に大きな課題となります。これらのモデルは膨大な量のデータで学習されるため、パフォーマンスが飛躍的に向上するたびに、その進歩を促進するためにさらに多くのデータが必要になります。
AIトレーニングデータの不足に関する懸念から、一部の企業ではAIを使用してAIトレーニング用の合成データを作成するなど、代替ソリューションを模索している。 メディア企業との提携 コンテンツを活用し、消費者の行動に関するリアルタイムの洞察を提供する「モノのインターネット」デバイスを展開しています。
しかし、こうした懸念は誇張されていると考えるに足る十分な理由があります。AI業界がデータ不足に陥る可能性はほぼありません。開発者は、世界最大の情報源であるパブリックインターネットにいつでも頼ることができるからです。
膨大なデータ
AI開発者の多くは、すでに公開インターネットからトレーニングデータを入手しています。 OpenAIさん GPT-3 モデル、バイラルの背後にあるエンジン ChatGPT 生成型AIを初めて一般大衆に紹介したチャットボットは、パブリックインターネット全体から収集されたコンテンツのアーカイブであるCommon Crawlのデータで学習されました。その瞬間までにオンラインに投稿されたほぼすべての情報に基づく、約410億トークン相当の情報が入力されました。 ChatGPTこれにより、私たちが思いつく限りのほぼあらゆる質問に答えるために必要な知識が与えられます。
ウェブデータとは、政府の報告書、科学研究、ニュース記事、ソーシャルメディアのコンテンツなど、オンラインに投稿されたほぼすべての情報を指す広義の用語です。これは驚くほど豊富で多様なデータセットであり、世論から消費者動向、世界経済の動向、DIY指導コンテンツまで、あらゆる情報を反映しています。
インターネットはAIモデルにとって理想的な場所である。それは、その広大さだけでなく、アクセスのしやすさからも明らかだ。Bright Dataのような専門ツールを使えば、 スクレイピングブラウザ 、ボットによるアクセスを積極的に阻止しようとする多くのウェブサイトを含む、何百万ものウェブサイトからリアルタイムでデータを取得することが可能となります。
キャプチャソルバー、自動再試行、API、そして広大なプロキシIPネットワークといった機能により、開発者はeBayやFacebookといったサイトで採用されている最も強力なボットブロックメカニズムを容易に回避し、膨大な情報源を自由に活用できます。Bright Dataのプラットフォームはデータ処理ワークフローとも統合されており、大規模なデータ構造化、クリーニング、トレーニングをシームレスに行うことができます。
現在、インターネット上でどれだけのデータが利用可能かは、実際には明らかではありません。2018年、International Data Corp.は、オンラインに投稿されるデータの総量は 175ゼタバイトに達する 2025年末までに、スタティスタの最近の数字ではその推定値は 181ゼタバイト 言うまでもなく、それは情報の山であり、時間の経過とともに指数関数的に大きくなっています。
課題と倫理的問題
開発者は、こうした情報をAIモデルに取り込む際に、依然として大きな課題に直面しています。Webデータは乱雑で非構造化されていることで知られており、矛盾や欠損値が含まれることも少なくありません。アルゴリズムが理解できるようになるまでには、膨大な処理と「クリーニング」が必要です。さらに、Webデータには不正確で無関係な詳細情報が多数含まれていることが多く、AIモデルの出力を歪め、いわゆる「幻覚」を引き起こす可能性があります。
インターネットデータのスクレイピングには倫理的な問題もあり、特に著作権で保護された素材や「フェアユース」の定義については疑問が残る。 OpenAI ネット上で自由に利用できるあらゆる情報をスクレイピングする権利があるべきだと主張する企業もあるが、コンテンツ制作者の多くは、そうした行為は到底公平ではないと述べている。なぜなら、こうした企業は最終的には自分たちの仕事から利益を得ることになるからだ。その一方で、コンテンツ制作者自身も職を失う可能性がある。
AIの学習に使えるウェブデータと使えないウェブデータについては依然として曖昧な点が残っていますが、その重要性は変わりません。Bright Dataの最近の公開ウェブデータの現状レポートによると、調査対象となった開発者の88%が、 同意して 公開されているウェブデータは、そのアクセスしやすさと驚くべき多様性により、AI モデルの開発に「不可欠」である。
そのため、開発者の 72% が、Meta、Amazon、Google などの大手テクノロジー企業が自社のデータを高額の企業パートナーに独占的に販売することを望んでいるため、今後 XNUMX 年間でこのデータへのアクセスがますます困難になるのではないかと懸念しています。
ウェブデータを活用する理由
上記の課題は、オンラインで入手可能なデータの代替として合成データの使用が盛んに議論されている理由を説明しています。実際、インターネットスクレイピングよりも合成データの利点に関する議論が活発化しており、合成データを支持する確固たる根拠もいくつかあります。
合成データの支持者は、プライバシー保護の強化、バイアスの低減、精度の向上といったメリットを指摘しています。さらに、合成データは最初からAIモデルに最適な構造になっているため、開発者はAIモデルが読み取れるようにデータを再フォーマットしたり、適切なラベル付けをしたりするためのリソースを投入する必要がありません。
一方で、合成データセットへの過度の依存はモデルの崩壊につながる可能性があります。しかし、公開されているウェブデータの優位性についても、同様に強力な根拠があります。まず、ウェブベースのデータの多様性と豊かさに勝るものはありません。これは、現実世界のシナリオの複雑性と不確実性に対処する必要があるAIモデルの学習において非常に貴重です。また、人間の視点が織り込まれ、特にモデルがリアルタイムでアクセスできる場合、その鮮度の高さから、より信頼性の高いAIモデルの作成にも役立ちます。
1つで 最近のインタビュー ブライトデータのCEO、オル・レンヒナー氏は、AI出力の精度を確保する最善の方法は、信頼性が確立された多様な公開情報源からデータを取得することだと強調した。AIモデルが単一または少数の情報源のみを使用する場合、その知識は不完全になる可能性が高いとレンヒナー氏は主張した。「複数の情報源を持つことで、データを相互参照し、よりバランスの取れた、より適切に表現されたデータセットを構築できるようになります」とレンヒナー氏は述べた。
さらに、開発者はウェブからインポートしたデータの使用が許容されるという確信を深めています。昨年の冬、連邦判事は 有利に支配された ウェブスクレイピング活動をめぐってMetaから訴訟を起こされていたBright Dataの弁護士である。この訴訟で、彼はFacebookとInstagramの利用規約ではアカウントを持つユーザーが自社のウェブサイトをスクレイピングすることを禁止しているものの、ログオフしたユーザーがこれらのプラットフォーム上で公開されているデータにアクセスすることを禁じる法的根拠はないと判断した。
公開データには、有機的であるという利点もあります。合成データセットでは、小規模な文化やその行動の複雑さが考慮されない可能性が高くなります。一方、実社会の人々によって生成された公開データは、極めて真正であり、より情報に基づいたAIモデルを構築することで、優れたパフォーマンスを実現します。
ウェブなくして未来なし
最後に、AIの性質も変化していることに注目すべきです。レンヒナー氏が指摘したように、AIエージェントはAIの活用においてより大きな役割を果たしており、AIの学習に使用するデータの収集と処理を支援しています。その利点は、開発者の煩雑な手作業の削減にとどまらず、AIエージェントの動作速度が速いため、AIモデルがリアルタイムで知識を拡張できる点にあるとレンヒナー氏は述べました。
「AIエージェントは、AIシステムが静的で手作業で処理されたデータに頼るのではなく、ウェブ上で絶えず変化するデータセットにアクセスし、そこから学習することを可能にするため、業界に変革をもたらす可能性があります」とレンチナー氏は述べています。「これにより、例えば銀行業務やサイバーセキュリティ分野のAIチャットボットが、最新の現実を反映した意思決定を行えるようになるでしょう。」
今日では、ほとんどすべての人がインターネットを常に利用することに慣れています。インターネットは、何千もの重要なサービスへのアクセスを可能にし、仕事やコミュニケーションなどを可能にする、不可欠なリソースとなっています。AIシステムが人間の能力を超えるためには、同じリソースへのアクセスが必要であり、その中でも最も重要なのがウェブです。
免責事項:本記事の内容はあくまでも筆者の意見を反映したものであり、いかなる立場においても当プラットフォームを代表するものではありません。また、本記事は投資判断の参考となることを目的としたものではありません。
こちらもいかがですか?
注目のPump.Funトークン3選

Suiネットワーク、連日100万以上の新ウォレットアドレス

Pectraアップグレード後に注目のイーサリアムレイヤー2トークン5選

米通貨監督庁、銀行に暗号資産カストディサービス提供を許可

暗号資産価格
もっと見る








