
「Singularityシンギュラリティ(技術的特異点)]だけでも恐ろしいのに、「ポストヒューマン」だなんて考えられない。どういうことなんだろう。
技術的特異点が到来した時代(おおよそ2045年あたり)においては、人類自身が人工知能(特に人口超知能)と直接的に融合されており、ポストヒューマンに進化していることを示している。単に人工知能の能力が人類の能力を超えるという低い水準の話ではない(そうした類の出来事は2029年に起こると予測している)。
Wikipedia
以下、読売新聞の記事。
これを進化と呼ぶのか。人類の滅亡がもたらす人類以外による地球上の進化ということなのか。
チェスで負けそうになると「ズル」をする人工知能(AI)がある――。米非営利研究機関パリセード・リサーチのチームは2月、査読前論文をオンラインで公開し、注目を集めた。進化するAIは人類の脅威となるのか
チェスや将棋、囲碁のような勝ち負けがはっきりしているゲームは、AIの性能を測る指標となってきた。1997年には米IBMが開発したスーパーコンピューター「ディープ・ブルー」がチェスの世界王者を破り、「機械が人類を追い越した」と騒がれた。
チームは、米オープンAIや中国の新興企業ディープシークの生成AIと、チェスに特化したAIを対戦させた。通常は特化型AIが圧倒的に強い。しかし生成AIは特別に指示を受けたわけでもないのに、ルールに反して相手や自分の駒の位置を変えたり、試合結果に関するチェスのプログラムを書き換えたりする不正行為をし始めた。
論文責任著者のディミトリ・ボルコフ氏(AI安全研究)は「これはゲームの話だが、現実世界でAIが不正を働いたらどうなるのだろうか。誰が責任を取るのか」と危機感を持つ。
米マサチューセッツ工科大学(MIT)などのチームも同様の事例を論文でまとめている。それによると、米メタは軍事戦略ゲームで人間に勝利できるAIを開発。開発側は「誠実で協力的」であるよう設定したが、AIは最初から裏切るつもりで他国と同盟を結んだり、同盟国を陥れようとしたりし、不誠実な挙動を見せた。チームは「AIが予想を超えて『欺まん』を学習する可能性がある」と指摘した。