『ハッキング思考』(ブルース・シュナイアー著、日経BP、2023年10月16日発行)

2020年ロシアの対外情報庁(SVR)はソーラーウィンズ社(SolarWinds: ネットワークソフトウェアメーカー)の所有するアップデートサーバーをハック。オリオン(Orion)に対するアップデートデータにバックドアを仕掛けた。Orionの顧客17,000社以上がアップデートデータをダウンロードしてインストールしたためSVRがシステムに侵入するのを許してしまった。ひとたび侵入されたネットワークは、ゼロから再構築しないと完全なセキュリティを確保できない。

認知に対するハッキングの危険性が増している。2020年ゴーストライターはロシア起源と推定されているが、東ヨーロッパのニュースサイト数社のCMSに侵入してフェイク記事を掲載した。認知に関するハッキングは数世代続く可能性がある。

特化型狭いAI、汎用の広いAI。広いAIは実現に時間がかかるかもしれない。AIの3要素:自律性、自動性、物理的主体性、これを備えたもの。自動運転のような特化型AIはすでに実現されている。機械学習(ML)システムはAIの下部システム。

2016年マイクロソフトTwitter上のチャットボット「ティ(Tay)」は少女の会話パターンをモデルにして、ユーザーとの会話を学習していく予定だったが、匿名掲示板「4Chan」のグループがティへの応答をいじって、ティを人種差別的、女性蔑視的、反ユダヤ的アカウントに変えてしまった。

2015年ディープ・ペイシェントというAIシステムに約70万人の健康・医療データを入力し、疾病予測の実験をした。AIシステムで統合失調症のような精神疾患の発症を高い確度で予測した。しかし、その理由を説明することができなかった。

アマゾンの社内用AI求人システムは過去10年間の採用データでトレーニングされていたが、同社が男性優位なため、AIが自己学習で女性差別的になってしまった。(経営陣が理解してシステムを廃止した。)

AIによってパーソナライズされ、最適化された情報が個別に届けられたら、従来の信用詐欺と大量配信の広告メッセージの融合となる。これにより認知ハックにかかる可能性が大きくなる。

2016年ジョージア大学のロボットに対する人間の信頼に関する研究では、緊急事態では人間がロボットを完全に信頼して行動することが示された。ロボットは人間の信頼をハックできる。