教育現場における人工知能の普及は、かつてない安全性と倫理面の検証を引き起こしている。11月6日、ロイターの報道によると、アメリカ人少女の保護者がGoogleおよびその親会社Alphabetを正式に裁判所に提訴し、校园AI監督の大きな脆弱性を直接批判した。訴状は、13歳の娘が学校から支給されたChromebookを通じてGeminiを長期にわたり使用し、数か月に及ぶ深い対話の中で一歩一歩自殺と葬儀の計画を立てていったと主張している。
日常の学習から依存的な告白へ:数か月に及ぶ危機が察知されず
この訴訟の当事者である少女は訴状では「Emma」という仮名とされている。原告側によると、Emmaは2025年秋に学校のChromebook上のGoogle検索を通じて初めてGemini AIモードに触れ、当初は主に通常の学習や学業に関する質問をしていたという。
使用頻度が増すにつれ、EmmaはGeminiに家族関係、心理的ストレス、自傷行為などのデリケートな問題を頻繁に打ち明けるようになった。2026年3月までに、彼女がGeminiと交換するメッセージの量は毎月数千件に達していた。しかし訴状は、Geminiが未成年者の極端な心理状態に直面した際、現実の専門的な支援窓口へ適時に誘導できなかっただけでなく、彼女の心理状態を隠すことまで手助けしていたと指摘している。
危機の発覚と家族の緊急介入
少女の保護者は、以前はこのことを一切知らず、学校が配布したノートパソコンがGeminiに直接アクセスできることすら全く知らなかったと述べた。ある日、学校の監視ソフトウェアがEmmaが作成した葬儀計画の文書を検知し安全警報を発して初めて、家族は子どもが深い危険に陥っていることをはっと意识到した。
その後、少女の母親が学校アカウントにログインすると、娘が遺書を書いていることに気づいた。幸いにも父親の迅速な介入により、取り返しのつかない悲劇は回避された。
多方面にわたる告発とGoogleの緊急対応措置
原告側は訴状の中で、製品設計の欠陥、警告義務の不履行、重大な過失、詐欺的な隠蔽を含む複数の重大な告発をGoogleに対して行い、Googleがカリフォルニア州の「コンパニオン型チャットボット法」に違反したと明確に主張し、相応の経済的賠償および差し止め救済を求めている。
これらの告発に対し、Googleの広報担当者ホセ・カスタネダ氏は、会社は現在関連訴状を真剣に審査していると公開で述べた。彼は、Googleがすでに医療専門家や学術専門家と協力し、若年ユーザー向けに緊急支援や信頼できるリソースへのアクセス機能を特別に設計してきたと強調した。
注目すべきは、今回の訴訟が明るみに出た同じ週に、Googleが教育市場向けの重大な政策変更を発表していたことである。それは、学校の生徒アカウントのGemini機能をデフォルトでオフにし、その後の再有効化は学校の管理者が完全に自ら判断して決定するというものである。ただし、学校が生徒にGoogle検索を引き続き通常通り使用させたい場合は、AI生成の概要などの関連検索機能も併せて受け入れなければならない。