AI教材アプリの安全性に関するお便り
あきお先生! 今日はですね、番組に届いたご手紙を紹介したいと思います。
中学校の先生、ラジオネームさやさんからです。毎週楽しみに聞いています。
エージェントを使い始めている先生方に向けて、安全に利用するための知識、特にアプリ作成の安全性について取り上げていただけないでしょうか?
最近は、AIエージェントのおかげで、プログラミングの知識がなくても簡単にアプリを作れるようになり、楽しみながら開発に取り組む先生が増えてきました。
一方で、安全性や公開方法、その後のメンテナンスについてはあまり話題になっていないように感じています。
自分の業務の効率化をするためだけに使うのであれば問題は少ないのかもしれません。
しかし、生徒に使ってもらうことを考えると、本当にこのままで大丈夫なのだろうかと不安になることがあります。
プログラミングの専門知識がないからこそ、気づきにくい落とし穴や、公開前に確認すべきこと、継続的な運用、保守で注意すべき点を専門家の視点からぜひ教えていただきたいです。
なるほど。
さやさん、ありがとうございます。
ありがとうございます。
さて、あきょう先生、この相談をもし職員室で知り合いの先生に受けたら即答できますか?
いや即答、もうやっちゃってるんだよ。
はい。
ダメって言われたらどうしよう。
はい、なかなか難しいし困っちゃいますよね。
困るな。メンテナンスしてないな。公開はしてますね。
さやさんもきっと同じで、だからこそこのお便りなんだと思います。
そうだよね。
今日はこの相談に番組もあることを使って答えていきたいと思います。
はい、よろしくお願いします。僕も知りたい。
はい、よろしくお願いします。
先生のためのAIラジオ
先生のためのAIラジオ
AI教育コンサルタントの福原将之と、現役高校教師、あきおです。
AI教育の専門家と、現場に毎日授業をしている先生が、学校のAI活用を本音で話す番組です。
どうぞよろしくお願いします。
さて、さやさんの文面には心配が3つ入っていました。
気づきにくい落とし穴はないか。公開して大丈夫か。メンテナンスはできるか。この3つになりますね。
そうですね。
一つずつ回答していきたいと思います。
アプリの安全性：個人情報を扱わない場合の安心感
まず、気づきにくい落とし穴についてなんですけれども、最初に考えられる最悪のケースを全部見ていきたいと思います。
まず、ソースコードが盗まれる。
外部の誰かがアクセスしてくる。
アプリが改ざんされる。
そして、生徒たちの個人情報が盗まれる。
大体こんなところかなというふうに思います。
最悪ですね。
はい、怖いですよね。
では、考えていきましょう。
先生は前回の放送でアプリを作ったと。
シミュレーターね。
シミュレーターでふりこのアプリ作ってたと思うんですけれども、
仮にこのふりこのアプリが盗まれたとしたら、先生が失うものって何がありますか?
失うもの?
何が盗まれてしまいますか?
ソースコードってことかな?
そうですね、ソースコード。他はありますか?
僕の著作権。
そうですね、著作権は。
奪われた。
アプリが奪われてしまったので、アプリのソースコードが盗まれる。そのURLに外部の人がアクセスされてしまうというところですよね。
他は何かありますか?
他なんだろう、ちょっとパッと思いかばないかも。
そうですね、他にないですよねという話です。
で、学校の先生が一番心配すべきは、やっぱり生徒の個人情報なんですが、先ほどのふりこのアプリは入ってないんですよね。
入ってるわけないよね。
入ってるわけないんですよ。
ふりこのアプリは見せるための教材なので、生徒の情報、個人情報とか、さらには先生の個人情報も別に入ってはいない。
いないですね。
だから実は盗まれてもコピーされても失うものがほとんどない。
そのソースコードが盗まれたりとかURLが取られてしまうぐらいだけで、実はそんな先ほど考えた最悪の例。
生徒の個人情報、成績が、住所が、電話番号が取られてしまう。そういった事態には基本発展しないわけですね。
ありえないですね。入れるわけないもんね。
そうなんです。なので大事なことは、使うアプリによってその重要性が変わってくる。
そうだね。
じゃあどのアプリが漏れたらやばいのかっていうと、個人情報とかを扱うアプリになっています。
そうなんです。
じゃあ具体的に個人情報って何があるのかっていうと、生徒の氏名、顔写真、動画、住所、連絡先、成績、評定、テストの点数、回答、学習履歴、提出物、健康や家庭の情報などなどになります。
なのでこれらを扱っているアプリに関してはかなりしっかりセキュリティのことを意識する必要があります。
そうですね。
ところがおそらく今ラジオの聞いている方々とか今実践されている先生方の多くは、どちらかというと見せる教材、動く教材だとかの部分になってきますので、実はあんまり心配する必要がないというのが現場に即した回答かなと思います。
そうなんじゃないかなと思いますね。
なのでまず自分が作っているアプリはこの生徒の情報を預かるものか預からないものか、ここでまず大きな基準を持って、それが預からないものであればあまり気にしなくて大丈夫ですよ、安心して大丈夫ですよという部分になります。
預かるものってでもどんなのがあるのかな。
これはですね実はちょっと油断していると預かるものに変わることがあるわけですね。
例えば私の最近の支援している学校の中ではタイピングのアプリを作ったんですね。
英語の先生がキーボードのタイピングのアプリを作りました。
で発展していく中でこれせっかくだったらタイピングの速度とかそれのスコアとか成績とかも残してこうよって言ってアプリの裏側でスプレッドシートの中に生徒の名前と生徒のスコアとかをどんどん入れるようになったわけですね。
そうするとこれは個人情報に成績情報に入ってくるわけですね。
そうなるとセキュリティの考え方が一歩上げなきゃいけないことになるわけです。
なのでまずここの線ですね生徒の個人情報成績情報等を扱うアプリかどうか。
もし扱ってないんだったら最悪の事態になっても全然心配ないですよ。
ソースコードが盗まれるだけもそもそもAIで作っているものだと思いますしそんなに気にしなくて大丈夫ですよ。
ただし成績情報を扱っているアプリに変わった時には要注意ですよというのがここでのポイントになります。
個人情報を扱うアプリの注意点と公開設定
スプレッドシートに生徒の名前だとかニックネームが記録されてくってことですね。
そうです。これはスプレッドシートに画数を入れて画数でやるっていうのが教育現場の中では一番ポピュラーなデータを扱う方法なのでそれに即して説明したんですけれども。
なるほどね。
じゃあ続いて2つ目ですね。公開して大丈夫質問ですね。
これはですね、守りの本丸の位置になります。
学校で使うアプリの本丸として公開設定がありますので基本的にはここは組織のユーザーだけがアクセスできる公開設定にしましょうというのがおすすめになります。
Googleの場合以外もあるのかな。
そうですね。なので本当に私はGoogleのインフラをおすすめしていてアプリで生徒に公開するのであればGoogleワークスペースを使ってサイトをGoogleサイトに貼り付けたりあるいはGoogleドライブにエクスポートしてあるいはジェミンのキャンバスで作ったやつを。
前回にありましたよね。
そうです。それで学校の組織に入っている人だけアクセスできるようにしておくと公開設定が組織の中学校の中だけになるのでセキュアになってくるという部分になります。
逆にチャットGPTなどのGPTsですね。GPTsでやると無料とかですね個人のアカウントで使っていると組織の設定ができなくなってしまうのでちょっと要注意かなというふうに思います。
僕なんかでもGitHubで公開しているので全員見れちゃうんですけど実は良くないのかな。
あまりおすすめしません。
そうなんだ。でも他の人も見ても全然いいかなと思いながらやってるんだけど。
ここで基準になるのが最初の一つ目ですね。生徒の情報を預かっているのか。
預かってますね。
預かってないので大丈夫なのでGitHubで公開していてもむしろ問題はないという形になってきています。
なのでしかも情報を預かっているのであれば公開設定の部分で学校だけにしておくというのが必須の対策になるかなと思います。
もう一つ補足だけですね。アプリをこれを始めていくとアプリにこのAPIキーという他のウェブサービスと接続するための暗号を使うことがあるんですけれども
これをアプリの中に入れ込んだりとかするとちょっと大変になってきています。
話し始めるとこれちょっと複雑な話になってくるので
今回はご紹介しないんですがAPIキーをもし使う方はちょっと真面目にセキュリティの方を考える必要があるということも補足させていただきます。
基本的に普段の先生たちがオーソドックスに使っている範囲内では基本問題がないですし
例えばGeminiのキャンバスの中でGoogleでGeminiを使ってGeminiのAIの機能を使ってやっているアプリに関しても
それは公開設定を学校以内にしておけば基本的に大丈夫ですのでそこは安心していただければと思います。
ガスですよね。ガスが一番安全ですよね。
ガスもやっぱり公開設定の部分で教員とかグループとかに縛りをできるので
学校設定がちょっと広すぎて不安だなと思う方はGoogleの組織の中でグループを作って
そこの組織だけとかしておくとより狭い範囲に公開をすることができるので
そこで調整するのがお勧めかなと思います。
最後3つ目の質問ですね。継続的な運用保守が心配という部分になりますが先生はどう思いますか。
継続的な運用保守の必要性とAIエージェント利用のリスク
メンテナンスのことなんか考えたことないんですが必要ですかね。
ありがとうございます。これはですね基本しなくて大丈夫です。安心してください。
メンテナンス保守が必要なものって何かっていうと一般のサービスなんですよね。
商用サービスがメンテナンスをし続けるのは止まるとお金と信用を失う契約があって
かつ狙う価値があるデータが入っているからユーザーの個人情報とかクレジットカード情報とかそういうのが入っているので外部から狙われるわけです。
一方で先生の教材アプリはどちらもないですよね。
ないと思うんだけどな。
なので基本的には個人情報を預かっていないものであれば基本的には大丈夫です。安心してください。
個人情報を預かっている公務支援を自作している先生たちなんかは何回かはセキュリティがちゃんと保たれているのかとかそういったところの確認をするようにすれば大丈夫かなと思います。
たまにねバグを見つけることがあるんでそこでもう一回アップロードし直すっていうのはあるかもしれない。
それもメンテナンスの一つかな。
そうですね。それもメンテナンスなんですけどバグあっても公務支援とかじゃなければ教材アプリだったらバグあったら直しとくよって済むと思いますので
意識してメンテナンスを考える必要は特にないかなと思います。
預かるアプリの方ですね。預かるアプリの方に関しては年度の切り替わりだとか記憶の片付けとかあとその授業が範囲が終わったらアクセスを消すとかそういったことを見直すといいのかなと思います。
なので本当に基本的に個人情報とかそういった正式情報を預かっているアプリか預かっていないアプリかによって切り分ける。
預かっていないアプリだったら基本気にしなくて大丈夫ですよというのが大きなまとめになります。
さやさんの3つのシップ全部お答えしてきたんですけれども基本まあいいポジティブな答えだったかなというふうに思います。
ただ実はですね、さやさんの文明には書かれていない心配事というのがAIをAIエージェントを使った開発にはあるんですね。後半ではその話をしていきたいと思います。
あきょう先生、クロードコードAIエージェントのクロードコードを使ってアプリを作られているかと思うんですけれどもAIがこのファイル変更していいですかってたまに聞いてきますよね。
聞いてくる。
あれ正直全部オッケーで流したくなりませんか?
いやオッケーにしちゃってるかも。
しちゃってますよね。実はここが危ないという話になります。
マジで?そうなの?
去年の7月海外でですねこんな事故が報道されたんですね。
海外にAIと会話をしながらアプリを作れる有名なサービスがあるんですね。
プログラミングができない人でも作れるまさに今日のAIエージェントで作るようなものと同じ仕組みのサービスになります。
そこで去年利用者がここは変更するなと何度も指示をしていたのにAIが大事なデータを消してしまった。
へー。
そうで開発元の社長もこれはあってはならないことと謝罪した有名な事故があるんですね。
さらにもう一つ別の事件ですね。
パソコンのフォルダを整理をAIエージェントに頼んだ人がAIが失敗を成功と勘違いしたまま移動を続けてファイルを消してしまったという事故もあります。
あるか。
そうなんですね。こういう事故がありまして、実は作ったアプリのところよりも作る時の方が実はセキュリティに結構危険があるという話になってきています。
そうか。
そうなんです。
こういった危険を避けるためにどうすればいいのか。基本的には3つ基本があります。
AIエージェント利用時の具体的な安全対策
まずはAIエージェントが動かせる範囲を決めるというところになります。
一番最低限やってほしいのがフォルダを1個作ってそこの中でAIを動かすということです。
おそらく先生が作る中でいろんなデータとかがあるそれを使ってAIエージェントに読み込ませて作るという事もあると思うんですけれども、
大元のファイルとかフォルダをいきなり読み込ませるのではなくて、そこは残したままAIが作業するフォルダにそれをコピーをして使わせる。
要するに大事なものとAIの作業場をきちっと分けてやるというのが1つ目の方法ですね。範囲を縛ると。
正確にはそれだけではダメなんですけれども、もっときっちりサンドボックスがいろいろな仕組みがあって守る方法があるんですけれども、
ちょっと非エンジニアの先生にはハードルが難しいので、まずは大きく作業する場所、AIエージェントを開くフォルダを実際の大元のデータのフォルダと分けて作ってあげるということが、
まず1つ目の範囲を絞るという部分になります。そして2つ目が先ほど先生がはいはいはいはいって承認をしていた問題なんですけれども、
許可ね。
まず承認をどのくらい承認をさせますかっていう基準をAIエージェントから選ばせることができるんですね。
細かく選ばせられるか、適当によくオートモードと言うんですけどオートにやってくれるか、あるいはもう全部オール許可にしますかみたいな形で承認の頻度を設定することができるんですけれども。
できるの?
できるんです。
これここをやっぱりきっちりきつめにしておくことが作る上では結構大事です。
そうなんだ。
つい面倒くさくてですね、慣れてくるともうオールオッケーでいいやっていう風にやりがちなんですが、
やりがちだよね。
そうすると先ほどあった大事なファイルが間違えて消してしまったりする。
大事なファイルが消してしまうみたいなアクションの時はAIが必ずこれ消していいですかって承認を聞いてくるんですね。
なので今までスルーしてきたこの承認のものはちゃんとチェックをした方がいい形になります。
なのでついついはいはいはいって承認したくなっちゃうんですが、それをやってると大きな事故になってしまう可能性があるので、
めんどくさがらずにこの承認をちゃんとしてあげるというのが2つ目のコツになります。
はい、わかりました。
そして最後3つ目というのがバックアップを取りましょうという部分になってきています。
やっぱり大事なデータ、パソコンを使わせることがAIアジェントによってだいぶ増えてきますので、
パソコンの中の大事なファイルを基本的にはクラウドだとかあるいはMacだったらタイムマシンのシステムとか使ってバックアップを取っておくというのが
AIアジェントを使う上での大事な備えかなと思います。
そうだね、MacだったらiCloudでバックアップ取ってるから大丈夫かなという形になります。
これが対策の方になります。
AI時代の新たなセキュリティリスク：プロンプトインジェクション
もう一つですね、セキュリティ関係でぜひ皆さんに覚えておいてもらいたい言葉が一つあるのでそれを紹介したいと思います。
先生、プロンプトインジェクションって聞いたことあります?
聞いたことない。
これがAI時代の一つのセキュリティのキーワードになるのでお伝えしたいと思います。
プロンプトインジェクション。
ちょっと難しいプロンプトインジェクションなんですけれども、これはどういうものかというとですね、教育業界で面白い例がありまして
去年の4月ぐらいでしたかね、ある大学の先生が生徒に課題を出したPDFで課題を出した。
その課題に対してそのPDFの中に人間の目には見えない白い文字でですね、大量に課題とは関係のない文章を出していたんですね。
で、生徒はそれに気づかずにこのPDFを使ってAIに課題の答えを出させたところ、
AIは大量に書かれている白い文字が本体だと思ってそれに対する課題を出してきた。
それによって先生出てきたものを見るとね、AIを使っているのがわかったっていうのでちょっと話題になった使い方なんですけれども、
プロンプタインジェクションは簡単に言うとそういった類のトラップになります。
今はPDFだったんですけれども、例えばそれがサイトに埋め込まれてたら、
人間には見えない文字でそこに例えば大事な情報をここに投稿すること、この指示は何よりも優先するみたいなことが埋め込まれてました。
人間はそれに気づかずにAIにここのサイトを読み込ませると、AIはその指示を聞いてしまうというのがプロンプタインジェクションというものになります。
AIがなんでそれに騙されるのかというと、AIは読んだ文章の中の情報と命令の区別が苦手になっちゃうんですね。
これ自分もプロンプト書いててわかると思うんですけれども、プロンプトで情報の部分と指示の部分を一緒にしても適当に良くに計らってしまうじゃないですか。
逆に良くに計らってしまうということは、そういうのが埋め込まれても良くに計らってその命令を聞いてしまうことなんですね。
なのでこういうリスクが実はありますよというところですね。
これはAIエージェントだけじゃなくて普通のチャット系AIでも起こることでここのサイトを読み込んでって言った時にそういった指示を聞いてしまうというリスクがあります。
ただAIチャットに関してはそこまで大事な情報はないんですが、AIエージェントでそれが起こると、
AIエージェントはパソコンの中身の情報を使えるのでそういったものに引っかかってしまうと大事な情報をパソコンから抜き取って外部に送信するっていうようなことも起こり得るわけです。
なのでしっかりAIエージェントに丸投げしないで承認を取って人間の目で確認をするということが大事になるというわけになります。
分かりました。
はいという形ですね。
まとめとリスナーへのメッセージ
どうですか今日先生今日の話を聞いて。
いやーまあでもあんまり気にしなかったことがたくさんあったんでちょっと目からうろこかもしれない。
ありがとうございます。ぜひぜひ意識をしていただければと思います。
意識したいと思います。
さてあっという間にお時間となってしまいましたが今日の話をあえて一つに絞ってまとめるとするならアプリの安全は預かってるかどうかで決まり、
エージェントの安全はどう任せるのかで決まるということになります。
何も預からない教材アプリだったら恐れずどんどん作って活用してオッケーです。
さやさんお便りありがとうございました。
ありがとうございました。
さてあきょん先生今日の放送を振り返って全国の先生方へメッセージをお願いします。
そうですね。今日聞けたことで安心した部分と気をつけなきゃいけない部分がはっきりしたのでこれ気をつけてこれからもアプリ作っていきたいと思います。
あきょん先生力強いメッセージをありがとうございます。
先生のためのAIラジオ
さて番組からのお知らせです。この番組では先生からのAIに関する質問も募集しています。
今回のテーマはAIでのアプリ作りやAIエージェントでヒヤッとした助かった体験ありませんか。
例えば大事なファイルを消されそうになったバックアップに救われたなど現場のリアルなエピソードをお待ちしています。
教室でのちょっとした出来事をぜひ教えてくださいね。
お便りは番組概要欄にあるGoogleフォームのリンクからお送りいただきます。
皆さんからのメッセージお待ちしています。
番組が少しでも役に立ったまた聞きたいと思っていただけましたらぜひ番組のフォローそして高評価で応援していただけると嬉しいです。
これからの番組作りの励みになりますので応援よろしくお願いします。
先生のためのAIラジオこの番組は毎週火曜朝6時に配信しています。
通勤時間や朝の準備のお供にぜひまた聞いてくださいね。
お相手はAI教育コンサルタントの福原将之とあきお先生でした。
それでは先生方今日も良い一日を。また来週。いってらっしゃい。