そのサービスが安全か、確かめる方法はない
AI議事録サービスの脆弱性から考えた、外から品質が見えないことの怖さ。制限をかけて守るのではなく、危ない場所を先に消しておくという設計の話。
怖いのは、事故そのものではない
先日、AI議事録サービスの脆弱性が公表されました。認証さえ通っていれば、所属していない組織の会議データまで見えていたという内容です。研究者は1月に報告したと言い、会社側は別々の問題としてそれぞれ期間内に修正したと説明しています。二つの説明は、いまも食い違ったままです。
最初に聞いたとき、私は設定の不備だと思いました。データベースの権限設計の話として片付けようとした。数日考えて、そこではないと気づきました。
漏れたかどうかは、発覚すれば分かります。分からないのは、その手前です。預けたデータが今どう扱われているか、外からは誰にも見えません。学習に使われたか、分析に回されたか、買収先に引き継がれたか。通知は来ませんし、あとから確かめる手段もない。規約に「サービス向上のため」と一行あれば、たいてい合法です。
今回の件は、見えなかったものがたまたま見えた一例にすぎません。
調べれば分かる、とはならない
AIで、誰でもそれなりに動くものを作れるようになりました。
悪い人がたくさんいるとは思っていません。ただ、作って放置する人はたくさん出てくると思います。作るコストは下がりましたが、脆弱性を追い続けるコストは下がっていない。作った本人が中身を把握していないことすらあります。月額980円のサービスがあったとして、その金額に運用と監視の費用が入っているのか。1年で1万円ほどです。顧客の名刺データが1件でも外に出れば、詫びの前に取引が消えます。
そして、放置されているかどうかは外から分かりません。画面はきれいですし、プライバシーポリシーも一通り書いてあります。
では選ぶ側が調べればいい、という話になります。私も最初はそう考えました。第三者の監査を受けているか、データを全部書き出せるか、削除の期限が契約に書いてあるか。
でも、使いたいツールを一つずつ調べるのは無理です。中小企業の社長の仕事は、そこではない。判断の基準を配ったところで、判断する作業そのものは消えません。悩む時間が増えるだけです。安いはずのサービスが、選ぶ手間と不安の分だけ高くつく。
手順を増やすと、品質は下がる
私は化粧品の製造現場で品質管理をしていました。そこで身についたのは、人の注意力を当てにしないという前提です。忘れますし、慣れますし、忙しければ飛ばします。だから「気をつけろ」とは言わない。
社内の開発テンプレートを作ったときも、同じ考え方をしました。公開前にこれをやって、次にこれを確認して、と手順を並べたくなる。けれど手順が多いこと自体が、品質のばらつく原因になります。だから手順を増やさず、意識しなくても守られる構造にしました。
ひとつだけ、あえて自動化していない場所があります。誰がどのデータを読み書きできるかを決める設定です。ここは開発の途中でAIにも開発者にも触らせず、人が読んで承認してから反映します。そのうえで週に一度、設定に抜けがないかを機械に点検させています。
見る場所を減らしたのではありません。ばらつく余地を減らした結果として、見る場所が減った。順番が逆になると、危険は残ったまま見えなくなるだけです。
同じ場所に、置かない
今回の件で境界が崩れたのは、複数の会社のデータが同じ入れ物に入っていたからです。仕切りが正しく効いているかどうかに、全社の安全がぶら下がっていた。
私たちは、お客さまごとにクラウドの環境そのものを分けています。データベースが別なので、他社のデータと同じ場所に並ぶことがありません。設定を一か所間違えたとしても、それが他社に届く経路がそもそもない。
漏れないと言いたいのではありません。守らなければならない場所が減る、という話です。範囲が狭ければ、点検も改修も短い時間で終わります。続けられる量に収まっていることが、いちばん効きます。
外から入られる経路だけが、事故のもとでもありません。内側から持ち出されることもあります。ここは別の対策が要る場所なので、誰が何を見られるかを役割で分け、操作の記録を残します。ただし、全員を疑う設計にはしません。監視を強めるほど、現場は動きにくくなります。
使う人に、注意させない
仕組みで守るのは、間違えたら誰かが痛む場所だけです。それ以外は空けておきます。そこは思いきりやってもらう。
守る場所を絞るから、自由に動ける範囲が広く取れる。逆にすると、安全のために全部を縛ることになります。出来合いのサービスが窮屈に感じるのは、この順序が逆だからだと思っています。
そして渡すときは、守っていること自体を見せません。「ここは触らないでください」と書いた時点で、使う人は管理されていると受け取ります。触ったら危ない場所そのものが無いのなら、注意書きは要らない。本人は自由に使っているつもりで、実は間違えようがない。その状態を作るのが、私たちの仕事です。
制限して守るのではなく、
危ない場所を、先に消しておく。
だから、注意書きは要らない。
動くものと、渡せるもの
動くものは、すぐ出せます。いまは特にそうです。渡せるものにするには、そこから時間がかかります。
製造業なら、試作品と量産品の違いと言えば通じます。試作は動けばいい。量産は、誰が作っても同じものが出てこないと困る。この差を埋める工程に時間がかかることを、製造の現場にいた人は全員知っています。
ITでは、この差に名前がついていません。だから「もうできているのに、なぜ出さないのか」と見えます。私たちが遅く見えるとしたら、たいていここです。
外から品質は見えない。これはお使いのサービスだけでなく、私たちにも同じように当てはまります。だから、作ったものの中身と、直し続けている記録を、見える場所に置いています。データは持ち出せる形でお渡しします。やめたくなったら、やめられる。
安心は、確かめられるところから始まると思っています。
よくあるご質問
- 今使っているクラウドサービスは、すべて入れ替えるべきですか？
- その必要はありません。判断はサービスの良し悪しではなく、何を預けているかで分けます。日程調整のように漏れても影響の小さいものは、そのまま使えばいい。経営判断や顧客情報のように、外に出た瞬間に取引が止まるものだけを見直します。全部を疑うと判断が止まり、結局なにも変わりません。
- オリジナルで作ると、月額のサービスより高くつきませんか？
- 初期費用は高くなります。比べるべきは月額どうしではなく、使い続ける期間の合計です。月額のサービスは値上げや仕様変更をこちらで止められず、データを持ち出せないまま乗り換えもできません。私たちは、途中でやめられる状態を前提に設計します。やめられるかどうかで、長期の費用は変わります。
- 会社ごとに環境を分けると、その分だけ費用がかかりませんか？
- 環境を分けること自体の費用は、使った分だけの従量課金です。小規模な業務システムであれば、月額のサービスを人数分契約するより抑えられることもあります。むしろ効いてくるのは保守の側です。守る範囲が狭いほど、点検も改修も短い時間で終わります。
- 作ってもらったあと、放置されない保証はありますか？
- 保証という形では出していません。契約で縛るのではなく、直し続けている記録を見える場所に置いています。何をいつ直したかが分かれば、放置されているかどうかは判断できます。価値が下がれば切られる、という前提でやっています。
技術は真似できる
定着させるノウハウが、弊社の強みです。
まずは相談してみる
現状を整理してみる、くらいの気持ちで大丈夫です。
見せていただいた作業を、動く画面にしてお返しします。