プロダクトもサポートも酷いWebサービスからの学び～クリティカルな機能を自動化するときは精度100％

ある酷いWebサービス（クラウド会計ソフト）からの学び。

弊社は創業１５年ですので簿記・会計はまぁお手の物です。情報システムの操作はプロです。国の社会保険システムのように酷いインタフェースのシステムもなんとか自己解決できるレベルです。ですが、今回のシステムでは手も足もでませんでした💦

今回直面したのは以下のような事態です。クソ精度の低い機能で2人がかりで試行錯誤しながら１時間たっても進捗ゼロでした。

• 精度が低い自動推測機能。しかもオフにできない！
  • 間違った仕分けを手動で変更しようとしても方法がわからない
• ハルシネーションばかり回答するAIチャットボット
  • それっぽい回答なので試すために時間をさらに無駄にする

自動機能はともかく有人サポート手順として案内されたページ（人間がメンテしている！）でも「ハルシネーション」（存在しないボタンが掲載されている）

1時間やってなんの進捗もなくイライラが募るばかりだったので即日キャンセルを決定。（Money forward会計に移行）

背景を説明した上で、ダメもとで返金をもとめましたが「返金できません。なぜなら規約ガーーー。あなたは同意したのデーーー」との回答。

そこは「まぁそうでしょうね」としか思いませんが、自分たちのプロダクトの不備で利用者の時間を無駄にさせたことに対して、何のお詫びもないのには驚きました。

たぶん「わかりづらくて申し訳ありません。この操作を試していただけませんか？」という回答があるかなぁと思っていたので。（弊社でもグッとこらえてこういう回答をすることはあるので）

AIチャットボットは「そんなメニュー・ボタンはない！」と指摘すれば、とても低姿勢でお詫びして改善を約束するのでまだ可愛げあるので、このサポートはAI以下ですね。苦笑

ちなみにエンドユーザからの問い合わせの大半（例えば「メールが届かない」の99％）が「そのユーザーの勘違い・間違い・設定の問題」であることは知っています。他社の予約について問い合わせてくる人だっていますから。自分で入力（おそらくブラウザの自動入力機能）してるのに「自分の妻の情報をどこで入手したんだ？」とかもありました。それでもこんなツンデレな対応はしませんからね。しかも今回はとんちんかんな問い合わせではなく、明らかにシステムの不備の指摘なんで、この対応は酷いとしかいいようがありません。

さらに、サポートページの誤記載については以下のようなフィードバックでした。

「現在、新しいサポート導線のトライアルを行っております。」

は？？？だから何？知らんがな。

斜め上の回答すぎて、なんと表現してよいかわかりません。

いずれにしろエンジニアリング力（精度が低い）、プロダクト力（間違うのに機能無効にできない。手動変更方法がわからない）だけでなくサポートもお粗末なのはよくわかりました。

これ、無償のお絵描きソフトとか、オープンソースの何かではなく、有償の業務システムですからね。

ちなみにfreee会計というサービスです。

「freee クレーム」で検索してみたら以下のような記事がありました。

暴言に耐えかね「退職」も　freeeの「カスハラ対策方針」が悪質クレームに示したこと：3カ月に1回発生（1/3 ページ） – ITmedia ビジネスオンライン

これ、まるでfreee社が一方的な被害者みたいに書かれていますが、本当にそんな単純な話でしょうか？

相手が「脅迫」と感じるようなクレームは論外（許されることではない）ですが、今回の酷さを体感した身としてはクレームをした人にも同情してしまいます。たぶん相当にストレス感じたと思うので。

交通事故は重大事故１件に対して軽い事故が３００件、ひやっとする事象は無数にあるといわれます。おそらくfreee会計で私のような体験をした人は無数にいるのではないでしょうか？

freeeは、Googleビジネスプロフィールがありませんが、おそらく解放したら評価１と２で埋まるからでしょうね。

他人事ながら心配になってしまいます。「会計」というルールが明確で枯れた業務で、有力な競合もいる中で存続できるのでしょうか？クラウド対応で先行したので今の地位にいるのでしょうが現在のプロダクト、サポートを考えるとこれ以上の成長はないと思います。5年・10年後には市場から消滅（Money forwardか弥生に買収される）していても不思議ではありません。人事労務とかいろいろとやってるようですが、まぁ推して知るべしでしょう。

会計システムの乗り換えにはコストが必要になるので、クラウド会計サービスを選定する際は、慎重にしたいですね。

弊社としての学び

弊社でも生成AIや機械学習を活用した自動化機能（特にサポート）は当然のように検討してきました。ただ、まさにこういったストレスを利用者に与えるであろうという想像に難くないので投入を控えているわけです。

利用者が求めているのは最新テクノロジーではありません。「直観的に操作できて、意図した結果を得られる」こと。そこが一丁目一番地です。

生成AIや機械学習は「統計」処理なので１００％の精度は保証できません。リコメンドのような利用者が選択できるものや、記事生成のように参照のみでフワッとしている情報はいいですが、利用者が介入する余地のない更新系機能を提供するときは、慎重に。

どれだけAIが進化したとしても、１００％の精度を保証できる論理・ルールを積み重ねた手続き型でしか実装できない処理は業務システムについてはかなり残ると思います。（量子コンピュータが実用化されても変わらないでしょう）

流行や投資家や経営サイドの都合（たとえばAIやってる感ださないと「資金調達できない。採用できない。株価が下がる」）、技術者の自己満足・顕示欲で利用者に迷惑をかけることのないようあらためて心がけします。

投入する場合でも、必ず「オフ」にできるようにします。← これ、料金ランク設定画面でやってしまったことがあるので反省です。

多大なストレスを受けて、時間とお金を浪費しましたが、まぁ授業料ということで。「あるクソシステムとの出会いを反面教師としました」と言えるように頑張ろっと。笑