きっかけ・はじまり
ヒアリングから生まれたプロジェクト
まずは皆さんの業務内容についてお聞かせください。
(K.Y)CSサポートAIプロジェクトにおいて、プロジェクトリーダー及び開発業務を行っております。
(H.K)CSチームのマネージャーをしています。
(G.K・K.A)CSチームの一員として、お客様からの質問や問題に対して、様々なシステムを使用して対応しています。時にはクレームや苦情を適切に処理し、お客様が満足する解決策を提供しています。
プロジェクトについて概要を教えていただけますか?
(K.Y)AIに知見のある学生をインターンとして雇用し、インターン生と一緒にAIを用いた機能を開発して業務効率化を図るプロジェクトです。このプロジェクトでは生成系AI(LLM)や、機械学習というような、AIの技術を用いて、作業の自動化を目指し、最終的にCSチームの作業工数を削減し、業務効率化を図ることを目的としています。
今回のプロジェクトが始まるきっかけは何だったのでしょうか?
(K.Y)2024年6月頃に、CSチームの業務負担をAI技術を用いて軽減できないだろうか?という発案が社内で提起されたことを上長からお聞きしました。そこで、CSチームとのキックオフMTGを実施し、実際の業務内容をヒアリングしながら、AIの活用是非についてすり合わせを行いました。
そこでAIでの実現可能性の高さを実感し、実際にプロジェクトを実施することになりました。
課題と感じていたのは具体的にどこだったのでしょうか?
(K.Y)以下が主な課題として挙げられました。
・電話問い合わせに関して、聞き漏れなどのヒューマンエラーが発生する。
・返信メールに関して、テンプレートを選択 & 穴埋め作業する作業が面倒。
・注文情報を管理システムに探しに行くのが大変。
・お詫びメールは人力なので、心象が悪くならないようなメールの作成に時間がかかる。
(H.K)そうですね。対応しているブランド数が多く、以前からマニュアル等は作成しているものの、細かな部分で対応が異なる箇所があったり、品質の均一化と業務習得までかかる時間が課題でした。
また、すべてがテンプレートで返信出来ないので、どうしても手入力部分は考える必要がありその工数も課題でした。
(K.Y)そもそも問い合わせの数が多いんですよね。
(H.K)一概には言えないですが、月に約2,000〜3,000件ですね。アパレルECがメインなので夏セール、冬セールの時期は3,000〜4,000件ぐらいに増えますね。返信のテンプレートの用意はされていますが、そもそも完全テンプレートそのままで返せる問い合わせはないんです。なので、必要な箇所を穴埋めしたり、内容を変えたり、商品管理システムの担当者に問い合わせたり…。当然、慣れないメンバーの場合は上長のチェックが必要になります。
(K.Y)テンプレートを選ぶ作業にも時間がかかるのでしょうか?
(H.K)慣れていないと当然時間がかかりますね。
(G.K)ベテランであっても、管轄外のサイトであれば時間がかかります。基本的に担当サイトは決まっていますが、各メンバーが休みの時は担当以外のサイトも対応するんですよ。結局、ベテランは全サイト担当する形になってしまいますね。
(K.Y)木下さんが課題と感じる点はどこでしたか?
(G.K)品質の維持です。迅速・正確・丁寧な対応が理想ですが、短い時間で多くの問い合わせに対応する場合、品質を保つのが難しいことがあります。
(K.Y)返信文を作成する作業はどのくらい時間がかかるものなのでしょうか?
(G.K)1件の対応に長いものだと15分くらいでしょうか。作成する返信文に決まった正解はないので個別の対応が必要ですし、誤字脱字や敬語表現や文章構成に誤りがないかを、社内チェックする作業も発生します。
(H.K)お客様に向き合う作業は、どうしても個々のレベルのばらつきが生まれてしまい、かかる時間に差が生まれてしまうのが実情でしたね。
どのようにしたか
部署を跨いだ緻密なコミュニケーションで解決を
コミュニケーションはどのように進めていったのでしょうか?
(K.Y)CSチームとは定期的に対面でMTGを行い、ヒアリングやプロトタイプを実演しながら方向性と認識の違いがないか確認を行いました。
(H.K)システムと実際の業務の双方がマッチしないといけませんからね。CSの実業務を理解いただくことに骨を砕きました。実際の業務を見ていただくのが一番早いと、現状のメールシステムのテンプレートを使って返信する一連の流れを実演したり。AIで何ができるのか・どこまでできるのかがわからない中で、定期MTGの場をフル活用して相談しながらすり合わせました。
(K.Y)改めて、実際に会話してのヒアリングが大事だなと強く感じましたね。私はこれまで要件定義の段階から関わることが少なく、ヒアリングから担当する機会は貴重でした。現場の声が大事なので、間違った方向に進まないよう、動画や写真等の資料を工夫して、何度も方向性をすり合わせしましたね。
課題を解決するアイデアはどのように生まれたのですか?
(H.K)もともと自動チャットやIVR等でお問い合わせに関する効率化が図れるのではと、漠然と考えていました。ただあくまで理想だったところを、うまく噛み砕いて具現化してくれました。
(K.Y)CSチームとのコミュニケーションを持ち帰り、開発チーム内での朝会や週次定例で議論を深め、解決策となるアイデアが生まれました。ミーティングにはインターン生だけでなく、チームマネージャー、外部アドバイザーに参加いただいて、積極的な意見交換で良いアイデアが生まれやすい雰囲気がありましたね。
開発はどのように進められましたか?
(K.Y)弊社ではこれまでLLMや機械学習を活用したAIプロダクトの開発経験がなかったため、どのようなアプローチが最も効果的かを見極める必要がありました。この検証・判断には多くの課題が伴いましたが、AIに精通したインターン生や外部アドバイザーの意見や、AWS Japanのソリューションアーキテクトの方々からMTGを通じて頂いたアドバイスに大いに助けられました。
また、今回、アジャイル的な手法を採用し、プロトタイプを開発しながらCSチームからのフィードバックを随時反映させ、柔軟に開発を進めたこともトピックとして挙げられます。このプロセスでは、CSチームとの密なコミュニケーションが必要だっただけでなく、インターン生とも連携しながら、適切にタスクを細分化し、進捗を管理していくことが非常に重要でした。スムーズに進むための調整は大変でしたが、プロジェクト全体の効率化を実現できたと思います。
何を実現したか
できあがったときの気持ちはいかがでしたか?
(K.Y)チーム一丸となって開発したため、達成感がありました。と同時に、CSチームに本格的に使ってもらうためには、まだまだ改善点があるなと感じました。
(G.K)業務の効率化や品質向上への期待感がありましたね。
実際に導入してみて変化は感じられましたか?
(K.A)1件にかかる時間の短縮を実感しました!自分の作った文章の言い回しについて、AIが自動校正してくれるので自分の文章を調べたりする手間が省かれました。とても楽ですね!
(H.K)誤用や誤字・脱字のチェック自動化は助かりますね。赤ペン先生みたいです(笑)
(K.Y)ありがとうございます!生の声を聞けて嬉しいですね。赤ペン先生でアイデアが浮かんだのですが、AIがなぜこの修正を実行したのかについても理由を表示できるようにしても良いかもしれないですね。
(K.A)確かに、それありがたい!テスト利用時に修正理由について知りたいと思うことがありましたので。
(K.Y)もっと言うと、修正箇所を受け入れるかどうかの機能も実装できると思うので、CSチームとAIが対話しながらの業務遂行が実現できそうですね。
これからについて
改善点が向上への一歩目となる
今後、改善していきたいポイントはどこでしょうか。
(G.K)API全体のレスポンス速度の向上ですね。毎日使う想定のため、早いに越したことはないですからね。
(K.Y)レスポンス速度の向上は必須ですよね。当初よりもさらに早くなっていますが、引き続き改善を実施していきます。
(K.A)それは楽しみですね。
(G.K)あとは返信テンプレートマッチングの精度向上、メール作成APIの文章の品質向上ですね。
(K.Y)メール作成時、元の文章を「丁寧に」「簡潔に」など設定出来たり、プロンプト[AIへの指示文]を自分で入力できた方が良いでしょうか?
(G.K)それは便利です!自分でChatGPTに聞いていることもありますので。
(K.Y)ありがとうございます!他にもあれば改善要望を受け付けるシートを用意したのでどしどし書いてください!
(K.A)もうすでに先ほど改善シートに要望を入れちゃいました。
(一同)(笑)