JaSST’26 Tokyoで、LLMでもまず「何をテストしたいか」を考える話をしました

はじめに

こんにちは！ くつしたいぬです！ JaSST’26 Tokyoで、サイボウズのスポンサーセッションで LLMでもいつものテスト技術 〜意外と半分はこれまでのテストでした〜 というタイトルで登壇しました。 この記事では、登壇で話した内容に加えて、社外の参加者に向けて話すことで、自分の仕事をどう捉え直すことになったかを書きます。

話した内容

「LLMでもいつものテスト技術〜意外と半分はこれまでのテストでした〜」というタイトルの通り、LLMアプリをリリースまでテストした経験をもとに、LLMアプリのテストで考えたこと、やったことについて話しました。 細かい技法というよりは、全体的なテストの戦略、方向性に重きを置いた内容です。 自分の経験から、伝えたいなと思ったことのポイントをまとめると、3つあります。

1. やり方を考える前に、テスト対象の分析が重要
2. テスト対象の分析を通して、「何をテストしたいか」を整理する
3. テスト対象の分析には、これまで通りのテスト技術が活きてくる

LLMアプリは品質保証のセオリーが定まり切っていませんし、新しい、より良いやり方をいろいろな方が提案しています。そういう状況だからこそ、「何ができるか」や「どういうやり方があるか」を考える前に「何をテストしたいか」の指針を持った状態でテストを組み立てていくことが重要だと考えています。 LLMアプリのテストでも、手法から入るのではなく、まず「何をテストしたいのか」を定めることが出発点になる、というのが今回いちばん伝えたかったことです。

登壇してみて

社外の人に見てもらうという視点で仕事を捉え直す機会として、登壇はすごく良いものだと感じました。特に今回は、LLMアプリの品質保証をした実体験をもとに話したのでなおさらです。

仕事をしていると、どうしても自分のチームの中に閉じがちで、自分がやっている業務を社外の人に知っていただいたり、コメントをいただく機会はあまりありません。 ですが、登壇するぞ！となると、「自分の活動を知ってもらうには？」「自分の活動のどこが、他の人に知ってもらう価値があるだろう？」と、普段と違う視点で仕事を振り返ることになります。そうした振り返りの中で、まだ言語化できていない学びに気付けます。 発表へのコメントや質問をきっかけに、新しい発見がありますし、自分が個別の悩みだと思っていたことが、他の人にとっても関心のあるテーマなのだと実感できました。

これまでは、比較的参加者の属性が近い場で話すことが多かったので、今回のように幅広い参加者に向けて話すのは初めての経験でした。

幅広い参加者に聞いてもらえる場だったからこそ、席が埋まっていく時のドキドキや発表内容への共感やコメントの嬉しさは大きいものがありました。（もちろん、LT会や社内勉強会で反応いただけるのもとっても嬉しかったです） ドキドキや嬉しさがたくさんあったので、登壇してよかった！という気持ちがすごく大きいですし、とてもポジティブな経験になりました。

おわりに

これまで外部イベントで登壇する機会はあまり多くありませんでしたが、今回のJaSST’26 Tokyoを通じて、外部発信ならではの楽しさを実感しました。 特に、自分の学びや実践を外に向けて整理し、それに対して反応をもらえることの面白さは、実際にやってみて初めて強く感じたことでした。 これをきっかけに、機会があればめげずにプロポーザルも出していきたいと思います。

外部発信もやってみると、思っていた以上に楽しいものだ！ということが少しでも伝わっていれば嬉しいです。