LLMOpsが導く新たな可能性
エクスモーションでは、全社的に生成AIを皆さんの開発現場にどう生かせるかを模索しています。ここでは、生成AIを組み込んだアプリの品質や価値を向上するための手法である”LLMOps”を、CoBrainの開発実例を交えながら紹介します。
目次
１．LLMを統合したSaaS開発の難しさ
LLM（大規模言語モデル）を統合したSaaS開発には多くの課題があります。
まず、LLMは曖昧さを許容する特性から評価基準が人によってぶれやすく、チーム内での一貫性を保つのが難しいという点です。ある開発者はOKと判断しても別の開発者がNGとすることがあり、なりゆきの開発の進め方では不毛な手戻りを繰り返します。
次に、LLMは確率論的に動作するため、従来の確定論的な設計アプローチだけではテスト仕様や期待値が定まりません。自然言語を扱うため入力データも正規化されず、出力データの評価基準にはユーザーの感性品質を組み入れる必要もあります。
最後に、LLMのモデルそのものや周辺技術の進化が著しく、開発・運用に必要なエコシステムのライフサイクルの変化に迅速に適応することが求められる場面も多いのが実情です。
このように複数の要因が絡み合うため、LLMアプリケーションの開発は一筋縄ではいきません。
２．プロンプトやモデルを試せば試すほど難しくなる構成管理と履歴管理
CoBrainでは要件文書の添削を高速に行うため、一定の責務に分割した複数のアプリ（API）を連結あるいは並列動作させて、高速に動作するレビュー機能を実現しています。各APIは「プロンプト」「モデル」「パーサー」という要素で構成されます。
その中でもプロンプトとモデルは、チューニングやLLM自体の進化などの要因で変更が頻発します。ただ、これらの変更は必ずしもすべての面で良い結果をもたらすわけではなく、部分的に悪い結果（デグレ）が生じることも珍しくありません。そのため、最適解を見出し、デプロイするには実験と評価を高速に繰り返す実地的な作業が要求されます。
そして、ユーザーがスムーズに要件文書の添削を行えるようにするには、レビューの精度に加えて応答するコメントの的確さや論調なども重要です。こうした品質を測る重要な要素が、デプロイ後の運用環境で得られるユーザーからのフィードバック情報です。これを収集すれば、データ駆動開発（P8）に類似したアプローチを取ることができ、さらなる改善につなげることができます。
しかしながら、こうした実験を繰り返したりフィードバックに基づいた改善を行う過程で、アプリに組み込まれる各要素の組み合わせ（構成管理）や、それを評価するために使用したデータセットや実験結果の履歴は膨大になっていきます。スプレッドシートなどに人手でメモを取っていても、良好な結果が埋もれてしまうなど、検索が困難になります。そして、後で「あの結果を再現したい」と思ったときにはその調査や準備に時間が掛かったり、完全に再現できないといった事態に陥ります。こうした問題は私たちだけでなく、生成AIを扱う他のSaaS開発でも顕在化してきているようです。
３．「実験環境」と「ヒューマンフィードバック」を活用したLLMOps基盤
最近では、開発・運用環境とシームレスにつながる実験環境を用意し、実験に必要なデータセット、評価対象のプロンプト、モデル、実験結果などを統合して構成管理・履歴管理できるクラウドサービスが登場しています。これを利用することでLLM版のDevOps、つまりLLMOpsの基盤を構築することができます。具体的には次のようなメリットがあります。
【1. ライフサイクルの分離】
運用環境からプロンプト管理を切り離し、プロダクトコードとは分離した構成管理を実現できるため実験を高速に行えます。
【2. 実験環境の構成参照】
開発・運用環境が実験環境の構成管理を参照できます。参照に使用するコミット値を変更するだけで迅速に改善後のプロンプトをリリースできます。
【3. ヒューマンフィードバックの統合管理】
運用環境から取得したヒューマンフィードバックをLLMの実行情報（トレース情報）と紐づけできます。
【4. データのアノテーション機能】
タグ付けによる実験データの分類や、結果のラベリングによる実験結果の定量化など、実験結果の比較や分析を支援する機能が備わっています。
2024年7月より、CoBrainのサービス品質の維持・向上、および開発者の開発体験向上をねらってこうした実験環境を試行しはじめました。実際、開発者からはポジティブな声が挙がっており、このような基盤はなくてはならないものになりつつあります。
７．生成AI×要件定義「CoBrain」
要件定義に特化した、文書作成者とレビュアーのためのAI添削サービス。
要件定義書や要求仕様書をAIが瞬時に添削し、レビュー負荷を軽減。
スムーズな要件定義を促進します。
EdgeTech+ AWARDとは、組込み業界の発展と国内産業の競争力向上に寄与する、優れた組込み技術や製品、ソリューション、サービス、IoT技術を発掘し、その成果と功績を国内外に広く顕彰する取組みです。
こちらから
８．コンサルタントが教える成功の秘訣
生成AIを使ったプロダクトのローンチは楽ではありません。納得できる品質を届けるには品質の受入基準をチームできっちり言語化し、それを検証可能なレベルまで詳細化するという地道な活動が必要です。これは従来通りのQAアプローチにも聞こえますが、LLMを組み込んだプロダクトという領域での適用は模索段階にあります。そのため、外部から知見を収集したり、日々スクラム内で議論・勉強している状況です。
そして、こうした活動を積み上げることによって、将来お客様独自のレビュー観点を組み入れた添削、ドメイン知識を生かした添削といったカスタマイズニーズにもお応えできないかと考えています。こうした知見はCoBrainのみならず、皆さまのプロダクトにLLMを組み込むときにもきっと役立つでしょう。エクスモーションでは、こうした生成AIに関するノウハウを還元できるよう実践経験を溜めているところです。
エクスモーションが提供するLLMOps関連サービス
CoBrain
要件定義に特化した、文書作成者とレビュアーのためのAI添削サービス。要件定義書や要求仕様書をAIが瞬時に添削し、レビュー負荷を軽減。スムーズな要件定義を促進します。
生成AI現場活用
業務自動化や効率化、新たな価値創出を目指します。
要求仕様書作成手法導入支援サービス
企業が効率的かつ効果的に要求仕様書を作成するための手法やプロセスを導入・改善する支援サービスです。これにより、プロジェクトの成功率向上と開発コストの削減を図ります。
LLMOps関連ソリューション
