2026.06.25 学会発表 研究成果 論文
国産生成AI基盤の独自開発や生成AIサービスを提供するストックマーク株式会社(本社：東京都港区、代表取締役CEO：林 達、以下：ストックマーク)研究開発チーム Knowledge Unitのリーダー広田 航は、国立研究開発法人産業技術総合研究所(東京本部：東京都千代田区、理事長：石村 和彦、以下：産総研)人工知能研究センターの石垣達也らと共に大規模言語モデル(LLM)によるビジネスアイデアの評価を個別最適化する手法を開発しました。
この成果は、製品・ビジネスアイデアの評価において、評価者の判断基準を一律に平均化するのではなく、個別に扱うことが重要であることを示しています。ストックマークと産総研グループ(産総研と株式会社AIST Solutions(本社：茨城県つくば市、代表取締役社長：逢󠄀坂 清治))が「ストックマーク－産総研 大規模言語モデルによる知的創造技術共創プロジェクト※1」を通じて取り組む、AIを活用したアイデア自動生成・新規事業支援技術の発展にとって、重要な一歩となります。
この成果の詳細は、AIおよび自然言語処理(NLP)分野で最も権威のある国際会議の一つであり、2026年7月2日～7日の期間、アメリカ合衆国カリフォルニア州サンディエゴで開催される「The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)」において発表されます。
・ACL 2026：https://2026.aclweb.org/
※1：https://stockmark.co.jp/r-and-d/topics/20260415/(2026年4月15日)
今回開発された手法は、新規事業創出のような「正解がない・人によって意見が分かれる」といった課題において、製品・ビジネスアイデアの価値をLLMで自動評価するもので、ビジネスアイデアの評価を個別最適化(パーソナライズ)します。
近年顕著に発展しているLLMは、自らの出力を評価し、そのフィードバックをもとに学習を繰り返すことにより、数学やプログラミングなどの領域の「正解がある・評価に個人差がない」といった課題においては高精度な出力を実現しています。
しかしながら、実際のビジネスにおけるアイデアの評価は多角的な基準に依存し、評価者の間でも意見が分かれる領域であり、LLMをビジネスアイデアの創出に利用するためには、有望なアイデアを選ぶ評価工程がボトルネックになっています。本論文では、LLMによる平均的な評価の限界を示した上で、特定の人間をモデル化したパーソナライズLLMの必要性を実証しました。
【論文名】Aggregate vs. Personalized Judges in Business Idea Evaluation: Evidence from Expert Disagreement
【主著】広田 航(ストックマーク)
【共著】谷口友紀/大熊智子 (旭化成)、高橋洸丞/近江崇宏/有馬幸介/朝倉卓人 (ストックマーク)、
Chung-Chi Chen (国立情報学研究所)/石垣達也 (産総研)
【概要】
・従来の LLM によるアイデア発想の評価の多くは、評価者同士の評価一致度が高いという前提のもと、
LLM による自動評価によって有効性を検証している。
・本研究では、特許に基づく300の製品アイデアに対し、
評価者が付与した約3,000件の評価を含むデータセット「PBIG-DATA」を構築。
・複数の評価者の履歴を集約した「Aggregate judge」と、
特定の評価者の履歴に基づく「Personalized judge」の精度を比較。
【結論】
・LLMが複数の評価者のスコアを単純に平均化した評価を出した場合、
その評価は誰の意見とも一致せず、実用的ではないことが示された。
・特定の評価者の過去の採点履歴に基づくパーソナライズされた評価(Personalized judge)の方が、
集約された評価(Aggregate judge)よりも、実際の評価者の評価とより強く一致した。
・正解が定まらないビジネスアイデアの評価においては、
個人の視点をモデル化した評価LLMの設計が不可欠である。
近年、LLMをはじめとする生成AIのビジネス活用が進む一方で、新規事業創出のような「正解のない問い」に対して、AIの出力をいかに評価し、実務で使えるレベルに引き上げるかが業界全体の課題となっていました。産総研グループとストックマークの研究チームは、ビジネス領域におけるAIエージェントの最適な評価・設計手法の探求を続けてまいりました。
従来、アイデアの自動評価では、複数の評価者のスコアを単純に平均化したスコアを「正解」とみなすことが一般的でした。本研究では、評価者同士の意見不一致が単なるノイズではなく、評価者ごとに独自の評価基準を持ち、重視する観点が異なることに着眼しています。今回の発表では、評価者ごとの判断基準をモデルに組み込む Personalized judge の重要性を実証しました。
本研究で構築された、大量の製品・ビジネスアイデアに対して評価者が多面的に評価したベンチマークデータセットを公開します。ビジネスアイデアの具体性、技術的妥当性、革新性、競争優位性、ニーズ妥当性、市場規模など、事業化判断に関わる評価のデータベースです。
本研究のノウハウを活かしたパーソナライズ機能は、ストックマークが公開した「事業立案支援AIエージェント(SAT)」（https://stockmark.co.jp/news/20260409）に搭載しており、今後も「使っていくほど自分が使いやすいように育てていけるAIエージェント」の実現を予定しております。また将来的には、企業内の研究開発テーマ探索、新規事業アイデアのスクリーニング、技術シーズの用途探索などにおいて、専門家による評価の判断を補助するAIシステムへの応用を目指します。
ストックマークと産総研グループは、「ストックマーク－産総研 大規模言語モデルによる知的創造技術共創プロジェクト」を通じて、最先端の生成AI技術を通じて、日本企業のイノベーションを強力に後押ししてまいります。
AI活用は競争力維持のために不可欠な要素となっています。しかし、多くの企業が「データが整備されていない」「現場への定着が進まない」「具体的な成果に繋がらない」といった課題に直面しています。ストックマークは、こうした課題を包括的に解決するため、以下の6つソリューションを提供しています。
当社は、独自の自然言語処理技術などを用いて、テキストだけでなく図面や仕様書、過去の判断ロジックといった複雑な知恵をAIが活用できる形へと構造化します。これにより、単なる効率化の枠を超え、人が本来注力すべき「価値創造」や「専門性の研磨」に没頭できるよう、業務プロセスそのものを再設計する「AI BPR(Business Process Re-engineering)」を推進します。
AIが「停滞感を生む単純作業」を自律的に担い、人は「高付加価値業務」へとシフトし、「シゴトを心から楽しめる」状態を創り出すことで、日本企業の競争力を底上げしてまいります。
・ストックマークソリューション：https://stockmark.co.jp/solution/
ストックマーク株式会社は「価値創造の仕組みを再発明する」をミッションに掲げ、最先端の生成AI技術を活用し、多くの企業の企業変革を支援しています。
製造業向けAIエージェント「Aconnect」及び、あらゆるデータを構造化し企業の資産に変える「SAT」を運営しています。さらに、企業特化生成AIの開発や、独自システムの構築も支援しています。
会社名 ：ストックマーク株式会社
所在地 ：東京都港区南青山一丁目12番3号 LIFORK MINAMI AOYAMA S209
設立 ：2016年11月15日
代表者 ：代表取締役CEO 林 達
事業内容：最先端の生成AI技術を活用した、
企業のナレッジマネジメント・生成AIの業務適用を支援するサービスの開発・運営
URL ：https://stockmark.co.jp/
ストックマーク株式会社
担当：畑中(ハタナカ)
MAIL：pr_stockmark@stockmark.co.jp
