LLMの実用化においては、追加で提供する「インストラクションデータ」の品質が重要であることがOpenAIの論文などからもわかっております。
弊社は、日本語における高い品質のインストラクションデータを作成する理化学研究所との共同研究に2023年9月から参画しており、そこで得られたデータで、ユーザーの指示に従うように追加学習を実施したLLMを公開いたしました。
詳細は以下をご確認下さい。
https://tech.stockmark.co.jp/blog/202311_stockmark_13b_instruct/
また、理化学研究所 革新知能統合研究センターからもプレスリリースが発表されています。こちらもあわせてご覧ください。
https://aip.riken.jp/news/20231110_llm_sekine-t/