今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。
モデルはHugging Face Hubからダウンロードいただけます。
https://huggingface.co/stockmark/gpt-neox-japanese-1.4b
当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ（2023年6月まで）も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。
詳細は当社のテックブログをご覧ください。
https://tech.stockmark.co.jp/blog/202308_gpt_neox/
また、今回の事前学習モデルの構築は国立研究開発法人産業技術総合研究所（産総研）との共同研究の一環で行われ、事前学習も産総研の計算インフラストラクチャであるABCIで行われました。
当社は今後も大規模言語モデルを活用したサービスの向上を進めていくだけでなく、研究開発で得られた言語資源の公開などを行うことにより、日本語の自然言語処理の発展に貢献します。
「ソフトウェアエンジニアのためのLLM自作・活用勉強会」を9/5にオンライン開催
今回の14億パラメータの日本語LLMの公開に伴い、LLMの自作・活用勉強会をオンラインで開催いたします。
当日はLLMの事前学習開発を行なった際に得られた学びや、プロダクト導入の際の工夫などについても、弊社のリサーチャー、エンジニアから共有させていただきます。
機械学習・自然言語処理の知見をお持ちでない方にもわかりやすくお伝えしますので、ぜひご参加ください。
参加登録は下記URLよりお願いいたします。（無料・オンライン）
https://stockmark.connpass.com/event/292468/