AIを用いた実システム構築をする際には、ラベル付き正解データを多数用意する必要があり、これが実務上の常なる大きな障壁となります。
そのため、少ないデータで精度の高い学習結果を得ることが出来るよう、汎用性能の高い事前学習済モデルが公開されていますが、ほとんどが英語です。
一方、日本語においては、こうした学習済モデルの公開が殆ど行われておらず、日本語を扱うAIシステムの構築難易度が不用意に高止まりしている現状があります。
そこで当社は、深層学習を用いたアルゴリズムであるELMoの転移学習用事前学習済モデルの日本語版を公開しました。
公開サイトへはこちらからアクセスください。
事前学習モデルを用いることで、自然言語処理における様々な教師あり学習問題において高精度(問題によっては人間以上)をマークできることが実証されています。
そしてその汎用性の高さから、個別の実システムを構築する際にも、当該学習済モデルを転用することで、少ないラベル付き正解データだけでも実稼働レベルの精度をマークできることが期待できます。
また、AllenNLPというオープンソースの研究用ライブラリを継承した以下のコードを用いることで、ELMoによる単語/文書ベクトルを生成することで、転移学習を行うことができます。
https://github.com/HIT-SCIR/ELMoForManyLangs
事前学習済モデルを活用したシステム構築の実装Tipsについても、1/28週より順次公開していきます。是非ご活用ください。