Money Forward Lab、理化学研究所との共同研究による日本語インストラクションデータで学習された 大規模言語モデル(LLM)を公開【PR】



【PR:マネーフォワード様】

MF_マネーフォワード_クラウド_新ロゴ_new_記事トップ_クラウド会計ソフト・MFコーポレート

株式会社マネーフォワードは、当社の研究開発組織Money Forward Labと、国立研究開発法人理化学研究所革新知能統合研究センター 言語情報アクセス技術チームが共同で取り組む大規模言語モデル(Large Language Model、以下「LLM」)に関する研究において、2023年11月15日(水)にその進捗成果としてリリースされたインストラクションデータを用いて学習させたLLMを公開しました。

モデルの詳細と今後の展開

LLMは、膨大な量のテキストデータと深層学習の技術を用いて人間のような自然な文章を生成できる言語モデルですが、特定の言語や分野に特化した高い精度の出力結果を得るためには、LLMの追加学習が必要です。追加学習には、タスクとそれに対する出力の指示(インストラクション)のデータセットを学習させるインストラクションチューニングという手法が存在します。今回の共同研究では日本語のインストラクションデータを開発することに注力しており、Money Foward Labは、共同研究で得られた最新の2,903件のインストラクションデータを用い、rinna株式会社が開発した『Youri7B』に対して インストラクション・チューニングを行いました。当社でチューニングを行ったモデル『houou-7b』と、他のインストラクションデータを使って学習したモデルを比較すると、回答生成の精度の大幅な改善が認められ、少量であっても質の高い日本語データを作成することで、効果的にLLMを学習できることが確認できました。
なお、本モデルの名称『houou』は、「お金を前へ。人生をもっと前へ。」という当社のミッションに基づき、日本の紙幣にデザインされている鳥・鳳凰から採用しました。
『moneyforward/houou-instruction-7b-v1(houou-7b)』は、以下のウェブサイトでLLAMA 2 Community Licenseで公開しています。
https://huggingface.co/moneyforward/houou-instruction-7b-v1

Money Foward Labでは、共同研究で作成したインストラクションデータのアップデートに合わせて、2024年3月まで継続的にモデルをリリースしていく予定です。また、本研究を通して得た知見を元に、当社の事業の1つであるバックオフィス向けSaaS事業において活用可能なLLMを実現するため、日本国内の経理財務や人事労務領域に特化したインストラクションデータの開発にも取り組んでまいります。
※『Youri 7B』は、Meta Platforms, Inc.がオープンソースとして公開したLLM『Llama-2 7B』に日本語の学習データを用いて継続事前学習を行うことで、高い日本語のテキスト生成能力を持たせたモデルです。

Money Forward Labについて

Money Forward Labは、「お金のメカニズムを解き明かすことで、人生に笑顔と驚きを。」をミッションとして、テクノロジーとデータを駆使した研究開発に取り組んでいます。
現在は、企業のバックオフィスが抱える可能性がある将来の課題を予測し、それを解決するためのアクションを実行・提案する「Autonomous BackOffice」(オートノマス・バックオフィス:バックオフィスの自律化)実現のための研究開発に注力しています。

主な研究内容

  • 大規模言語モデルのドメイン最適化
  • 信用リスク分析
  • 金融行動分析

国立研究開発法人理化学研究所について

名称  :国立研究開発法人理化学研究所
所在地 :埼玉県和光市広沢2-1
代表者 :理事長 五神 真
設立  :1917年(大正6年)
事業内容:日本で唯一の自然科学の総合研究所として、物理学、工学、化学、数理・情報科学、計算科学、
生物学、医科学などに及ぶ広い分野で研究を進めている。
URL  :https://www.riken.jp/

株式会社マネーフォワードについて

名称  :株式会社マネーフォワード
所在地 :東京都港区芝浦 3-1-21 msb Tamachi 田町ステーションタワーS 21F
代表者 :代表取締役社長CEO 辻庸介
設立  :2012年5月
事業内容:PFMサービスおよびクラウドサービスの開発・提供
URL  :https://corp.moneyforward.com/
主要サービス:
お金の見える化サービス『マネーフォワード ME』 https://moneyforward.com/
バックオフィスSaaS『マネーフォワード クラウド』 https://biz.moneyforward.com/

*記載されている会社名および商品・製品・サービス名(ロゴマーク等を含む)は、各社の商標または各権利者の登録商標です。

本件に関するお問い合わせ先

株式会社マネーフォワード広報
E-mail:pr@moneyforward.co.jp

会計事務所の業務改善と収益増加を実現するマネーフォワード クラウド会計

MF_マネーフォワード_クラウド_新ロゴ_new_記事トップ_クラウド会計ソフト・MFコーポレート

マネーフォワードは、会計事務所の皆様の専門性が最大限に発揮できる環境をサポートする事により、中小企業の抱える課題を共に解決するパートナープログラムをご用意しております。オンライン無料相談を承っておりますので、お気軽にご予約ください。

オンライン無料相談のご予約はこちら

引用元:Money Forward Lab、理化学研究所との共同研究による日本語インストラクションデータで学習された 大規模言語モデル(LLM)を公開|株式会社マネーフォワード



公認会計士ナビの編集部です。公認会計士や監査法人業界の様々なニュースや情報をお届けしています。

会計士の転職なら!

公認会計士ナビ_公認会計士専門の転職エージェント

会計士の採用なら!

公認会計士ナビの人材紹介サービス

パートナー企業

公認会計士ナビは以下のオフィシャルパートナー様にサポート頂いております。

【プレミアムパートナー様】


Clifix_logo_330_280


【プラチナパートナー様】


Ohwa_banner_應和監査法人_agn INTERNATIONAL_バナー用


PwCJapan有限責任監査法人


株式会社エッサム


弥生会計


リンクパートナーズ法律事務所


青山綜合会計事務所


管理部門支援のプロフェッショナル集団・Bridgeグループ


令和アカウンティング・ホールディングス



【ゴールドパートナー様】


南青山アドバイザリーグループ


公認会計士によるM&A・IPO支援はスタンドバイシー


TKW M&Aファイナンス会計税務事務所_ロゴ


事業再生・M&Aのプロ集団「J-TAP Group」_ロゴ


会計事務所の強みになるクラウド会計freee


バックオフィスから経営を強くする「マネーフォワード クラウド」

東京共同会計事務所

グローウィン・パートナーズ株式会社

クラウドERPのビーブレイクシステムズ


YKPlanning_logo_1500_500


海外進出支援のCaN International


→パートナー企業一覧


→パートナープラン詳細

  1. 四大監査法人を比較する_2022年10月版

    BIG4監査法人を比較!2022年10月版_四大監査法人の決算・業績(売上…

  2. 弥生PAPカンファレンス2019春会場写真

    消費税法改正に際して会計事務所は顧問先をどう支援すべきか?:弥…

  3. エンジェル投資家、ケップルのみなさん

    公認会計士が開発した投資家・起業家向けサービス「FUND BOARD」が…

  4. 会計士から寿司講師やライフプランナーへ転身!?“会計士じゃない会…

  5. マネーフォワード、公認会計士税理士事務所開業の手引きサムネイル

    【実例あり】会計士の独立の準備と疑問が事例つきでよくわかる!『…

  6. 公認会計士業界時事ニュース

    監査法人に働き方改革、EYが戦略コンサルを提供するEYパルテノン発…

会計士の独立に!PR

■税理士開業塾

税理士会業塾:公認会計士の独立支援

公認会計士ナビの転職エージェント