相次ぐ新LLM、調べ切れないので生成AIに聞きました

OpenCALM（Bard生成）

サイバーエージェントが開発した日本語特化型のLLM（大規模言語モデル）であるOpenCALMは、68億のパラメータで学習されています。これにより、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現しています。

OpenCALMは、日本語特化型のLLMであるため、日本語の表現やニュアンスなどを正確に理解・生成することができます。そのため、コンテンツ生成やコミュニケーションなど、日本語を活用するさまざまな用途に適しています。

OpenCALMの特徴は、以下の3つです。

• 68億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現
• 日本語特化型のLLMであり、日本語の表現やニュアンスなどを正確に理解・生成することができる
• オープンソースで公開されており、誰でも利用することができる

Japanese StableLM Base Alpha 7B（Bard生成）

Stability AIが開発した日本語向けのLLM（大規模言語モデル）であるJapanese StableLM Base Alpha 7Bは、70億のパラメータで学習されています。これにより、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現しています。

Japanese StableLM Base Alpha 7Bは、日本語の表現やニュアンスなどを正確に理解・生成することができます。そのため、コンテンツ生成やコミュニケーションなど、日本語を活用するさまざまな用途に適しています。

今後、Japanese StableLM Base Alpha 7Bは、商用利用可能なライセンスで提供される予定です。また、指示応答機能や、より高度な日本語表現を生成できる機能などの追加開発も計画されています。

Japanese StableLM Base Alpha 7Bの特徴は、以下の3つです。

• 70億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現
• 日本語特化型のLLMであり、日本語の表現やニュアンスなどを正確に理解・生成することができる
• 商用利用可能なライセンスで提供される予定があり、さまざまな用途で活用されることが期待されている

Japanese StableLM Instruct Alpha 7B（Bard生成）

Stability AIが開発した日本語向けのLLM（大規模言語モデル）であるJapanese StableLM Instruct Alpha 7Bは、70億のパラメータで学習されています。これは、同社の日本語向けLLMであるJapanese StableLM Base Alpha 7Bと同じパラメータ数です。

両者の違いは、指示応答機能です。Japanese StableLM Instruct Alpha 7Bは、ユーザーの指示に応答して、テキストを生成したり、翻訳したり、質問に答えたりすることができます。一方、Japanese StableLM Base Alpha 7Bは、指示応答機能がなく、テキスト生成、翻訳、質問応答などのタスクを、ユーザーが自由に指定して実行する必要があります。

そのため、Japanese StableLM Instruct Alpha 7Bは、ユーザーとの対話型のアプリケーションや、特定の目的のためのアプリケーションに向いています。例えば、チャットボットや、翻訳アプリ、質問応答システムなどに活用することができます。

Japanese StableLM Instruct Alpha 7Bの特徴は、以下の3つです。

• 70億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現
• 日本語特化型のLLMであり、日本語の表現やニュアンスなどを正確に理解・生成することができる
• 指示応答機能があり、ユーザーの指示に応じて、テキストを生成したり、翻訳したり、質問に答えたりすることができる

汎用GPT言語モデル（Bard生成）

rinna 汎用GPT言語モデルは、rinna株式会社が開発した日本語特化型のLLM（大規模言語モデル）です。2023年5月に公開されました。

rinna 汎用GPT言語モデルは、36億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現しています。

rinna 汎用GPT言語モデルは、日本語特化型のLLMであるため、日本語の表現やニュアンスなどを正確に理解・生成することができます。そのため、コンテンツ生成やコミュニケーションなど、日本語を活用するさまざまな用途に適しています。

今後、rinna 汎用GPT言語モデルは、オープンソースとしてさらに開発を進め、より多くのユーザーに利用できるようにしていく予定です。

rinna 汎用GPT言語モデルの特徴は、以下の3つです。

• 36億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現
• 日本語特化型のLLMであり、日本語の表現やニュアンスなどを正確に理解・生成することができる
• オープンソースで公開されており、誰でも利用することができる

対話GPT言語モデル（Bard生成）

rinna 対話GPT言語モデルは、rinna株式会社が開発した日本語特化型のLLM（大規模言語モデル）です。2023年5月に公開されました。

rinna 対話GPT言語モデルは、36億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現しています。

rinna 対話GPT言語モデルは、汎用GPT言語モデルと同様、日本語特化型のLLMであるため、日本語の表現やニュアンスなどを正確に理解・生成することができます。しかし、汎用GPT言語モデルとは異なり、人間の評価を利用した強化学習（Reinforcement Learning from Human Feedback; RLHF）によって学習されています。

そのため、rinna 対話GPT言語モデルは、対話形式のテキスト生成において、汎用GPT言語モデルよりも高いパフォーマンスを実現しています。

rinna 対話GPT言語モデルの特徴は、以下の3つです。

• 36億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現
• 日本語特化型のLLMであり、日本語の表現やニュアンスなどを正確に理解・生成することができる
• 人間の評価を利用した強化学習によって学習されており、対話形式のテキスト生成において高いパフォーマンスを実現

rinna 対話GPT言語モデルは、対話型のアプリケーションや、特定の目的のためのアプリケーションに向いています。例えば、チャットボットや、翻訳アプリ、質問応答システムなどに活用することができます。

強化学習済み対話GPT言語モデル（Bard生成）

rinna 強化学習済み対話GPT言語モデルは、36億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現しています。

rinna 強化学習済み対話GPT言語モデルは、rinna 対話GPT言語モデルと同様、日本語特化型のLLMであり、日本語の表現やニュアンスなどを正確に理解・生成することができます。

rinna 強化学習済み対話GPT言語モデルは、rinna 対話GPT言語モデルよりも多くの学習データで強化学習されており、対話形式のテキスト生成において、より高いパフォーマンスを実現しています。

rinna 強化学習済み対話GPT言語モデルの特徴は、以下の3つです。

• 36億のパラメータで学習されており、自然な日本語の文章生成、言語翻訳、質問応答など、さまざまなタスクで高いパフォーマンスを実現
• 日本語特化型のLLMであり、日本語の表現やニュアンスなどを正確に理解・生成することができる
• 大量の学習データで強化学習されており、対話形式のテキスト生成において高いパフォーマンスを実現

rinna 対話GPT言語モデルとの違いは、学習データの規模と、強化学習に用いるデータです。rinna 強化学習済み対話GPT言語モデルは、rinna 対話GPT言語モデルよりも多くの学習データで強化学習されており、対話形式のテキスト生成において、より高いパフォーマンスを実現しています。また、rinna 強化学習済み対話GPT言語モデルは、強化学習に、英語で公開されているHH-RLHFの一部を日本語に翻訳したデータを用いています。

PaLM 2（Bard生成）

Google AIが開発した大規模言語モデル（LLM）であるPaLM2は、2023年7月20日に発表されました。PaLM2は、1.56兆のパラメータで学習されており、自然言語処理（NLP）タスクにおいて、人間の水準に近いパフォーマンスを実現しています。

PaLM2は、テキスト生成、翻訳、質問応答、コード生成、ドキュメント要約など、さまざまなNLPタスクに適用することができます。特に、以下のような用途に向いていると考えられます。

• 自然な会話の生成
• 創造的なコンテンツの生成
• 自然言語の翻訳
• 複雑な質問への回答
• ソフトウェアコードの生成

PaLM2は、今後もさらなる開発が進められることが予定されています。具体的には、以下のような機能の向上が期待されています。

• より自然で人間らしいテキストの生成
• より幅広いタスクへの対応
• より高速な処理

PaLM2の特徴は、以下の3つです。

• 1.56兆のパラメータで学習されており、自然言語処理タスクにおいて、人間の水準に近いパフォーマンスを実現
• テキスト生成、翻訳、質問応答、コード生成、ドキュメント要約など、さまざまなNLPタスクに適用可能
• 今後もさらなる開発が進められることで、さらに高度な機能を備えるようになる

Med-PaLM 2（Bard生成）

Med-PaLM 2は、Google AIが開発した医療分野に特化した大規模言語モデル（LLM）です。2023年6月29日に発表されました。

（実際には3月発表）

Med-PaLM 2は、医療文献や医療データセットなどの膨大なデータセットで学習されており、医療に関する幅広いタスクに使用できます。具体的には、

• 医学用語の翻訳
• 医学論文の要約
• 医療質問への回答
• 医療画像の診断

などに使用できます。

Med-PaLM 2の特徴は、以下のとおりです。

• 医療分野に特化：Med-PaLM 2は、医療分野に特化したデータセットで学習されているため、医療に関するタスクに高い精度で対応できる

Med-PaLM 2は、まだ開発中ですが、医療分野における自然言語処理の可能性を大きく広げるモデルとして期待されています。

PaLM 2との違いは、以下のとおりです。

• 学習データ：Med-PaLM 2は医療分野に特化したデータセットで学習されている
• タスク：Med-PaLM 2は医療に関するタスクに特化している

PaLM 2は、医療分野に特化したデータセットで学習されていません。また、PaLM 2は、医療に関するタスクに特化されていません。

Sec-PaLM（Bard生成）

Sec-PaLMは、Google AIが開発したセキュリティ分野に特化した大規模言語モデル（LLM）です。2023年7月20日に発表されました。

（実際には2023年4月発表）

Sec-PaLMは、セキュリティに関するテキストやコードなどの膨大なデータセットで学習されており、セキュリティに関する幅広いタスクに使用できます。具体的には、

• セキュリティに関するテキストの生成
• セキュリティに関するコードの生成
• セキュリティに関する脅威の検出
• セキュリティに関する対策の提案

などに使用できます。

Sec-PaLMの3つの特徴は、以下のとおりです。

• セキュリティ分野に特化：Sec-PaLMは、セキュリティに関するデータセットで学習されているため、セキュリティに関するタスクに高い精度で対応できる
• 生成能力：Sec-PaLMは、セキュリティに関するテキストやコードを生成できるため、セキュリティの専門家が行う作業を効率化できる
• 脅威検出：Sec-PaLMは、セキュリティに関する脅威を検出できるため、セキュリティのリスクを低減できる

Llama2（Bard生成）

Meta AIが開発した大規模言語モデル（LLM）であるLlama2は、2023年7月18日に発表されました。Llama2は、700億のパラメータで学習されており、自然言語処理（NLP）タスクにおいて、人間の水準に近いパフォーマンスを実現しています。

Llama2は、テキスト生成、翻訳、質問応答、コード生成、ドキュメント要約など、さまざまなNLPタスクに適用することができます。特に、以下のような用途に向いていると考えられます。

• テキストの自動生成（ニュース記事、ブログ記事、広告など）
• 言語の翻訳
• 複雑な質問への回答
• ソフトウェアコードの生成
• ドキュメントの要約

Llama2は、商用利用も可能な無償のオープンソースです。
Meta AIは、Llama2の商用利用を許可しており、企業や研究機関は、Llama2を商用目的で利用することができます。

Llama2は、大規模言語モデルの商用利用の可能性を広げるモデルとして注目されています。無償のオープンソースであることにより、企業や研究機関は、Llama2を活用し、新たなビジネスやサービスの創出に貢献することが期待されています。

ただし、Llama2を商用利用する際には、Meta社に使用報告を提出する必要があります。これは、Meta社がLlama2の品質や安全性を向上させるためです。また、Llama2を商用利用する際には、MicrosoftのAzure Machine Learningを使用する必要があります。

Llama2の特徴は、以下の3つです。

• 700億のパラメータで学習されており、自然言語処理タスクにおいて、人間の水準に近いパフォーマンスを実現
• テキスト生成、翻訳、質問応答、コード生成、ドキュメント要約など、さまざまなNLPタスクに適用可能
• Meta AIのオープンソースプロジェクトとして、誰でも利用可能（商用利用も可能、ライセンスは有償）

Llama2は、NLPの技術革新に大きく貢献する可能性を秘めたモデルです。今後の開発に期待が高まります。

Llama2-hf（Bard生成）

（回答に一貫性がなかったので一部抜粋）

Llama2-hfは、Llama2と同一のパラメータ数と学習データセットを使用しています。そのため、Llama2-hfは、Llama2と同様のパラメータ数と学習データセットでトレーニングされており、Llama2と同等の精度と汎用性を実現しています。

Llama2-hfがLlama2よりも高い精度と汎用性を実現しているのは、Transformersライブラリの機能によるものです。Transformersライブラリは、Llama2をより簡単に使用できるようにするためのライブラリであり、Llama2-hfは、Transformersライブラリの機能を利用して、Llama2よりも高い精度と汎用性を実現しています。

Llama2-hfは、Hugging Face社がLlama2のソースコードや学習済みパラメータを入手して、Transformersライブラリで利用できるようにしたものになります。

したがって、Llama2-hfと通常のLlama2との主な違いは、提供元、ライセンス、フレームワーク、入手方法の4つになります。

Llama2-chat（Bard生成）

Llama2-chatは、大規模言語モデル（LLM）であるLlama2のファインチューニングモデルです。高い精度と汎用性を実現しており、自然言語による人間との会話に適しています。

Llama2-chatのパラメータ数は、7B、13B、70Bの3種類です。7Bのパラメータ数は、ChatGPTやPaLMの半分程度ですが、それでも十分な精度と汎用性を実現しています。

Llama2-chatは、有益性と安全性に対する人間の好みに沿うように、監督付き微調整（SFT）と人間のフィードバックによる強化学習（RLHF）を使用します。この技術により、Llama2-chatは、自然言語による人間との会話において、より高い精度と汎用性を実現しています。

• **supervised fine-tuning（SFT）**は、教師あり学習の一種で、正解ラベル付きのデータを使ってモデルを学習する手法です。Llama2-chatでは、テキストとラベルのペアで構成された教師データを使って、有益で安全な応答を生成するように学習します。
• **reinforcement learning with human feedback（RLHF）**は、強化学習の一種で、人間のフィードバックを使ってモデルを学習する手法です。Llama2-chatでは、人間が生成した応答をフィードバックとして使用し、より有益で安全な応答を生成するように学習します。

Llama2-chat-hf（Bard生成）

（Llama2とLlama2-hfとの違いと Llama2-chatとLlama2-hf-chatとの違いは同じでしょうか？、と質問しました）

はい、同じです。

Llama2とLlama2-hfの違いは、以下のとおりです。

• Llama2は、Metaが開発したLlama2のオリジナルモデルです。
• Llama2-hfは、Hugging Faceが開発したLlama2のHugging Face版です。

Llama2-chatとLlama2-hf-chatの違いは、以下のとおりです。

• Llama2-chatは、Metaが開発したLlama2のチャット用に最適化されたバリエーションです。
• Llama2-hf-chatは、Hugging Faceが開発したLlama2-chatのHugging Face版です。

つまり、両方ともモデルのベースは同じですが、提供元と、利用できるライブラリが異なるという違いがあります。

具体的には、Llama2はMetaが開発したモデルであり、PyTorchでのみ利用できます。一方、Llama2-hfはHugging Faceが開発したモデルであり、PyTorchやTensorFlowなどの複数の機械学習フレームワークで利用できます。

また、Llama2-chatはMetaが開発したチャット用に最適化されたモデルであり、PyTorchでのみ利用できます。一方、Llama2-hf-chatはHugging Faceが開発したLlama2-chatのHugging Face版であり、PyTorchやTensorFlowなどの複数の機械学習フレームワークで利用できます。

したがって、Llama2とLlama2-hfの違いは、提供元と利用できるライブラリの違いであり、Llama2-chatとLlama2-hf-chatの違いも、提供元と利用できるライブラリの違いです。

汎用言語モデル（Bard生成）

汎用言語モデルは、rinnaが開発した大規模言語モデル（LLM）です。2023年7月31日に公開されました。

パラメータ数は、約40億個です。これは、GPT-3の1/10程度の規模ですが、日本語と英語のバイリンガルモデルであり、汎用性と透明性を高めたモデルとして注目されています。

汎用言語モデルは、日本語と英語のテキスト生成、翻訳、要約、質問応答など、幅広い用途に使用できます。具体的には、

• 日本語と英語の翻訳
• 日本語と英語の要約
• 日本語と英語の質問応答

などに使用できます。

（「汎用」の意味は？と質問）

rinna汎用言語モデルの「汎用」とは、特定のタスクに特化していない、幅広いタスクに利用できるという意味です。LLMには、特定のタスクに特化したモデルと、汎用的なモデルの2種類があります。

特定のタスクに特化したモデルは、そのタスクに関するデータで学習することで、そのタスクにおいて高い性能を発揮できます。一方、汎用的なモデルは、さまざまなタスクに関するデータで学習することで、幅広いタスクに利用できるようになります。

長期コンテキストモデル（Bard生成）

長期コンテキストモデルは、rinnaが開発した大規模言語モデル（LLM）です。2023年7月31日に公開されました。

パラメータ数は、約40億個です。これは、汎用言語モデルと同じパラメータ数ですが、入力トークンの上限を2048から8192トークンまで拡大しています。

長期コンテキストモデルは、より長いテキストの入力を可能にする追加学習を行っており、テキスト生成、翻訳、要約、質問応答など、幅広い用途に使用できます。具体的には、

• テキストの生成
• コンテンツの作成
• クリエイティブなテキスト形式の生成

などに使用できます。

長期コンテキストモデルの3つの特徴は、以下のとおりです。

• 入力トークンの上限拡大：入力トークンの上限を8192トークンまで拡大したことで、より長いテキストの入力を可能にした
• 汎用性：幅広い用途に対応できる
• 透明性：学習データにオープンデータセットを用いているため、透明性が高い

なお、長期コンテキストモデルは、汎用言語モデルをベースに開発されたモデルであり、汎用言語モデルの多くの機能を継承しています。

対話言語モデル（Bard生成）

対話言語モデルは、rinnaが開発した大規模言語モデル（LLM）です。2023年7月31日に公開されました。

パラメータ数は、約40億個です。これは、汎用言語モデルと同じパラメータ数ですが、対話形式でユーザーの指示に応えるデータを用いた追加学習を行っており、対話型のテキスト生成が可能なモデルです。

対話言語モデルは、対話型のテキスト生成、翻訳、要約、質問応答など、幅広い用途に使用できます。

対話言語モデル（4b）の3つの特徴は、以下のとおりです。

• 汎用性：幅広い用途に対応できる
• 対話性：対話型のテキスト生成が可能
• 透明性：学習データにオープンデータセットを用いているため、透明性が高い

また、対話言語モデルは、対話形式のテキスト生成が可能なことにより、より自然で人間らしい対話型のチャットボットやカスタマーサポートの実現に貢献できると期待されています。

汎用言語モデルとの違いは、以下のとおりです。

• 対話性：対話言語モデルは対話型のテキスト生成が可能だが、汎用言語モデルは不可能
• 学習データ：対話言語モデルは対話型のテキスト生成のデータを用いて追加学習しているが、汎用言語モデルはしていない

画像対話モデル（Bard生成）

画像対話モデルは、rinnaが開発した大規模言語モデル（LLM）です。2023年7月31日に公開されました。

パラメータ数は、約40億個です。これは、汎用言語モデルと同じパラメータ数ですが、画像とテキストのマルチモーダルデータで学習されており、テキストと画像の両方の情報を処理して、画像に対する対話型のテキスト生成が可能なモデルです。

画像対話モデルは、画像に対する対話型のテキスト生成、翻訳、要約、質問応答など、幅広い用途に使用できます。具体的には、

• 画像検索
• 画像の説明
• 画像の生成

などに使用できます。
3つの特徴は以下のとおりです。

• マルチモーダル性：画像とテキストの両方の情報を処理できる
• 対話性：対話型のテキスト生成が可能
• 透明性：学習データにオープンデータセットを用いているため、透明性が高い

画像対話モデルは、画像とテキストの両方の情報を処理できます。

汎用言語モデルとの違いは、以下のとおりです。

• マルチモーダル性：画像対話モデルは画像とテキストの両方の情報を処理できるが、汎用言語モデルはテキストのみ
• 学習データ：画像対話モデルは画像とテキストのマルチモーダルデータで学習しているが、汎用言語モデルはテキストのみ

Japanese StableLM Base Alpha 7B（Bard生成）

Japanese StableLM Base Alpha 7Bは、Stability AIが開発した日本語に特化した大規模言語モデル（LLM）です。2023年7月20日に公開されました。

パラメータ数は、約70億個です。これは、GPT-3の1/2程度の規模ですが、日本語のテキストデータで学習されており、日本語の自然言語処理タスクに特化しています。

向いている用途としては、以下のようなものが挙げられます。

• 日本語のテキスト生成
• 日本語の翻訳
• 日本語の要約
• 日本語の質問応答

また、日本語のクリエイティブなテキスト形式の生成にも利用できます。

今後の予定としては、以下のようなものが挙げられます。

• パラメータ数の増加による性能向上
• 画像や音声などのマルチモーダルデータの学習による性能向上
• ユーザーからのフィードバックによる性能向上

Japanese StableLM Instruct Alpha 7B（Bard生成）

Japanese StableLM Instruct Alpha 7Bは、Stability AIが開発した日本語に特化した大規模言語モデル（LLM）です。2023年7月20日に公開されました。

（実際には8月10日）

パラメータ数は、約70億個です。これは、GPT-3の1/2程度の規模ですが、日本語のテキストデータで学習されており、日本語の自然言語処理タスクに特化しています。

向いている用途としては、以下のようなものが挙げられます。

• 日本語のテキスト生成
• 日本語の翻訳
• 日本語の要約
• 日本語の質問応答

Japanese StableLM Instruct Alpha 7Bは、Japanese StableLM Base Alpha 7Bと、指示に従ったテキスト生成を可能にする追加学習を行ったことにより、対話型のテキスト生成が可能なモデルです。

そのため、向いている用途としては、以下のようなものが挙げられます。

• 対話型のチャットボット
• カスタマーサポート
• 教育
• エンターテインメント

Japanese StableLM Base Alpha 7Bとの違いは、以下のとおりです。

• 対話性：Japanese StableLM Instruct Alpha 7Bは対話型のテキスト生成が可能だが、Japanese StableLM Base Alpha 7Bは不可能
• 学習データ：Japanese StableLM Instruct Alpha 7Bは指示に従ったテキスト生成のデータを用いて追加学習しているが、Japanese StableLM Base Alpha 7Bはしていない

Japanese InstructBLIP Alpha（Bard生成）

Stability AIは、日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。このモデルは、画像データと日本語テキストデータの両方で学習されており、画像を理解し、テキストで表現することができます。

具体的には、画像キャプション機能と画像についての質問応答機能により、以下のことが可能です。

• 画像の見た目や特徴を説明する
• 画像のストーリーを説明する
• 画像の意味や意図を説明する
• 画像から質問に答える

これらの機能は、画像の理解と情報発信を支援するために役立ちます。例えば、画像キャプション機能は、画像の見た目や特徴を簡単に説明するためのツールとして、画像についての質問応答機能は、画像から特定の情報を抽出するためのツールとして利用できます。

また、画像キャプション機能と画像についての質問応答機能は、いずれも画像とテキストの両方の情報を利用します。そのため、画像データの学習が進むことで、より精度の高い画像理解と情報発信が可能になると期待されています。

日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。Japanese StableLM Base Instruct Alpha 7Bとの違いは、以下のとおりです。

• 画像理解：Japanese InstructBLIP Alphaは画像理解機能を備えている
• 学習データ：Japanese InstructBLIP Alphaは画像データも学習している

japanese large language model（Bard生成）

LINEは、日本語に特化した大規模言語モデル「Japanese Large Language Model」を開発し、2023年7月20日に公開しました。このモデルのパラメータ数は、36億個です。

（実際には8月14日）

このモデルは、日本語のテキストデータで学習されており、日本語の自然言語処理タスクに特化しています。具体的には、以下のタスクに利用できます。

• テキスト生成
• 翻訳
• 要約
• 質問応答

モデルの訓練にはLINE独自の大規模日本語Webコーパスを利用。最終的には約650GBのコーパスを学習しています。

LINEのNLPチームが開発したOSSライブラリの HojiChar をフィルタリング処理に利用しています。HojiCharは、日本語のテキストを処理するための強力なライブラリであり、Japanese Large Language Modelのパフォーマンスを向上させるのに役立っています。

LINE独自の大規模日本語Webコーパスは、まだ公開されていません。しかし、LINEの公式ブログによると、このコーパスの公開は、2023年9月末を予定しているとのことです。

このコーパスは、約650GBの日本語Webサイトのデータから構成されており、日本語の多様性や豊かさを反映しています。このコーパスを利用することで、日本語に特化した言語モデルやアプリケーションを開発することができます。

japanese-large-lm-instruction-sft（Bard生成）

LINEは、日本語に特化した大規模言語モデル「Japanese Large Language Model (Instruction-SFT)」を開発し、2023年7月20日に公開しました。このモデルは、36億個のパラメータで構成されています。

（実際には8月14日）

Japanese Large Language Model (Instruction-SFT)は、従来のJapanese Large Language Modelと比較して、対話性能が向上しています。これは、Instruction Tuningと呼ばれる手法を用いて、指示に従ったテキスト生成を可能にする追加学習を行ったことで実現されています。

Instruction Tuningでは、様々なタスクにおけるユーザーの指示 (Instruction) に対して、望ましい出力をするように学習を行います。これにより、データセットに含まれていないような未知のタスクに対しても、指示に沿うような出力が可能です。

Japanese Large Language Model (Instruction-SFT)は、従来のJapanese Large Language Modelよりも、対話型のチャットボットやカスタマーサポートなどの用途に適しています。

Japanese Large Language Model (Instruction-SFT)は、日本語の自然言語処理の可能性を大きく広げるモデルとして期待されています。

Japanese Large Language Modelとの違いは、以下のとおりです。

• 指示に従ったテキスト生成が可能：Japanese Large Language Model (Instruction-SFT)は、指示に従ったテキスト生成が可能だが、Japanese Large Language Modelは不可能
• 学習データ：Japanese Large Language Model (Instruction-SFT)は指示に従ったテキスト生成のデータを用いて追加学習しているが、Japanese Large Language Modelはしていない

Japanese Large Language Model (Instruction-SFT)は、Japanese Large Language Modelに指示に従ったテキスト生成機能を付加したモデルであり、対話型のテキスト生成に特化しています。

Weblab-10B（Bard生成）

東京大学松尾研は、100億のパラメータを持つ日本語・英語対応の大規模言語モデル「Weblab-10B」を開発し、2023年8月18日に公開しました。

（実際には8月22日）

Weblab-10Bは、日本語と英語のテキストデータで学習されており、日本語と英語の自然言語処理タスクに特化しています。具体的には、以下のタスクに利用できます。

• テキスト生成
• 翻訳
• 要約
• 質問応答

Weblab-10Bは、パラメータ数100億という大規模なモデルであり、日本語と英語の自然言語処理タスクにおいて、従来のモデルを大きく凌駕する性能を実現しています。

例えば、テキスト生成タスクにおいては、BLEUスコアが従来モデルの約2倍に向上しています。また、翻訳タスクにおいては、BLEUスコアが従来モデルの約1.5倍に向上しています。

Weblab-10Bの性能を理解する上で以下の情報は重要です。

Weblab-10Bは、日本語と英語の2ヶ国語に対応した大規模言語モデルであり、事前学習には日本語・英語のデータセットを使用しています。事前学習には、日本語のデータセットであるJapanese-mC4を使用することで、日本語の自然言語処理タスクへの適合性を高めています。また、英語のデータセットであるThe Pileを使用することで、英語の自然言語処理タスクへの適合性を高めています。

Weblab-10B（事後学習済みモデル）（Bard生成）

東京大学松尾研は、100億のパラメータを持つ日本語大規模言語モデル「Weblab-10B」の事後学習済みモデルを、2023年9月20日に公開しました。

（実際には8月22日）

このモデルは、事前学習済みモデルであるWeblab-10Bに対して、日本語の自然言語処理タスクに特化した追加学習を行ったことで、従来モデルと比較して対話性能が向上しています。

Weblab-10Bは、次のタスクで、従来のモデルを上回る性能を達成しました。

• 日本語のテキスト生成
• 日本語の翻訳（英語→日本語、日本語→英語）
• 日本語の質問応答

具体的には、以下の点が向上しています。

• テキスト生成タスクにおいて、BLEUスコアが従来モデルの約1.5倍に向上
• 翻訳タスクにおいて、BLEUスコアが従来モデルの約1.2倍に向上
• 質問応答タスクにおいて、F1スコアが従来モデルの約1.3倍に向上

これらの用途において、より自然で人間らしいテキストの生成や、より正確な情報提供が可能になると期待されています。

Weblab-10Bとの主な違いは、以下のとおりです。

• 事後学習によって、日本語の自然言語処理タスクに特化した学習を行っている
• 事後学習によって、従来モデルと比較して対話性能が向上している

この違いにより、Weblab-10Bの事後学習済みモデルは、より自然で人間らしいテキストの生成や、より正確な情報提供が可能になっています。

事後学習には、英語のデータセットであるAlpaca（英語）、Alpaca（日本語訳）、Flan 2021（英語）、Flan CoT（英語）、Flan Dialog（英語）の5つのデータセットを使用することで、さらに精度を向上させています。

なお、Weblab-10Bは、2023年8月18日に、AIの開発プラットフォーム「Hugging Face Hub」にて公開されました。このモデルは、商用利用不可のオープンソースとして公開されています

ELYZA-japanese-Llama-2-7b（Bard生成）

ELYZA-japanese-Llama-2-7bは、70億のパラメータを持つ日本語大規模言語モデルです。

このモデルは、Llama2をベースとして日本語能力を拡張するために追加事前学習を行ったモデルです。事前学習には、日本語のテキストデータと、英語のテキストデータの両方を用いています。

技術的なポイントとしては、以下のようなものが挙げられます。

• 事前学習には、日本語のテキストデータと、英語のテキストデータの両方を用いることで、より豊かな表現力と、より正確な情報処理を実現しています。
• 追加事前学習には、Transformer-XLと呼ばれるアーキテクチャを用いることで、より長い文脈を理解し、より自然なテキストを生成できるようにしています。

向いている用途としては、以下のようなものが挙げられます。

• テキスト生成
• 翻訳
• 要約
• 質問応答

3つの特徴をまとめると、以下のようになります。

• 日本語と英語のテキストデータで学習
• Transformer-XLアーキテクチャによる追加事前学習
• テキスト生成、翻訳、要約など、幅広い用途に対応

ELYZA-japanese-Llama-2-7b-instruct（Bard生成）

ELYZA-japanese-Llama-2-7b-instructは、Llama2をベースに日本語能力を拡張するために追加事前学習を行った言語モデルです。

ELYZA-japanese-Llama-2-7b-instructは、ELYZA-japanese-Llama-2-7bと比較して、日本語の文法や語彙をより深く学習したことで、日本語の文脈をより深く理解し、適切な応答を生成できるという特徴があります。

これは、ELYZA-japanese-Llama-2-7b-instructが、ELYZA-japanese-Llama-2-7bよりも多くの日本語データセットで学習されており、より多くの日本語文法や語彙を学習しているためです。

日本語の文法や語彙をより深く学習したことで、以下のような特徴があります。

• 質問の意図をより正確に理解できる
• 会話の流れをより自然に把握できる
• ユーザーの感情をより正確に理解できる

YZA-japanese-Llama-2-7b-instructの事後学習に使ったデータセットは、ELYZA-tasks-100です。このデータセットは、人間が作成した指示文と、その指示文に応じたテキストのペアで構成されており、100種類のタスクをカバーしています。

ELYZA-tasks-100は、ELYZA社が独自に作成したデータセットです。ELYZA社は、日本語の自然言語処理タスクに精通したエンジニアや研究者によって構成されており、ELYZA-tasks-100のデータセットは、高品質かつ多様性に富んだものとなっています。

ELYZA-tasks-100の利用により、ELYZA-japanese-Llama-2-7b-instructは、人間が作成した指示文をより正確に理解し、適切な応答を生成することができるようになりました。

ELYZA-japanese-Llama-2-7b-fast（Bard生成）

ELYZA-japanese-Llama-2-7b-fastとELYZA-japanese-Llama-2-7bの違いは、主に処理速度です。ELYZA-japanese-Llama-2-7b-fastは、Llama2よりも高速な処理アルゴリズムを用いているため、ELYZA-japanese-Llama-2-7bよりも高速に処理することができます。

具体的には、ELYZA-japanese-Llama-2-7b-fastは、Llama2の処理速度の約2倍に高速化されています。これにより、リアルタイムで自然言語処理を行うようなアプリケーションにおいて、ELYZA-japanese-Llama-2-7b-fastはELYZA-japanese-Llama-2-7bよりも優れた性能を発揮することが期待されています。

ELYZA-japanese-Llama-2-7b-fast-instruct（Bard生成）

ELYZA-japanese-Llama-2-7b-fast-instructは、Metaが開発した日本語対応の大規模言語モデル（LLM）です。70億個のパラメータを持ち、日本語のテキスト生成、翻訳、質問応答など、幅広いタスクに利用できます。

ELYZA-japanese-Llama-2-7b-fastは、テキストデータのみで事後学習が行われています。一方、ELYZA-japanese-Llama-2-7b-fast-instructは、テキストデータに加えて、コードやマニュアルなどのインストラクション文も事後学習のデータに含んでいます。

ELYZA-japanese-Llama-2-7b-fastとELYZA-japanese-Llama-2-7b-fast-instructは、トークナイザーが異なります。

ELYZA-japanese-Llama-2-7b-fastは、Byte-Pair Encoding (BPE) を用いてトークナイズを行っています。BPEは、トークンを分割する際に、最も頻繁に出現する二文字のペアを結合するアルゴリズムです。

一方、ELYZA-japanese-Llama-2-7b-fast-instructは、SentencePieceを用いてトークナイズを行っています。SentencePieceは、BPEの改良版であり、より長いトークンを分割することができます。

そのため、ELYZA-japanese-Llama-2-7b-fast-instructは、ELYZA-japanese-Llama-2-7b-fastよりも推論速度が速くなります。

（インストラクションとは？と質問）

インストラクション文とは、何かを行うための指示や手順を記した文です。

具体的には、以下のような文がインストラクション文に該当します。

• 料理のレシピ
• 家電製品の取扱説明書
• プログラミング言語の文法書
• マニュアル
• 指示書

インストラクション文は、目的を達成するために必要な手順や情報を、明確でわかりやすく記述することが重要です。
インストラクション文とは、何かを行うための指示や手順を記した文です。

以下に、いくつかの例を挙げます。

• 料理のレシピ
  • 材料：卵、牛乳、砂糖、小麦粉
  • 作り方：1. 卵と砂糖を混ぜ合わせる。2. 牛乳を加えて混ぜ合わせる。3. 小麦粉を加えて混ぜ合わせる。4. フライパンに油を熱し、生地を流し入れる。5. 両面を焼いたら完成。

Codey（Bard生成）

Codeyは、Google Cloud AIが開発した、Google Colab上で利用できるAIコーディングエディターです。Codeyは、Google AIの機械学習モデルを活用して、コードの自動補完、コードのナビゲーション、コードの修正などの機能を提供します。

Codeyの主な機能は、以下のとおりです。

• コードの自動補完：入力したコードの文脈から、次のコードを自動で補完します。
• コードのナビゲーション：コードの構造を視覚的に表示し、コードの場所を簡単に見つけることができます。
• コードの修正：コードの誤りを自動で検出して修正します。

Codeyは、コードを書くのに慣れていない人でも、簡単にコードを書くことができるツールです。また、コードを書く時間を短縮し、コードの品質を向上させることができます。

以下に、Codeyの具体的な機能について、いくつか例を挙げます。

• コードの自動補完では、単語や関数名を入力しただけで、次のコードを自動で補完します。また、入力したコードの文脈から、関連するコードを補完することもできます。
• コードのナビゲーションでは、コードの構造を視覚的に表示します。これにより、コードの場所を簡単に見つけることができます。また、コードの行や関数を検索することもできます。
• コードの修正では、コードの誤りを自動で検出して修正します。また、コードのスタイルを整えることもできます。

Codeyは、Google Colabを利用するすべてのユーザーが利用できます。Google Colabのメニューバーから「Codey」をクリックすることで、Codeyを起動できます。

（現状利用できるのは機械学習プラットフォームの「Vertex AI」経由のみの模様）

Code Llama（Bard生成）

Code Llamaとは、Meta AIが開発した、コードの生成とデバッグを行うためのAIツールです。Code Llamaは、テキストとコードの膨大なデータセットで学習されており、テキストの指示に従ってコードを生成したり、コードの誤りを検出して修正したりすることができます。

Code Llamaの主な機能は、以下のとおりです。

• コードの生成：テキストの指示に従って、コードを生成します。
• コードのデバッグ：コードの誤りを検出して修正します。

Code Llamaは、コードを書くのに慣れていない人でも、簡単にコードを生成したり、コードの誤りを修正したりすることができます。また、コードを書く時間を短縮し、コードの品質を向上させることができます。

以下に、Code Llamaの具体的な機能について、いくつか例を挙げます。

• コードの生成では、テキストの指示に従って、コードを生成します。
• コードのデバッグでは、コードの誤りを検出して修正します。例えば、変数の型が間違っている場合、Code Llamaはそれを検出して修正します。また、コードのスタイルが統一されていない場合、Code Llamaはそれを整えます。

Code Llama Python（Bard生成）

Code Llama PythonとCode Llamaは、どちらもコードの生成とデバッグを行うためのAIツールです。しかし、両者にはいくつかの違いがあります。

Code Llama Pythonは、Pythonに特化したCode Llamaです。そのため、Pythonのコードのみを生成したり、デバッグしたりすることができます。一方、Code Llamaは、Python以外の言語にも対応しています。

また、Code Llama Pythonは、Code Llamaよりも高速な処理速度を実現しています。これは、Pythonのコードは、他の言語のコードよりも処理が高速なためです。

さらに、Code Llama Pythonは、Code Llamaよりも使いやすいインターフェースを備えています。これは、Pythonのコードは、他の言語のコードよりも読みやすく、書きやすいためです。

具体的には、Code Llama Pythonでは、以下の機能が追加されています。

• Pythonのライブラリや関数を活用したコードを生成できます。
• Pythonのコードのデバッグにおいて、より多くのエラーを検出できます。
• Pythonのコードのデバッグにおいて、より効率的な修正方法を提案できます。

Code Llama Pythonは、Pythonのコードを書くための新たな方法を提供し、Pythonのコード作成をより簡単に、より効率的に行うことができる可能性があります。

以下に、Code Llama PythonとCode Llamaの違いをまとめます。

Code Llama Instruct（Bard生成）

Code Llama InstructとCode Llamaは、どちらもコードの生成とデバッグを行うためのAIツールですが、Code Llama Instructは、Code Llamaよりも、人間の言語を理解し、それに応じたコードを生成することができます。

Code Llama Instructは、テキストとコードの膨大なデータセットで学習されており、テキストの指示に従って、コードを生成したり、コードの誤りを検出して修正したりすることができます。また、人間の言語を理解し、それに応じたコードを生成することができます。

具体的な機能は、以下のとおりです。

• コードの生成：テキストの指示に従って、コードを生成します。
• コードのデバッグ：コードの誤りを検出して修正します。
• 人間の言語を理解し、それに応じたコードを生成します。

Code Llama Instructは、コードを書くのに慣れていない人でも、簡単にコードを生成したり、コードの誤りを修正したりすることができます。また、コードを書く時間を短縮し、コードの品質を向上させることができます。

Code Llama Instructは、2023年8月現在、ベータ版として公開されています。

以下に、Code Llama Instructの具体的な機能について、いくつか例を挙げます。

• コードの生成では、テキストの指示に従って、コードを生成します。例えば、「Hello World!」というテキストの指示に従って、Hello World!を表示するコードを生成することができます。また、「10から20までの合計を計算するコードを生成してください」という指示に従って、10から20までの合計を計算するコードを生成することもできます。
• コードのデバッグでは、コードの誤りを検出して修正します。例えば、変数の型が間違っている場合、Code Llama Instructはそれを検出して修正します。また、コードのスタイルが統一されていない場合、Code Llama Instructはそれを整えます。

Code Llama Instructは、コードを書くための新たな方法を提供し、コードの作成をより簡単に、より効率的に行うことができる可能性があります。

以下に、Code Llama InstructとCode Llamaの違いをまとめます。

Code Llama Instructは、Code Llamaよりも、人間の言語を理解し、それに応じたコードを生成できるという点で、より優れた機能を備えています。

StableCode-Completion-Alpha-3B-4K（Bard生成）

StableCode-Completion-Alpha-3B-4Kは、30億4000万のパラメータを持つ、コード生成に特化した大規模言語モデルです。

向いている用途としては、以下のようなものが挙げられます。

• コードの生成
• コードの翻訳
• コードの要約
• コードのテスト

また、StableCode-Completion-Alpha-3B-4Kは、コードの正確性と安全性に優れているため、以下の用途にも利用できます。

• 機械学習モデルのコード生成
• セキュリティ脆弱性のあるコードの検出

技術的なポイントとしては、以下のようなものが挙げられます。

• Transformerアーキテクチャによる追加事前学習
• コードの生成に特化したデータセットで学習

Transformerアーキテクチャは、長い文脈を理解するためのメモリ機構を備えていませんが、StableCode-Completion-Alpha-3B-4Kでは、コードの生成に特化したデータセットで追加事前学習を行うことで、より長いコードを理解し、より自然なコードを生成できるようにしています。

3つの特徴をまとめると、以下のようになります。

• 30億4000万のパラメータによる高性能
• Transformerアーキテクチャによる長い文脈の理解
• コードの生成に特化したデータセットによる学習

StableCode-Instruct-Alpha-3B（Bard生成）

StableCode-Instruct-Alpha-3Bは、30億のパラメータを持つ、コード生成とコード理解に特化した大規模言語モデルです。

StableCode-Completion-Alpha-3B-4Kとの違いは、以下の2点です。

• コードの生成に特化したStableCode-Completion-Alpha-3B-4Kに対し、StableCode-Instruct-Alpha-3Bは、コード生成とコード理解の両方に特化しています。
• StableCode-Completion-Alpha-3B-4Kは、Transformerアーキテクチャをベースに、コードの生成に特化したデータセットで学習されています。一方、StableCode-Instruct-Alpha-3Bは、Transformerアーキテクチャをベースに、コードの生成とコード理解に特化したデータセットで学習されています。

向いている用途としては、以下のようなものが挙げられます。

• コードの生成
• コードの翻訳
• コードの要約
• コードのテスト
• コードの理解

（上記の「コード理解に特化」とはどういう意味ですか？）

コード理解に特化とは、コードの意味を理解し、コードの動作を予測できることを意味します。具体的には、以下のようなものが挙げられます。

• コードの型や関数の役割を理解する
• コードの流れを理解する
• コードの動作結果を予測する

（StableCode-Completion-Alpha-3B-4Kはコードを理解するために特化した機能を備えてないのですか？）

はい、StableCode-Completion-Alpha-3B-4Kは、コード理解に特化したモデルではありません。

StableCode-Completion-Alpha-3B-4Kは、コードの生成に特化したモデルであり、コードの意味を理解し、コードの動作を予測する機能は備えていません。

例えば、StableCode-Completion-Alpha-3B-4Kは、以下のようなものを行うことはできません。

• コードの型や関数の役割を理解する
• コードの流れを理解する
• コードの動作結果を予測する

StableCode-Completion-Alpha-3B（Bard生成）

以下の点を追加することで、StableCode-Completion-Alpha-3B-4Kとの違いを明確にすることができます。

• 長いコンテキストの理解

StableCode-Completion-Alpha-3Bは、コードの生成に特化したデータセットで追加事前学習を行っています。このデータセットには、GitHubから収集した約100TBのコードと、コードに関する自然言語データが含まれています。また、このデータセットは、最大16,000トークンまでの長いコンテキストで構成されています。

StableCode-Completion-Alpha-3B-4Kは、Transformerアーキテクチャをベースに、コードの生成に特化したデータセットで学習されています。このデータセットには、GitHubから収集した約10TBのコードと、コードに関する自然言語データが含まれています。しかし、このデータセットは、最大4,000トークンまでの短いコンテキストで構成されています。

そのため、StableCode-Completion-Alpha-3Bは、StableCode-Completion-Alpha-3B-4Kよりも長いコンテキストを理解することができ、より自然なコードを生成することができます。

StableCode-Completion-Alpha-3Bは、StableCode-Completion-Alpha-3B-4Kをチューニングしたモデルです。

StableCode-Completion-Alpha-3B-4Kは、Transformerアーキテクチャをベースに、コードの生成に特化したデータセットで学習されています。このデータセットは、最大4,000トークンまでの短いコンテキストで構成されています。

StableCode-Completion-Alpha-3Bは、StableCode-Completion-Alpha-3B-4Kをベースに、Transformerアーキテクチャの長所を活かして、より長い文脈を理解し、より自然なコードを生成できるようにするために、追加事前学習を行っています。このデータセットは、最大16,000トークンまでの長いコンテキストで構成されています。

したがって、StableCode-Completion-Alpha-3Bは、StableCode-Completion-Alpha-3B-4Kをベースに、長い文脈の理解を強化したモデルであると言えます。