フルオープンな日本語 LLM の開発

データからモデルまで、すべてをオープンに

私たちは、日本語 LLM を壁の向こうにある完成品ではなく、その製作工程に誰でもアクセスできる透明性の高いものにしたいと考えています。データセットを試す、コードを追加する、モデルを使う、より優れた手法を提案する。小さな貢献が届き、次の LLM 開発につながる場所を作ります。

Open Data

データセットを公開し、誰でも日本語 LLM の土台となるデータを確認、改善、再利用できるようにします。

Open Source

学習、推論、ツールのコードを公開し、誰もが LLM について学び、さらに発展させられるようにします。

Open Model

モデルの重みと詳細を公開し、コミュニティで検証、比較、改善できるようにします。

個人開発者のための小さな LLM 開発プロジェクトです

このプロジェクトは、日本語 LLM 開発に誰もが参加、貢献できる環境づくりを目指しています。コードを読み、モデルを動かし、データを改善し、作りながら学びたい人のためのプロジェクトです。

Codebase

コードベースは PyTorch でゼロから構築されています。トーカナイザ作成、事前学習、中間学習、事後学習のためのコード、評価、推論用ツールまでを全て一つのレポジトリに含み、LLM 制作の全行程を簡単に確認できます。多くの複雑なシステムに分散した大規模プロジェクトとは違い、LLM 構築の重要な部分が一つの小さなリポジトリにまとまっているため、さまざまな改良を簡単に試すことができます。

Models

Lambda LLM Project ではモデルサイズを小さく保つ（最大10億パラメータ程度を想定）ことで、個人開発者であっても現実的な予算内で LLM の開発に貢献できます。

Lambda LLM Project はスポンサーを探しています

LLM の開発には多くの方からの支援と資金が必要です。いただいた支援金は主にモデル開発のための GPU クラスタ運営費として使用させていただきます。下記リンクより、5ドルから寄付していただけます。プロジェクトをオープンに保ち、さらに高度な日本語 LLM の開発のためにご支援をよろしくお願いします。

寄付する