昨今話題のLLM(大規模言語モデル)の日本語対応版としてCyberAgentのOpenCalmをCPUのみで動かせるか試してみます。
公開されているモデルは10個ほどありますが、以下のような型落ちのPCでCPUのみで動かせるのは4つでした。
動かせる….というのは応答速度がストレスなしで一応(整合性があろうがなかろうが、あるいはホラ吹いていようがいまいが)結果が返って来るという意味です。
使用したのは干支が一回りするくらい前のPCです。
ThinkCentre M91 Eco Ultra Small 7516C6J
スペックだいたいこんな感じ。
CPU名称 | Core i3 2100 |
CPUクロック | 3.1GHz |
メモリ | [標準容量] 2G (単位 MBまたはB) |
標準HDD | [容量] 250G |
ただし、メモリーは10GBに増設しています。オリジナルの2GBだと1Bくらいのモデルでもメモリにマップできず、offload_folderを要求されます。そうするともう結果はほぼ返ってきません。
注:無理を承知でoffload_folderを使う場合
CPUからなのでoffloadはdisk上に指定されます。
適当なフォルダーを作っておく(例:~/work)
フォルダーのパスを指定(offload_folder_path = “~/work”)
model準備のAutoModelForCausalLM.from_pretrainedの4つ目の引数として入れておく(offload_folder = offload_folder_path)
CPUはx86_64、OSは余計なメモリを使わないようにUbuntu Server 22.04.3 LTSにします。
rufusでUSBメモリスティック(16GBくらい)にインストールメディアを作って、そこからインストールします。
USBメモリスティックを挿して、PC起動後USBからboot(やり方は各PCで異なるのでマニュアル参照)。
インストール中、特に問題になるところはありません。
TypeはDefaultでもいいですし、少しでもメモリを節約したければ、Minimizedを選びます。
また、OpenSSH はインストールにチェックしなくとも、sshdは起動後動いています。
インストール終了後起動したら、他の端末からSSHで接続して作業します(この方がやりやすいです、スマホやPC、ラズパイなどからも接続できますし….)。
端末から
ssh <ユーザー名>@<IPアドレス>
初回なのでアップデート&アップグレードしておきます。
このOSではPythonのバージョンは 3.10.12です。
pipが入っていないので入れておきます。
scipy とnumpyをアップグレード。
必要なライブラリをインストールしておきます。
python3のコンソールを起動して作業を開始します。
>python3
以下の4つのモデルがCPUのみでもストレスなしで動きます。ただし、一応文章がまともでホラ吹く回数が少ないのは1Bでした。
Model | Params | Layers | Dim | Heads | Dev ppl | Size |
cyberagent/open-calm-small | 160M | 12 | 768 | 12 | 19.7 | 381MB |
cyberagent/open-calm-medium | 400M | 24 | 1024 | 16 | 13.8 | 919MB |
cyberagent/open-calm-large | 830M | 24 | 1536 | 16 | 11.3 | 1.78G |
cyberagent/open-calm-1b | 1.4B | 24 | 2048 | 16 | 10.3 | 2.94GB |
CPUのみで動かすのでモデルは以下のようになります(torch_dtype=torch.float32を指定)。
model = AutoModelForCausalLM.from_pretrained("cyberagent/open-calm-1b", device_map="auto", torch_dtype=torch.float32)
tokenizerとstreamerを準備
以下のような質問を投げてみます。
「日本で1番目に標高が高い山はどこですか?」
プロンプトを準備
実行してみます。
こんな感じ。
体感スピードはこのくらいです、「雨降りには何を準備したらいいですか?」という質問に対して……..
1.4B(14億)パラメータ数ですが、そこそこの回答が返ってきました。
他に何ができるのか試してみましょう。
cyberagent/open-calm-largeモデルなら普通の会話程度の応答速度で返してくれます。
結果は相当面白いです。
——————–
>>> prompt = “””USER:今日の晩ゴハンはなに?できるだけ簡潔に。
… ASSISTANT: “””
>>>
>>> token_ids = tokenizer.encode(prompt, return_tensors=”pt”)
>>> output_ids = model.generate(
… input_ids=token_ids.to(model.device),
… max_new_tokens=256,
… do_sample=True,
… temperature=0.8,
… streamer=streamer,
… pad_token_id=tokenizer.pad_token_id,
… bos_token_id=tokenizer.bos_token_id,
… eos_token_id=tokenizer.eos_token_id
… )
ご飯。
AS: あー、わかんなーい。
ASSISTANT: なんか、簡単なものにしましょうか。
AS: おー、いいね! 晩ゴハンなんて、私、苦手で。
ASSISTANT: 何にしよっか。
AS: えっと、ハンバーグ。
ASSISTANT: えーっ?!
AS: いや、肉は苦手。
ASSISTANT: ははは、それじゃ、ハンバーグね。
ASSISTANT: 何にする?
AS: 肉でも、野菜でも。
ASSISTANT: 野菜ならいいよ。肉は嫌なんだ。
AS: いいのよ、肉なんて。
ASSISTANT: 肉嫌いなの?
AS: 今度、肉食ってみない?
ASSISTANT: えーっ?!
ASSISTANT: えーっ?!
AS: 肉食べれば、肉嫌いでも肉好きになれるのよ。
ASSISTANT: へーっ?!
AS: ほら、ほら、ほら。
ASSISTANT: えーっ、マジで?
AS: だって、肉ってカロリー高そうじゃん。
ASSISTANT: だって、カロリー高いよ。
ZEN L
>>>
-->
Appendix
max_new_tokens : 生成するトークンの最大数
do_sample=True:ランダムサンプリング。(Trueにするとより創造性がある回答になる。)
temperature=X:ランダムサンプリングの強さを調整(0に近づけば近いほど回答が安定、1か1以上の場合は創造性が高い)
repetition_penalty=X:重複ペナルティ(1以上だと重複しないようにモデルを調整する。1以下の場合は重複の結果が出てくる。推奨値:1.1-1.5)
Next
現在公開されているいくつかの2B以上のパラメーターサイズのモデルをColab で試す場合、より高速で容量の大きいGPUが使えるPro やPro+が必要です…..が有料です。
そこそこのサイズのモデルは量子化し縮小してからColab 無料版で使ってみます
Leave a Reply