ラズパイ5(8GB)で、日本語対応の7B(70億)パラメータのLLMを量子化して使ってみる
Appendix にラズパイ4での結果を追加しまし […]
Appendix にラズパイ4での結果を追加しまし […]
llama.cppはCで書かれたモジュールの集まり […]
これまでLLM(大規模言語モデル)を量子化して圧縮 […]
前回やったラズパイ3+Julius で音声認識の続 […]
「型落ちPCのCPUのみで、量子化した7B(70億 […]
ディープラーニングを軽量化する「モデル圧縮」には3 […]
昨今話題のLLM(大規模言語モデル)の日本語対応版 […]
Copyright © 2024 | WordPress Theme by MH Themes