llamafile をWindowsやラズパイ５で使ってみる（LLM,SLM,LMM）
llamafile を使って言語モデル（LLM/S […]
AI
Artificial Intelligence
NVIDIA Jetson ＋llama-cpp-python + SLM の量子化モデルで推論実行
シングルボードコンピュータ（SBC）で小規模言語モ […]
Windows ＋llama-cpp-python + SLM の量子化モデルで推論実行
windows環境は以下の通り。 windows […]
Windowsで小規模言語モデル（SLM)の量子化版を使ってみる
シングルボードコンピュータ（SBC）で小規模言語モ […]
シングルボードコンピュータ（SBC）で小規模言語モデル（SLM)の量子化版を使ってみる
前回はMicrosoftのPhi-2をNVIDIA […]
ラズパイ５とColabで楽天のLLM（7B-chat）を試してみる
先に公開されていた楽天のLLM （RakutenA […]
ラズパイで音声合成（２）AquestTalk・VoiceVox
ラズパイ4（or 5）にインストールしてローカル・ […]
ラズパイ５（８GB）でLLM 、LangChain とLlamaIndex で外部データを使う-1（メモ）
LLM が応答に使う情報は基本、学習した時点のデー […]
ラズパイ５（8GB）で、日本語対応の7B（70億）パラメータのLLMを量子化して使ってみる
Appendix にラズパイ４での結果を追加しまし […]
llama.cppをPython で使ってみる
llama.cppはCで書かれたモジュールの集まり […]