シングルボードコンピュータ（SBC）で小規模言語モデル（SLM)の量子化版を使ってみるのWindows版です。
Windows 10 Pro（22H2）64bitで動作確認しましたがWindows 11でも同じだと思います。
PCスペック
プロセッサ Intel(R) Core(TM) i3-2100 CPU @ 3.10GHz 3.10 GHz
実装 RAM 10.0 GB (9.83 GB 使用可能)
小規模言語モデル（SLM）にはMicrosoft のPhi-3-mini を使用。量子化モデルはHuggingFace にアップされている４Kトークンのものを使用します。
microsoft/Phi-3-mini-4k-instruct-gguf
HuggingFace からモデルをダウンロードするためのGitアプリをインストールしておきます。
git –distributed-is-the-new-centralized
ダウンロード後インストール実行します。デフォルト設定を変更する必要はなく、すべて「Next」でOKです。
最後に「install」をクリックして完了です。
C / C++ 開発キットのw64devkitをダウンロードしておきます。
w64devkit-fortran-1.22.0.zipをダウンロード
解凍後、適当な場所に移動（例：Cドライブ直下にw64devkitを移動）
システム環境変数にw64devkit内のbinフォルダーを登録しておきます。
Llama.cppをビルドします。
Cドライブに作業用ディレクトリ（例：llamacpp）を作っておき、そこで右クリックしてメニュを開いて「Open Git Bash here」を選択してshellを開きます。
ここで以下を実行してllama.cppをクローンします。
|
1 |
git clone https://github.com/ggerganov/llama.cpp |
llama.cppフォルダーに入ってmakeでビルドします。
|
1 2 3 |
cd llama.cpp make |
↓
HuggingFace から小規模言語モデル（SLM）のPhi-3-mini をダウンロードします。
modelsフォルダーに移動しておきます。
|
1 |
cd models |
コンテキスト長が４Kトークンの4bit量子化モデルmicrosoft/Phi-3-mini-4k-instruct-ggufをダウンロードします。
wget https://huggingface.co/microsoft/Phi-3-mini-4k-instruct-gguf/resolve/main/Phi-3-mini-4k-instruct-q4.gguf
親ディレクトリに戻って….
|
1 |
cd .. |
mainコマンドでプロンプト「Tell me how to feel better ?」（気分を良くするにはどうしたらいいですか？）を実行してみます。
./main.exe -ngl 32 -m ./models/Phi-3-mini-4k-instruct-q4.gguf --color -c 4096 --temp 0.7 --repeat_penalty 1.1 -n -1 -p "[INST] <<SYS>>\nTell me how to feel better?\n<</SYS>>\n{prompt}[/INST]"
即応とはいきませんが１０秒以内に結果を返し始めます。
I’m here to help! Feeling better often involves a combination of self-care, healthy habits, and sometimes professional support. Here are some general tips you might find helpful:
1. Exercise regularly: Physical activity can improve your mood by releasing endorphins, the body’s natural feel-good hormones.
2. Maintain a balanced diet: Eating nutritious food contributes to overall well-being and energy levels.
3. Get enough sleep: Adequate rest is essential for mental alertness and emotional resilience.
4. Practice relaxation techniques: Mindfulness, meditation, or deep breathing exercises can reduce stress and promote calmness.
5. Connect with others: Socializing with friends or family members can have a positive impact on your mood.
6. Engage in activities you enjoy: Pursuing hobbies or interests helps provide joy and satisfaction.
7. Challenge negative thoughts: Try to replace pessimistic thinking patterns with more realistic, positive ones.
8. Seek professional help if needed: Therapists, counselors, or mental health professionals can offer support tailored to your specific needs.
Remember that feeling better is a journey and it’s okay to ask for assistance along the way. Take small steps each day towards self-care and wellness. If you have any concerns about your mental health, please consider reaching out to a professional who can provide personalized support. Good luck!
私は助けに来ました！ 気分を良くするには、多くの場合、セルフケア、健康的な習慣、そして場合によっては専門家のサポートを組み合わせる必要があります。 ここでは、役立つと思われる一般的なヒントをいくつか紹介します。
1. 定期的に運動する: 身体を動かすと、体の自然な気分を良くするホルモンであるエンドルフィンが放出され、気分が良くなります。
2. バランスの取れた食事を維持する: 栄養価の高い食べ物を食べることは、全体的な健康状態とエネルギーレベルの向上に貢献します。
3. 十分な睡眠をとる: 精神的な覚醒と感情的な回復力には、十分な休息が不可欠です。
4. リラクゼーションテクニックを実践する: マインドフルネス、瞑想、または深呼吸の練習は、ストレスを軽減し、落ち着きを促進します。
5. 他の人とつながる: 友人や家族との交流は、気分に良い影響を与える可能性があります。
6. 好きな活動に参加する: 趣味や興味を追求すると、喜びと満足感が得られます。
7. ネガティブな思考に挑戦する: 悲観的な思考パターンをより現実的でポジティブな思考パターンに置き換えるように努めてください。
8. 必要に応じて専門家の助けを求める: セラピスト、カウンセラー、またはメンタルヘルスの専門家が、あなたの特定のニーズに合わせたサポートを提供できます。
気分が良くなるまでは旅であり、途中で助けを求めても大丈夫であることを忘れないでください。 セルフケアと健康に向けて、毎日小さな一歩を踏み出しましょう。 精神的健康について懸念がある場合は、個別のサポートを提供できる専門家に相談することを検討してください。 幸運を！
以上です。
Leave a Reply