gemma4
LMstudioでgemma4入れてみました。
26Bでも、動くことは動きますね。激遅いですが。御茶のみつつなら、まあなんとか。
GPU8、RAM32なので、RAM主体のようです。
E4Bは、さくさく動きました。
結構、解答が違いますね。文章の分析だとE4Bでも十分みたいです。
ただ、読み込める文章量に制限があるので、長文の場合は26Bになる場合もあるかも。
落とし穴としては、トークンというか質問と回答の文字数がメモリの総量に依存することですね。
長文を読ませて、長文を解答させるにはメモリがいるというわけです。
LMstudioのデフォだと、1024トークン程度になっているので、モデルのロードのときに、トークンの総量をスライドバーで増やし、記憶させないとダメですね。
メモリ的に無理があると、赤く表示されるので、適度な量にすると長文でも読み込んでくれます。
私のマシンだと、26Bだとマックスは無理でした。
原稿の校正をさせてみたのですが、従来の一太郎の校正よりも精度は格段に高いですね。ただし、いざ修正するとなると、ユーザーインターフェースの関係で、一太郎の方がやはり便利です。併用が、一番いいのかな?
コメント
コメントを投稿