ローカルＡＩで校正

 　構成に使えるかなあと、ローカルで動くＡＩを使ってみたが、うーん、今一。

　まあ、たくさん試すわけにもいかないので、とりあえずＧＥＭＭＡ４を使ってみる。

　ＬＭstudioで動かすが、日本語化がほぼされていないので結構不便。まあ、コマンドラインよりは楽なんだけど。

　特に、AIモデルのバージョン管理が分かりにくい。どうも、新バージョンがなければ、検索したモデルが「新しいチャットを作りますか」で、新しい物が公開されていれば別の表示になってるみたい。

　で、うちのマシンはＶＲＡＭ８でメインＲＡＭ３２なので、まあ貧弱です。

　４だと比較的サクサク動く。しかし、校正能力はやや低い。存在しない文字列をピックアップして間違ってますとか言ってくる。

　２６だと、動くことは動くが、まあ、遅い。使えないことはないが、実用としては時間泥棒になる。４よりは賢いので、使い分けている。

　１２は２６と大差ないので、もっとVRAMがないと恩恵はない。

　量子化されたコンパクトモデルもあるのだが、なんか不安定で動かなくなることがあるので避けている。

　で、文庫本数冊を処理できるというのはほんとだけれど大嘘で、初期設定ではすぐに止まってしまう。

　管理の単位がトークンで、まあ、文字数と考えても極端には違わないんだが。これを設定で増やしてやらないと、数行程度しか処理できない。

　設定で限界を超えると設定の文字などが赤くなるので、ギリギリまで増やしてみると、らくに文庫１冊分を処理できる。当然処理時間は膨大にかかるわけだが。タスクマネージャーを見ると、グラボも本体も全てのメモリが使われている。スワップも発生してるのかなあ。

　このトークンが厄介で、限界値の中には、チャットに入れる処理の仕方であるプロンプトの文字数と、質問や分析対象テキストの文字列が含まれるが、さらに、回答の文字数も含まれる。なので、回答途中で止まったりするわけだ。

　そして、盲点だったのが、途中の思考の文字数もカウントされるのである。日本語でを英語に直して理解して、回答を出した後に、推論で別の可能性を言い出して、どっちが正しいか評価して答えを出す。なんて過程を文章化していて、その文字数がカウントされているわけだ。

　そりゃ、トークンなんか、あっという間に使い切るわけだ。有料のネット版でとんでもない使用料になるのはこういうことか。

　まあ、メモリの最大値にしておけばいいんじゃないのということになるが、一つのチャットで、過去にした質問のやりとりから要約をキャッシュとして持っていて、それを新しい質問に反映させているらしい。これがメモリ量としてはバカにならないらしく、トークン数を圧迫するらしい。ああ、ややこしや。

　まあ、それでも、最大値にすればなんとかなりそうではあるのだが、長文を解析させるとまた変なことが起きる。

　誤字脱字をチェックさせたとして、回答に１０件該当がありますとなっているのに、表示されているのは５件だったりする。つまり、答えを省略してトークンを節約しているのだ。

　便利ではあるが、オミットされた情報に重要な物があるかもしれない。５件のオミットは修正できないわけだから。まあ、重要でない誤字、ＡＩが誤字だと思っていてほんとは正しい物もあるのでややこしいわけだが。

　このへんの省略がない物量となると、だいたい１回で１０行程度が妥当になる。だいたい５００文字から２０００文字ぐらいだろうか。

　つまり長文は分割してチェックするしかない。

　このへん、１０行ごとにチェックとか自動化できないのかなあ。

　ということで、基本４でチェックして、余裕のあるときに２６でチェックしている。