何を今更感がありますが、ChatGPTをきっかけに一気に広がったAI。昨今は業務で色々お世話になっています。
しかし、仕事で利用するには、色々な制約がまだあって本格的な利用にはまだもう少し時間が必要なのかと思っています。特にテキスト系ではセキュリティの問題、企業内の情報を入れていくには、やはり汎用的なものではなく、企業が契約を締結をする、あるいは独自のAI環境を生成して利用してくのが現時点では最も現実的な解かと思います。
一方、個人で利用する分にはある程度セキュリティの心配はいらないわけではありますが、それでもやはり気を遣うことが多いのが実情です。特に企業情報などは絶対に入力などできません。また生成系AIの中でも、イメージや音楽などのアートの領域は、昨今話題になっている著作権の問題が大きなハードルかと思っています。
なぜか自前で
話がいきなり飛躍するわけですが、それならば自分の環境に作ってしまおう、と素人なりの発想で始めて見ることに。
幸い、20年ぶりに自作PCを組んで、まあそれなりのグラボを入れたので環境的には少しは耐えうるかな、と甘い考えで始めてみることにしました。
今更感があるし、素人なので役にたつ情報などほとんどないとは思いますが、備忘録を兼ねて顛末を整理しておきたいと思いました（いずれも2024年4月時点での情報です）。
text-generation-webuiを利用
まあ、Pythonを使えば良いというのはわかっていたし、個別には環境があったので、text系のAIで何を使えばいいのかをリサーチ、といってもCoPilotくんにお願いしただけですが（汗）。
お答えは、ここにあるようにtext-generation-webuiというのが最も簡単だ、という情報でしたのでこれを早速使ってみることに。
色々探すと、Qiita様の記事「ローカルへのtext-generation-webuiの導入」というのが非常にわかりやすかったので、こちらを参考にさせていただきました。
必要なのはいうまでもなくPythonそして、私の場合はcudaというNVIDIAのグラボ用のPythonライブラリが主なものでした。
特に引っかかったりすることも殆どなく、比較的に順調にインストールができ動作環境が立ち上がりました。
モデルのダウンロード
ローカル環境でテキスト生成AIを利用するには、自分で利用するモデルを選択して環境を生成する必要があります。先ほどのtext-generation-webuiはこれを支援してくれるツールのわけで、ここからは利用するモデルを選択して環境を整備することになります。
参考にさせていただいた記事では、gitから元になるPythonライブラリをダウンロードしながら、実際のモデルデータをダウンロードしていく手順になっています。Pythonをある程度使える人はこれで十分かと思いますが、私は、”Hugging Face“というサイトを利用させていただきました。画像生成系AIであるStability Diffusionなどを使われているかたは良くご存知かもしれません。このサイトで色々なデータモデルを提供しています。
データモデルは本当に日進月歩で、私がこうやって色々試しているうちにもどんどん追加されていっています。う〜ん、すごい！
で、私はこの中から日本語の取り扱いが可能なCyberAgentのOpenCalm、そして最近KDDIなどとの事業化が発表されましたが、ELYZEという２つのモデルで試してみることにしました。いずれもこのサイトで検索すれば出てきますので、興味がある方は試してみられると良いと思います。
どうやって使っていくか？
まだダウンロードして環境を生成し、動くことを確認しただけで、偉そうなことは何一つ言えません。確実にわかっていることは事前学習まではできているモデルらしいので、ここからあとはファインチューニングなるものをしていったりという、実際に利用するにあたっての調整をやることかと思っています。
え、それでそれを何に使うの？という声が聞こえてきそうですが。
まずは、勉強です！
自分が本当に使えるかも含め、勉強しながら進んでいきたいと思っています。
コメント