仕事で使えそう？DifyでRAGを行う時の設定について解説してみた

[@hiroyukifuruta2725]

DifyはOllama経由でオープンソースモデルも使えるみたいなので、RAGで大手の有料APIに比べてオープンソースモデルは使えるのかもやってくれるとありがたいです。phi-3とかmistralとかyiとかココ１か月で更新されたモデルはだいぶ使えるようになった感じがします

[@aivtuber2866]

リクエストありがとうございます！ オープンソースモデルの活用も興味あるのですね！🤔 何か動画にできないか考えてみます😊

[@cantoneseslang]

毎回有料級の内容ありがとう😊ございます 使いながら実は原理がよく理解してできてなかったので非常に助かりました。次は更なるテンプレからもう少しだけ上級のコード組み込みも見れたら嬉しいです😊

[@aivtuber2866]

ありがとうございます！ ちょっとマニアックだったかな？と思ってたので良かったです😆 もう少し実用的なDifyの使い方などあったら良さそうですね！

[@ch.1734]

最高に分かりやすくて何より引用してる情報がしっかりしたものなのが大変ありがたいです！！ コンテキストの文章量って利用トークン数に含まれるんでしょうか？ トークン数がどんな時にカウントされるかが分かるととても嬉しいです！

[@aivtuber2866]

ありがとうございます！ ベクトル化する設定であれば、embeddingのモデルのトークン数に含まれますね！(激安) 後は質問をした時に関連文書を抽出してプロンプトに入れるので、その分は言語モデルのトークン数にカウントされます！

[@seijichishiki5123]

Difyに触れてまだ日が浅いですが、大変参考になりました。 3ヶ月経過するとUIも少し変わっているので、なかなか難しいですが、うまいことアップデートしていってもらえるとありがたいです。

[@aivtuber2866]

少しでも役に立ったようで、良かったです！ 近々、Difyの最新機能の紹介動画投稿予定です！😊

[@ht4869]

いつも非常に参考になってます！ 分かりやすい動画を公開いただきありがとうございます！ ちなみにですが、チャンク長とオーバーラップの数の実験がなされているmicrosoftの記事のリンクっていただくことは可能でしょうか？

[@aivtuber2866]

ありがとうございます！ マイクロソフトの記事のリンクは下記になります！ techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/azure-ai-search-outperforming-vector-search-with-hybrid/ba-p/3929167

[@kmoc1105]

にゃんたさん、にゃんたさん、あなたは天からの使いの者ですか😭✨✨この動画は、まるで私の為の動画でした！教えて欲しい事をいち早く教えてくださり、ありがとうございます！しかもプレゼントでDifyまとめ資料まで😂💕 これなら、私でも出来そうです、感謝です！！

[@aivtuber2866]

コメントありがとうございます！ そんなに感謝されるとは笑 そう言って貰えてこちらとしても良かったです！

[@fudousanphp]

RAGですらまだうまくいかないという声があるのにじゃあfinetuningかと思ったけどRAGのほうがいいのか？これは少し衝撃。ファインチューニングはパラメータ更新なので精度高いと思っていた

[@yoshidamasanori3184]

とても分かりやすい解説ありがとうございます！ チャットボットの設定画面で、手順のテキストボックスが一瞬映りましたが、一言「あなたは優秀なAIです。」は、クスっとしてしまいました。この一言があるだけでも変わるのですかね。笑

[@aivtuber2866]

ありがとうございます！ 何もプロンプト無いのも寂しいから入れとくか･･･という感じで入れてます笑

[@猫日向]

結論、結局学習コストを払ってlangchainを使う。

[@tk84gf]

議事録作成やら調べ物でAIをちょろっと使う程度の者ですが、持っていない知識を学習させるのはmyGPTでも出来ると思うのですが同様のものと考えて良いのでしょうか？

[@aivtuber2866]

はい、同様の技術となるかと思います！ 厳密にはGPTsの方は文書検索ロジックが公開されていないので アルゴリズムに差はあると思いますが、実用上は大きく変わらないと思われます！

[@seijichishiki5123]

ちなみになのですが、RAGのデータに文字PDFではなく、チャットフローを使ってhttpでJSONを取得する場合、KVS形式のJSONのデータをうまく「キー：値」として認識してくれません。例えば「idが10のレコードを表示して」という質問ではヒットせず、「"id":"10"のレコードを表示して」でヒットします。 JSONを意味のあるレコード集合体として認識させるよう、何か指定などにコツがあるのでしょうか？

[@aivtuber2866]

ありがとうございます！ ちょっと状況が正確に理解できておらず、申し訳ないのですが RAGのデータに文字PDFではなく、httpリクエストで、 JSONを取得するというのはどのような状況でしょうか？🤔 httpリクエストを送る先はどこになるのでしょうか？

[@seijichishiki5123]

@@aivtuber2866 すみません、ありがとうございます。 私のこれまでのゴルフプレーのスコアを自分のサーバでDB管理してまして、自作のプログラムでAPIを作ってhttpアクセス出来るようにしています。 以下のようなJSONデータを、チャットフローを使って取得は出来ています。 { "round_no": "1", "score": "88" }, { "round_no": "2", "score": "94" } これを次のフローのLLMノードで「ラウンド1のスコアを表示して下さい」としても回答が得られない、という状況なのです。。 ひとつ分かったのは、GPT-4oモデルではちゃんと表示しますが、Ollamaの「gemma2」ではダメでしたので、モデルの学習能力の差かな、とも思っています。

[@seijichishiki5123]

もう一つは、JSONではなくてCSVを書き出してナレッジとして登録しても良いのかなと思っていますが、後のことを考えて動的にデータを取得したいとも考えている次第です。なのでチャットフローでデータを動的に取得したいと考えています。

[@seijichishiki5123]

あ、もし私の質問が、無料での回答範囲内で無ければ、遠慮無くおっしゃって下さい。

[@aivtuber2866]

ありがとうございます！興味深い使い方されてますね！ プロンプトに埋め込むのも手ですが、 おっしゃるようにモデルの性能に依存するためパラメタ抽出ノードと コードノードを併用すると良いと思います！ ユーザーの入力からパラメタ抽出ノードを用いてround_numberを抽出した後 httpリクエストのレスポンスのbodyと一緒にコードノードに渡します。 import json def main(body: str, round_number: int): parsed_data = json.loads(f"[{body}]") score = parsed_data[round_number + 1]["score"] return {"score": score} これで、scoreが出てくるかと思います！ bodyは下記のような文字列が入る想定で、レスポンスはラウンドナンバーの連番で取得すると仮定しています！ body = """{ "round_no": "1", "score": "88" }, { "round_no": "2", "score": "94" }"""

[@papua-]

語尾を伸ばさずに話してくれると聞きやすくなりそう

[@aivtuber2866]

ありがとうございます！癖なので気を付けます･･･！

[@ちょこ-s9h1o]

エンジニアをしており社内の機密情報を使用したRAGのシステムを構築したいのですが、機密情報は外部に漏洩するのでしょうか？また、外部に情報が漏洩しないLLMの構築方法を知っていましたら教えていただきたいです。データはエクセル、PowerPoint、Wordを使用しようと考えています。

[@aivtuber2866]

APIKEYを登録してモデルを利用する場合は、外部に流出してしまいますね･･･！ 自分の講座を勧めるのは、ちょっとあれなのですが、環境構築では無くて実装だけであれば Udemyで出している「オープンソースAIモデル活用入門」のセクション6で ローカルモデルを利用したRAGの実装は紹介してますので興味があれば･･･！ 購入しなくてもGitHubの方から実装だけでも確認できると思います😊 colab.research.google.com/github/nyanta012/open-model-tutorial/blob/main/section6/RAG.ipynb

[@ちょこ-s9h1o]

@@aivtuber2866 返信遅れました、ありがとうございます！！

[@seijichishiki5123]

横やりになってしまい申し訳ありません。 私もプログラマー・エンジニアをしており、なかなか皆に読まれないプログラム仕様書を読ませるためにRAGを活用出来ないかと思い、Difyに触れてみました。 まだ触り始めて日が浅いので、この動画が大変参考になっています。 私の場合も同様に外部に情報を流出させたくないので、自分のPC（Mac）に「Ollama」というローカルLLM実行ツールを導入し（Macならインストールは比較的簡単）、同じくローカルDockerでDifyをインストール・localhost/app で動作させ、Difyの「モデルプロバイダー」で「OpenAI」ではなく「Ollama」のLLM(gemma2:2b)とTEXT EMBDING(nomic-embed-text)を使用して、完全ローカル化に成功して精度を高めるべく試行錯誤しています。 自分のPCのLANを遮断しても使えるので、見えないところでAPIなどが走っていることは無さそうです。 ただし問題は、高いスペックのPCじゃないと動かないこと。私のMacは高いGPUは無いですが、Corei9 8coreでメモリ16GBとそこそこのスペックを積んでます。それでも1応答に30秒ほど掛かります。 もう一つの問題は、これをどうやって社内スタッフに見てもらうかということ。 社内に置いてあるサーバでは完全にスペック不足、GPUクラウドサービスの独自インスタンスなら外部に情報が漏洩する心配も無く安心ですが、費用は最低でも50円／1時間（HDD利用など入れて月間で5万円以上）の費用が掛かり維持が大変です。 ある程度費用があっても安めのGPUのインスタンスがすぐに枯渇して使えない、グローバルサービスとして外部に公開出来ず単なる機械学習だけのGPUプラン、面倒なGPUドライバーのインストールが必要なプラン、AWSやAzure、GCPではとんでもない金額になる、など、テクニックだけが進行し、まだまだ環境面で解決しなければならないことが多い感じがしています。 参考になれば幸いです。