どれが良い？PDF読み取りツール(LlamaParse, Unstructured, FireCrawl)比較してみた

こんにちは、にゃんたです。
今回は複雑なPDFからテキスト情報を抽出する時に、
どのようなツールを使うと良いのかについて解説しました😊
仕事で厄介なPDFを扱うことがある人はぜひ見て見て下さい！
■LINE公式で限定コンテンツ配布中！
▼登録はこちらから行えます▼
liff.line.me/2004040861-3Jvq4bAG
今ならキーワード「プレゼント」と入力すると
・ChatGPTのプロンプトまとめ
・Caludeのプロンプトまとめ
・Difyのまとめ
を無料でお渡ししています！
■PDFの読み取り結果
github.com/nyanta012/pdf-extr...
■チャプター
00:00 オープニング
01:55 テキストの抽出とは？
07:31 各サービスの紹介
■関連動画
何が凄いのか？最新の技術GraphRAGについて解説してみた
• 何が凄いのか？最新の技術GraphRAGにつ...
仕事で使えそう？DifyでRAGを行う時の設定について解説してみた
• 仕事で使えそう？DifyでRAGを行う時の設...
OpenAI最新のEmebddingモデルって何が凄いのか解説してみた
• OpenAI最新のEmebddingモデルっ...
GPTとLlama indexで超簡単に外部データと連携させる方法を紹介
• GPTとLlama indexで超簡単に外部...
■Udemy
ChatGPTAPIの使い方講座も作成しているので興味があれば是非！(クーポン発行してます！)
linktr.ee/nyanta_youtuber
■X, インスタグラム
/ vtuber_nyanta
/ vtuber_nyanta
■note
note.com/nyanta123
■言語モデル関連のおすすめ書籍
[書籍]大規模言語モデルは新たな知能か――ChatGPTが変えた世界
amzn.to/3YhtYCk
[紹介動画]一流研究者による大規模言語モデルの解説がわかりやすい
• 一流研究者による大規模言語モデルの解説がわか...
■にゃんた愛用のガジェット達
HHKBのキーボード(タイピングが心地よい！)
amzn.to/3VHE4Nd
パームレスト(外出時もタイピングの位置が安定する)
amzn.to/3Rtcz7G
マウス(手の負荷が下がる！)
amzn.to/3KI72q7
iiyamaモニター(ChatGPT用にディスプレイが必要･･･！)
amzn.to/3VpljNd
モニターアーム(コスパ良かった！)
amzn.to/4bZMTaJ
■連絡先
[e-mail]
※上記製品リンクURLはAmazonアソシエイトのリンクを使用しています。
---------------------------------------------------------------------------
■楽曲提供
フリーBGM DOVA-SYNDROME : dova-s.jp/
効果音ラボ : soundeffect-lab.info/
■編集
にゃんた妻
　一言：後半に出てくる、右上の青いテロップが今回のこだわりポイントです😊
---------------------------------------------------------------------------
#AI #生成AI #python #プログラミング #ChatGPT

[@aivtuber2866]

Sonnet3.5の速報は 痛恨の外出中で撮れませんでしたっ‥！ （期待していた方申し訳ないです🙇）

[@shintarooashi1045]

複雑なPDFを読み取るのは、marpやAzureのdocument-intelligenceもいい感じなので、使ってます。

[@aivtuber2866]

ありがとうございます！ 他の方からも教えていただきましたが document-intelligenceいい感じなんですね😲 marpは知らなかったので調べてみます！ありがとうございます！

[@shintarooashi1045]

すみません。PDFを読み取るのは、marpではなく、markerでした。

[@user-lp5mc2nl3i]

AzureのDocument Intelligenceを使ってますが、セマンティックチャンキングや表をマークダウンに変換したりして、割と精度が上がってる感があります。

[@aivtuber2866]

Document Intelligence今回紹介してなかったのですが 精度良い感じになってるんですね😲 教えていただき、ありがとうございます！

[@soladona4228]

いつもありがとうございます！会社で使うとなるとオープンソースじゃないとハードル高いですね。。。

[@soladona4228]

Azureみたいにエンタープライズ向けのサービスであれば普通に使えそうです。

[@aivtuber2866]

@@soladona4228 コメントありがとうございます！ 確かに会社の規則的に大手のベンダーじゃないと 導入のハードル高いですよね😢

[@kyakyakua]

firecrowl(OS版)をどうやってdifyと連携するか教えて欲しいです…！

[@patoru_patr]

見たかった検証！画面右側の出力結果はなんというツールで表示させていますか？ 官公庁の資料は列のラベルが縦書になっていることが多いので困っていましたがファイアークロールはいけるのですね。 Azure Form Recognizerとかも使えますよね。

[@aivtuber2866]

ありがとうございます！ 右側は、GitHubでMarkdown形式のファイルを作成して表示させてます！ Azure Form Recongnizerというサービスがあるんですね😲 AzureのサービスAzureOpenAI以外ノータッチだったので、少し調べてみます！ ありがとうございます😄

[@tamorika111]

投稿ありがとうございます！firecrawlでどうやったらpdf読めるかの動画是非おねがいします！！！サイト見てもwebscrapeだけしかわからず、、

[@aivtuber2866]

ありがとうございます！(返信遅れました🙇‍♂️) > firecrawlでどうやったらpdf読めるかの動画是非おねがいします！！ こちらは、動画で説明できておらずすみません･･･！ 単純に公開ページであったのでURLを入力して抽出しています🙇‍♂️ ローカルでできる方法があったら(OSS版だとできる？)紹介したいと思います！

[@tamorika111]

@@aivtuber2866 ご返信ありがとうございます！なるほど！コメントにあるazure系試してみます！