前回、ローカルにセットアップしたDifyにFirecrawlを追加していきます。
Firecrawlは、URLを指定するとWebサイトをクロールし、LLMで扱いやすいマークダウンや構造化データに変換してくれるツールです。SaaS版のFirecrawlには無料枠があり500回の制限がありますが、Difyと同様にローカルで実行すれば無制限で利用可能です。
セットアップ手順は以下の通りです。
git clone https://github.com/mendableai/firecrawl.git
cd firecrawl
cp ./apps/api/.env.example ./.env
コピーした.envファイル内の以下のキーを編集します。
PLAYWRIGHT_MICROSERVICE_URL=http://playwright-service:3000/scrape
USE_DB_AUTHENTICATION=false
TEST_API_KEY=fc-test
設定が完了したら、コンテナを起動します。
docker compose up
コンテナが正常に起動したら、Difyの画面から以下の設定を行います。
1. 「ナレッジ」登録画面で「ウェブサイトから同期」を選択し、Firecrawlの「Configure」をクリック。
2. 「Website」の「Configure」ボタンをクリック。
3. 設定モーダルのAPI Keyに「fc-test」、Base URLに「http://host.docker.internal:3002」を入力して保存。
4. ステータスが「ACTIVE」になればセットアップ完了です。