我把爬蟲從 Scrapy 改到 XCrawl，省了 300 行代碼

而家做 AI 應用、數據分析嘅團隊，成日都要煩惱點樣高效抓取網絡數據。如果每個智能體、每個數據流程都要自己寫爬蟲邏輯，咁就真係好離譜。

呢個項目就係想透過標準化嘅技能定義同 REST API 設計，為現代 AI 系統建立統一嘅網絡數據採集基礎設施。

文章仲提到，GitHub Trending Skill 幫手發現咗呢個項目，作者小智認為係個好有意思嘅思路。

XCrawl Skills 提供咗五個生產級技能，涵蓋網絡數據工作流嘅主要場景。

每個技能都有詳細嘅請求和響應文檔，仲提供 cURL 同 Node.js 兩種代碼示例，方便唔同環境集成。

要用 XCrawl Skills，首先要去 https://dash.xcrawl.com/ 註冊賬户，激活免費嘅 1000 積分計劃。然後建立本地配置文件 ~/.xcrawl/config.json，將 API Key 放喺入面，咁樣就可以避免暴露喺環境變量。

{
  "XCRAWL_API_KEY": "your_api_key_here"
}

選技能好簡單：想快速提取單頁用 xcrawl 或 xcrawl-scrape；想了解網站結構用 xcrawl-map；爬成個網站用 xcrawl-crawl；基於搜索發現信息用 xcrawl-search。

文章介紹咗三個真實場景：競爭對手產品價格監測、行業新聞聚合平台、技術文檔本地化知識庫。每個場景都附有代碼框架，例如價格監測嗰個：先用 map 發現所有產品 URL，然後用 scrape 嘅異步模式定期抓取，最後定時輪詢結果更新數據庫。

// 1. 發現所有產品 URL
const mapResult = await fetch('https://run.xcrawl.com/v1/map', {
  method: 'POST',
  headers: { 'Authorization': `Bearer ${API_KEY}` },
  body: JSON.stringify({
    url: 'https://shop.example.com',
    filter: '/product/.*',
    limit: 5000
  })
});

// 2. 批量爬取產品頁面
const productUrls = mapResult.urls;
for (const url of productUrls) {
  const scrapeResult = await fetch('https://run.xcrawl.com/v1/scrape', {
    method: 'POST',
    headers: { 'Authorization': `Bearer ${API_KEY}` },
    body: JSON.stringify({
      url: url,
      mode: 'async',
      json: { prompt: 'Extract price, stock, rating' }
    })
  });
  storeTaskId(scrapeResult.scrape_id);
}

// 3. 定時輪詢結果並更新數據庫
setInterval(async () => {
  for (const taskId of storedTaskIds) {
    const result = await fetch(`https://run.xcrawl.com/v1/scrape/${taskId}`, {
      headers: { 'Authorization': `Bearer ${API_KEY}` }
    });
    updateDatabase(result.data);
  }
}, 300000);

文章將 XCrawl Skills 同三個主流工具做咗詳細對比，等你可以快速瞭解佢嘅定位。

同 Scrapy 對比：XCrawl 學習曲線低（REST API），支援多語言，內置異步支援，雲端自動擴展，初始配置簡單（只需 API Key），而且係託管服務；Scrapy 就需要自己部署集羣，學習曲線中等，僅支援 Python。

同 Cheerio 對比：XCrawl 功能完整，有 JavaScript 渲染支援、反爬處理、雲端分佈式性能；Cheerio 只係 HTML 解析庫，功能有限。

同 Puppeteer 對比：XCrawl 資源佔用低（無需啓動瀏覽器），適合通用網頁爬取；Puppeteer 適合 JavaScript 重型網站，但資源佔用高，API 相對複雜。

成本方面，XCrawl 按使用量計費，有免費額度；自身維護嘅工具就冇呢個費用，但需要自己承擔服務器成本同維護精力。

XCrawl Skills 特別推薦畀 AI/LLM 應用開發者、數據分析團隊、企業自動化工程師、學術研究人員同 多智能體框架使用者。

不過佢都有啲限制：超出免費額度後要付費，對大規模爬蟲可能成本較高；完全依賴第三方服務，網絡唔得嘅時候冇得用；定製能力唔及自建爬蟲；數據經過第三方，敏感數據可能唔適用。

總結嚟講，XCrawl Skills 係個設計精良、文檔完善嘅開源項目，透過標準化技能定義同 REST API，為現代多智能體系統提供咗完整嘅網絡數據採集方案。如果你需要為智能體提供網絡信息獲取能力，呢個值得一試。