關於「web crawler中文」標籤，搜尋引擎有相關的訊息討論：

什麼是網路爬蟲？| 網路蜘蛛如何運作 - Cloudflarewww.cloudflare.com › zh-tw › learning › bots › what-is-a-web-crawler網路爬蟲 - MBA智库百科wiki.mbalib.com › zh-tw › 网络爬虫網路爬蟲- 維基百科，自由的百科全書 - Wikipediazh.wikipedia.org › zh-tw › 網路爬蟲Google Crawler (User Agent) Overview | Google Search Centraldevelopers.goo