答：搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
可以在網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。
robots.txt文件應該放在網(wǎng)站根目錄下。舉例來說，當robots訪問一個網(wǎng)站（比如http://www.abc.com）時，首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件，如果機器人找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。
旗下網(wǎng)站：耐思智慧 - 淘域網(wǎng) - 我的400電話 - 中文域名：耐思尼克.cn 耐思尼克.top
耐思智慧 © 版權(quán)所有 Copyright © 2000-2025 IISP.COM,Inc. All rights reserved
備案號碼：
粵ICP備09063828號
公安備案號：
粵公網(wǎng)安備 44049002000123號
域名注冊服務機構(gòu)許可：粵D3.1-20240003
CN域名代理自深圳萬維網(wǎng)
聲明：本網(wǎng)站中所使用到的其他各種版權(quán)內(nèi)容，包括但不限于文章、圖片、視頻、音頻、字體等內(nèi)容版權(quán)歸原作者所有，如權(quán)利所有人發(fā)現(xiàn)，請及時告知，以便我們刪除版權(quán)內(nèi)容
本站程序界面、源代碼受相關(guān)法律保護, 未經(jīng)授權(quán), 嚴禁使用; 耐思智慧 © 為我公司注冊商標, 未經(jīng)授權(quán), 嚴禁使用
舉報不良網(wǎng)站
高新企業(yè)證書編號：GR201644000568