11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來騰訊云選購吧!
建立好形象,要揚長避短。我們可以通過robots.txt來限制蜘蛛的爬行頁面,我們通過robots.txt的控制,不讓蜘蛛爬行質(zhì)量比較低劣的網(wǎng)頁
Google,雅虎,微軟各自在自己的官方博客上發(fā)了一篇帖子,公布三家都支持的robots.txt文件及Meta標簽的標準,以及一些各自特有的標準。下面做一個總結(jié)。