Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪(fǎng)問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪(fǎng)問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
Disallow: .jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類(lèi)，*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪(fǎng)問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片robots.txt文件用法舉例
猜你喜歡
- 1酒店APP開(kāi)發(fā)定制軟件
- 2母嬰電商商務(wù)APP軟件開(kāi)發(fā)報價(jià)
- 3戶(hù)外產(chǎn)品商城類(lèi)app+小程序軟件開(kāi)發(fā)
- 4食品商城類(lèi)APP軟件功能開(kāi)發(fā)
- 5餐飲店小程序的基本優(yōu)勢
- 6開(kāi)發(fā)一個(gè)社區團購APP軟件
- 7專(zhuān)注app軟件定制開(kāi)發(fā)-app開(kāi)發(fā)一起的公司
- 8網(wǎng)站SEO優(yōu)化之如何運用好meta標簽
- 9銀行賬單分析軟件
- 10怎樣的網(wǎng)頁(yè)設計有利于SEO優(yōu)化
聯(lián)絡(luò )方式：
電話(huà)：15038330582
郵箱：278477169@qq.com
-
婚戀類(lèi)APP產(chǎn)品架構
開(kāi)發(fā)人員在開(kāi)發(fā)婚戀程序時(shí)不懂軟件的架構，也會(huì )限制開(kāi)發(fā)人員的思路，就目前來(lái)看婚戀交友程序的主要四種架構還有它們的優(yōu)缺點(diǎn)，希望用戶(hù)在開(kāi)發(fā)時(shí)知道軟件的開(kāi)發(fā)形式。 一...
-
軟件怎么開(kāi)發(fā)要多少錢(qián)-怎樣開(kāi)發(fā)設計效果好
要是開(kāi)發(fā)一款高質(zhì)量的APP軟件而言，價(jià)格都是幾萬(wàn)和幾十萬(wàn)的，還有更高端的軟件。 現在就分析一下具體的問(wèn)題在那里，請繼續往下看吧。 一、APP軟件開(kāi)發(fā)分為固定開(kāi)發(fā)和...
-
鄭州專(zhuān)業(yè)的小程序開(kāi)發(fā)公司
一、網(wǎng)上的小程序模板有很多，都是模塊化的代碼模板，服務(wù)商在這些上有一個(gè)完成的系統的代碼，它會(huì )把整個(gè)小程序代碼以年的形式租給你，給你提供賬號密碼，保證能正常的使用。 ...
-
DedeCMS用channelartlist調用頂級欄目及列表
這個(gè)標簽全局都可使用，可以減少多次使用 {dede:arclist typeid=‘欄目ID’titlelen='60' row='10'}。除了宏標記外，{dede:channelartlist}是唯一一個(gè)可以直接嵌套其它...
-
農貿菜場(chǎng)小程序功能開(kāi)發(fā)
農貿市場(chǎng)都是線(xiàn)下買(mǎi)菜，但是現在開(kāi)發(fā)一款小程序商城平臺后，大家在線(xiàn)上就能購買(mǎi)農貿市場(chǎng)的菜品等。這個(gè)平臺可以應用到各個(gè)行業(yè)上，商場(chǎng)，服裝，零食，母嬰，體育用品等。想測試一下的...
