Cov tshuab tshawb nrhiav tau nruab nrog cov neeg hlau, tseem hu ua kab laug sab lossis kab laug sab, uas nkag thiab ntsuas lub vev xaib. Yog tias koj lub xaib lossis nplooj ntawv tseem tab tom txhim kho lossis muaj cov ntsiab lus nkag siab, koj yuav xav thaiv cov bots los ntawm kev nkag thiab ntsuas koj lub xaib. Kawm paub yuav thaiv tag nrho cov vev xaib, nplooj ntawv, thiab txuas nrog robots.txt cov ntaub ntawv thiab thaiv cov nplooj ntawv tshwj xeeb thiab txuas nrog cov cim npe html. Nyeem rau txhawm rau nrhiav yuav ua li cas thaiv cov bots tshwj xeeb los ntawm kev nkag mus rau koj cov ntsiab lus.
Cov kauj ruam
Txoj Kev 1 ntawm 2: Thaiv Kev Tshawb Fawb nrog robots.txt Cov Ntaub Ntawv
Kauj Ruam 1. Nkag siab robots.txt cov ntaub ntawv
Cov ntaub ntawv robots.txt yog cov ntawv yooj yim lossis ASCII cov ntawv uas qhia rau tshawb nrhiav kab laug sab yam lawv tau tso cai nkag mus rau ntawm koj lub xaib. Cov ntaub ntawv thiab cov ntawv teev npe nyob rau hauv robots.txt cov ntaub ntawv yuav tsis tuaj yeem nkag thiab ntsuas los ntawm kev tshawb nrhiav kab laug sab. Koj yuav xav tau cov ntaub ntawv robots.txt yog:
- Koj xav thaiv cov ntsiab lus tshwj xeeb los ntawm kev tshawb nrhiav kab laug sab.
- Koj tab tom tsim lub vev xaib nyob thiab tsis npaj kom muaj lub tshuab tshawb nrhiav kab laug sab nkag thiab ntsuas lub xaib
- Koj xav txwv kev nkag mus rau cov npe muaj npe zoo.
Kauj Ruam 2. Tsim thiab txuag thiab ntaub ntawv robots.txt
Txhawm rau tsim cov ntaub ntawv, tso tawm cov ntawv nyeem yooj yim lossis tus lej hloov kho. Txuag cov ntawv ua: robots.txt. Cov ntaub ntawv npe yuav tsum yog txhua tus ntawv me.
- Tsis txhob hnov qab "s."
- Thaum koj khaws cov ntawv, xaiv qhov txuas ntxiv "'.txt"'. Yog tias koj siv Lo Lus, xaiv qhov "Plain Text" xaiv.
Kauj Ruam 3. Sau ib daim ntawv tsis pub neeg siv robots.txt
Nws muaj peev xwm los thaiv txhua qhov muaj txiaj ntsig tshawb nrhiav cav kab laug sab los ntawm kev nkag thiab ntsuas koj lub xaib nrog "puv-tsis tso cai" robots.txt. Sau cov kab hauv qab no hauv koj cov ntawv sau:
Tus neeg siv-tus sawv cev: * Tsis pom zoo: /
Kauj Ruam 4. Sau cov ntaub ntawv raws cai-pub robots.txt
Hloov chaw ntawm kev thaiv txhua tus bots, txiav txim siab thaiv cov kab laug sab tshwj xeeb los ntawm qee thaj chaw ntawm koj lub xaib. Cov lus pom zoo raws cai-tso cai suav nrog:
- Thaiv ib qho bot tshwj xeeb: hloov lub hnub qub nyob ib sab Tus neeg siv-tus neeg sawv cev nrog googlebot, googlebot-xov xwm, googlebot-duab, bingbot, los yog teoma.
-
Thaiv cov npe thiab nws cov ntsiab lus:
Tus neeg siv-tus sawv cev: * Tsis pom zoo: /piv txwv-npe /
-
Thaiv ib lub vev xaib:
Tus neeg siv-tus sawv cev: * Tsis pom zoo: /private_file.html
-
Thaiv ib daim duab:
Tus neeg siv-tus sawv cev: googlebot-duab Disallow: /images_mypicture.jpg
-
Thaiv tag nrho cov duab:
Tus neeg siv-tus sawv cev: googlebot-duab Disallow: /
-
Thaiv ib hom ntawv tshwj xeeb:
Tus neeg siv-tus sawv cev: * Tsis pom zoo: /p*.gif$
Kauj Ruam 5. Txhawb kom bots ntsuas thiab nkag mus rau koj lub xaib
Coob leej neeg xav txais tos, tsis txhob thaiv, tshawb nrhiav kab laug sab vim tias lawv xav kom lawv tag nrho qhov chaw ntsuas. Txhawm rau ua tiav qhov no, koj muaj peb txoj kev xaiv. Ua ntej, koj tuaj yeem xaiv tawm ntawm kev tsim robots.txt cov ntaub ntawv-thaum tus neeg hlau tsis pom cov ntaub ntawv robots.txt, nws yuav txuas ntxiv mus thiab ntsuas koj lub xaib tag nrho. Qhov thib ob, koj tuaj yeem tsim cov ntaub ntawv tsis muaj neeg hlau.txt-tus neeg hlau yuav pom cov ntawv robots.txt, lees paub tias nws tsis muaj dab tsi, thiab txuas ntxiv mus thiab txheeb xyuas koj lub xaib. Thaum kawg, koj tuaj yeem sau tag nrho cov ntawv tso cai robots.txt. Siv cov cai:
Tus neeg siv-tus sawv cev: * Tsis pom zoo:
Kauj Ruam 6. Txuag cov ntawv txt rau hauv paus ntawm koj tus sau
Tom qab koj tau sau cov ntawv robots.txt, tseg qhov kev hloov pauv. Rub cov ntawv mus rau koj lub xaib cov npe hauv paus. Piv txwv, yog tias koj lub npe yog www.yourdomain.com, tso cov ntawv robots.txt ntawm www.yourdomain.com/robots.txt.
Txoj Kev 2 ntawm 2: Thaiv Kev Tshawb Fawb nrog Meta Tags
Kauj Ruam 1. Nkag siab HTML robots meta cim npe
Cov neeg hlau meta tag tso cai rau cov programmers teeb tsa tsis rau bots, lossis tshawb nrhiav kab laug sab. Cov cim npe no tau siv los thaiv cov bots los ntawm kev ntsuas thiab nkag mus rau tag nrho lub xaib lossis tsuas yog ib feem ntawm lub xaib. Koj kuj tseem tuaj yeem siv cov cim no txhawm rau txhawm rau tshawb nrhiav kab laug sab tshwj xeeb los ntawm kev ntsuas koj cov ntsiab lus. Cov cim no tshwm nyob rau hauv taub hau ntawm koj cov ntawv HTML.
Txoj hauv kev no feem ntau siv los ntawm cov programmer uas tsis nkag mus rau lub vev xaib lub hauv paus npe
Kauj Ruam 2. Thaiv bots los ntawm ib nplooj ntawv
Nws muaj peev xwm los thaiv txhua tus bots los ntawm kev txheeb xyuas nplooj ntawv thiab lossis los ntawm kev ua raws nplooj ntawv txuas. Cov ntawv no feem ntau siv thaum lub chaw nyob tseem tab tom txhim kho. Thaum qhov chaw ua tiav, nws tau pom zoo kom koj tshem daim ntawv no. Yog tias koj tsis tshem tag, koj nplooj ntawv yuav tsis raug ntsuas lossis tshawb tau los ntawm kev tshawb fawb xyaw.
- Koj tuaj yeem thaiv bots los ntawm kev txheeb xyuas nplooj ntawv thiab los ntawm kev ua raws ib qho ntawm cov txuas:
- Koj tuaj yeem thaiv txhua qhov bots los ntawm kev txheeb xyuas nplooj ntawv:
- Koj tuaj yeem thaiv txhua qhov bots los ntawm kev ua raws nplooj ntawv txuas:
Kauj Ruam 3. Tso cai rau bots los ntsuas nplooj ntawv, tab sis tsis ua raws nws cov ntawv txuas
Yog tias koj tso cai rau bots ntsuas nplooj ntawv, nplooj ntawv yuav raug ntsuas; yog tias koj tiv thaiv kab laug sab los ntawm kev ua raws kab ntawv txuas, txoj kab txuas los ntawm nplooj ntawv tshwj xeeb no mus rau lwm nplooj ntawv yuav tawg. Ntxig kab kab hauv qab no rau hauv koj lub taub hau:
Kauj Ruam 4. Cia lub tshuab tshawb nrhiav kab laug sab ua raws qhov txuas tab sis tsis ntsuas nplooj ntawv
Yog tias koj tso cai rau bots ua raws cov kab ntawv txuas txoj hauv kev txuas los ntawm nplooj ntawv tshwj xeeb no mus rau lwm nplooj ntawv yuav nyob twj ywm; yog tias koj txwv lawv los ntawm kev ntsuas nplooj ntawv, koj lub vev xaib yuav tsis tshwm nyob rau qhov ntsuas. Ntxig kab kab hauv qab no rau hauv koj lub taub hau:
Kauj Ruam 5. Thaiv ib qhov txuas txuas
Txhawm rau zais ib qhov txuas ntawm nplooj ntawv, kos ib rel tag hauv qhov link tag. Koj tuaj yeem xav siv daim ntawv no los thaiv cov kab txuas ntawm lwm nplooj ntawv uas ua rau nplooj ntawv tshwj xeeb uas koj xav thaiv.
Ntxig Txuas mus rau Nplooj Ntawv Thaiv
Kauj Ruam 6. Thaiv qhov tshwj xeeb tshawb nrhiav kab laug sab
Hloov chaw ntawm thaiv tag nrho cov bots los ntawm koj nplooj ntawv web, koj yuav xav tiv thaiv ib tus bot los ntawm kev nkag mus thiab txheeb xyuas nplooj ntawv. Txhawm rau ua kom tiav qhov no, hloov 'neeg hlau' 'nyob rau hauv lub cim npe nrog lub npe ntawm tus bot tshwj xeeb. Piv txwv xws li: googlebot, googlebot-xov xwm, googlebot-duab, bingbot, thiab teoma.
Kauj Ruam 7. Txhawb kom bots nkag thiab ntsuas koj nplooj ntawv
Yog tias koj xav kom ntseeg tau tias koj nplooj ntawv yuav raug ntsuas thiab nws cov ntawv txuas yuav ua raws, koj tuaj yeem ntxig rau qhov ua raws meta "neeg hlau" tag rau hauv koj lub header. Siv cov cai hauv qab no:
