Semalt маслиҳатҳоеро пешниҳод мекунад, ки чӣ гуна бо ботҳо, тортанакҳо ва кранчиён мубориза мебаранд

Ба ғайр аз эҷоди URL-ҳои муҳими ҷустуҷӯ , файли .htaccess ба вебмастерҳо имкон медиҳад, ки ботҳои мушаххасро аз дастрасӣ ба вебсайти худ банданд. Як роҳи бастани ин роботҳо тавассути файли robots.txt аст. Аммо, Росс Барбер, менеҷери муваффақияти Semalt мегӯяд, ки вай дидааст, ки баъзе крепостҳо ин дархостро нодида мегиранд. Яке аз роҳҳои беҳтарини истифодаи файли .htaccess барои боздоштани онҳо аз индексатсия кардани мундариҷаи шумо мебошад.

Ин ботҳо чист?

Ин як навъи нармафзоре мебошад, ки аз ҷониби системаҳои ҷустуҷӯ барои нест кардани мундариҷаи нав аз интернет бо мақсади индексатсия истифода мешавад.

Онҳо вазифаҳои зеринро иҷро мекунанд:

  • Ба сафҳаҳои вебе, ки пайваст кардаед, боздид кунед
  • Рамзи HTMLи худро барои хатогиҳо тафтиш кунед
  • Онҳо кадом веб саҳифаҳоро, ки ба он пайваст мешавед, ҳифз мекунанд ва мебинанд, ки кадом вебсайтҳо ба мундариҷаи шумо пайванданд
  • Онҳо мундариҷаи шуморо индексатсия мекунанд

Аммо, баъзе ботҳо зарароваранд ва сайти худро барои суроғаҳои почтаи электронӣ ва шаклҳое, ки одатан барои фиристодани паёмҳои номатлуб ё спам истифода мешаванд, ҷустуҷӯ кунед. Дигарон, ҳатто дар коди шумо нуқсонҳои амниятро меҷӯянд.

Барои бастани веб-крейсерҳо чӣ лозим аст?

Пеш аз истифодаи файли .htaccess, шумо бояд чизҳои зеринро санҷед:

1. Сайти шумо бояд дар сервери Apache кор кунад. Имрӯз, ҳатто он ширкатҳои хостингие, ки дар кори худ нисфи сазоворанд, ба шумо ба файли зарурӣ дастрасӣ медиҳанд.

2. Шумо бояд ба гузоришҳои серверҳои хоми вебсайти худ дастрасӣ дошта бошед, то тавонед, ки кадом ботҳо ба веб саҳифаҳои шумо ворид шуда бошанд.

Дар хотир доред, ки ҳеҷ роҳе барои пешгирии ҳама ботҳои зараровар нест, агар шумо ҳамаи онҳоро манъ кунед, ҳатто онҳое, ки шумо муфид меҳисобед. Ҳар рӯз ботҳои нав меоянд ва калонсолҳо тағир меёбанд. Роҳи аз ҳама самаранок ин таъмин кардани рамзи шумо ва барои спамҳо бо ботҳо мушкил кардан.

Муайян кардани ботҳо

Ботҳо метавонанд бо суроғаи IP ё аз "Истифодабарандаи Агент Стринг", ки онҳо дар сарлавҳаҳои HTTP мефиристанд, шинохта шаванд. Масалан, Google "Googlebot" -ро истифода мебарад.

Шояд ин рӯйхат бо 302 бот дошта бошад, агар шумо аллакай номи бот дошта бошед, ки мехоҳед онро истифода баред .htaccess

Роҳи дигар ин аст, ки ҳамаи серверҳои сабти баҳисобгирӣ аз сервер зеркашӣ карда, тавассути муҳаррири матнӣ кушоед. Ҷойгиршавии онҳо дар сервер вобаста аз конфигуратсияи сервератон метавонад тағир ёбад. Агар шумо онҳоро ёфта натавонед, аз хости вебатон муроҷиат кунед.

Агар шумо донед, ки кадом саҳифа ташриф овардааст ва ё вақти ташриф, бо бот номатлуб ворид шудан осонтар аст. Шумо метавонед бо ин параметрҳо файли сабти рӯйхатро ҷустуҷӯ кунед.

Боре, шумо қайд кардед, ки кадом ботҳоро бастанатон лозим аст; пас шумо метавонед онҳоро ба файли .htaccess дохил кунед. Дар хотир доред, ки бастани бот барои боздоштани он кофӣ нест. Он метавонад бо IP ё номи нав баргардад.

Чӣ гуна бастани онҳо

Нусхаи файли .htaccess -ро зеркашӣ кунед. Агар лозим бошад, нусхаҳои эҳтиётӣ созед.

Усули 1: бастани IP

Ин коди бот бо истифодаи суроғаи IP 197.0.0.1 ботро блок мекунад

Фармоиш додан рад, Иҷозат диҳед

Рад аз 197.0.0.1

Сатри аввал маънои онро дорад, ки сервер ҳама дархостҳои мувофиқ ба намунаҳои нишон додаи шуморо маҳкам мекунад ва ба ҳамаи дигарон иҷозат медиҳад.

Дар сатри дуюм ба сервер хабар дода мешавад, ки 403: саҳифаи манъшударо диҳад

Усули 2: Бастани корбарони агент

Роҳи осонтарин истифодаи муҳаррики навиштани Apache мебошад

RewriteEngine фаъол аст

RewriteCond% {HTTP_USER_AGENT} BotUserAgent

RewriteRule. - [F, L]

Сатри аввал кафолат медиҳад, ки модули дубора навишта шудааст. Хатти дуюм шартест, ки қоида татбиқ мекунад. Сатри "F" дар сатри 4 ба сервер мегӯяд, ки баргардонидани 403: манъшуда дар ҳоле, ки "L" маънои ин қоидаҳои охирин аст.

Баъд шумо файли .htaccess -ро ба сервери худ бор мекунед ва файли мавҷударо аз нав сабт мекунед. Бо мурури замон, ба шумо лозим меояд, ки IP-и ботро навсозӣ кунед. Агар шумо хато кунед, танҳо нусхаи эҳтиётии онро созед.