Список цивилизованных ботов, читающих robots.txt перед сканированием.
cat access.log | grep "robots.txt" | awk '{print $12 " " $13 " " $14 " " $15 " " $16 " " $17}' | sort | uniq -c | sort -rn | more
cat access.log | grep "robots.txt" | awk '{print $12 " " $13 " " $14 " " $15 " " $16 " " $17}' | sort | uniq -c | sort -rn | more
Комментариев нет:
Отправить комментарий
Примечание. Отправлять комментарии могут только участники этого блога.