Список поисковых спайдеров на основе access.log

Список цивилизованных ботов, читающих robots.txt перед сканированием.
cat access.log | grep "robots.txt" | awk  '{print $12 " " $13 " " $14 " " $15 " " $16 " " $17}' | sort | uniq -c | sort -rn | more

где найти серийник от Криптопро

Частенько стали задавать этот вопрос, особенно при пере установке Крипто-Про. Серийный номер, введенный ранее, находится тут:
Открываем реестр: Пуск - выполнить - regedit и ищем позицию:
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Installer\UserData\S-1-5-18\Products\05480A45343B0B0429E4860F13549069\InstallProperties]
">"ProductID"="а тут видим серийник."
взято тут
Даже если нет такого, смотрим по пути