使用WordPress蜘蛛记录来生成这个功能。在对网站优化的研究中,清楚地了解蜘蛛的爬行规律也非常重要,这样才能了解蜘蛛的爬行规律。按照这个规则,我们会重新写文章,这符合蜘蛛的胃口,非常有利于优化

代码

将下方代码放入主题function.php文件。

function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}

使用方法

然后在网站根目录创建一个 robotslogs.txt 并且给他777权限,查看统计的方式就是这样 https://域名/robotslogs.txt

往年的今天

本文最后更新于2021年4月3日,内容观点随时间变化而改变,望周知。

  • 2019:  996加班(6)
  • 2018:  发现好网站(0)
  • 2018:  一键评论(0)
  • 2017:  管理与被管理暂存(0)