凉城博客
SEO技术分享

纯代码实现WordPress记录搜索引擎蜘蛛爬取日志

在新站或网站收录有问题时,可能需要持续关注搜索引擎蜘蛛的抓取情况。对于网站的内容是否能够及时的收录,都是我们站长每天都在关注的东西,但是每次打开服务器端访问日志查看非常麻烦,特别是当日志文件比较大时更是不便。最好的办法就是在线直接打开看蜘蛛爬行记录。为此,我们可以免插件使用纯 PHP 代码来实现这个功能,以下是具体实现代码。

一.写入代码

wordpress主题文件目录下找到function文件,用代码编辑软件打开,在<?php ?>内的任意位置增加下面一段代码即可完成wordpress蜘蛛爬行记录生成的功能!

function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}

二.添加文件

使用上面这段代码后,最好在网站的根目录创建个robotslogs.txt的文件,然后过段时间,访问http://域名/robotslogs.txt 即可看到蜘蛛爬行记录了!

蜘蛛访问日志

大概就是这个样子,是不是比在服务器中扣日志方便很多?

赞助
转载请标明出处:凉城博客 » 纯代码实现WordPress记录搜索引擎蜘蛛爬取日志

评论 4

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址(选填)
  1. #1

    哈哈,一不小心就访问了贵博客的日志文件

    MAY的SEO博客5个月前 (05-28)回复

没有找到心仪的内容?常来踩踩吧,总有一天会有你想要的

联系我们免费主机

承蒙厚爱,不胜感激!

支付宝扫一扫打赏

微信扫一扫打赏