各位站长朋友通常都会给自己的网站安装cnzz、百度统计等站长统计工具，可是，这些站长统计工具不会记录网络蜘蛛的爬取情况。一些站长朋友通常会用日志分析工具对网站日志分析蜘蛛爬取情况。我个人认为，可能大部分站长对网站日志的统计分析过程中，忽略了一些小的细节，下面就列举两条：
一、网站日志文件应该按访问量多少，来确定是否需要按小时生成。
我的一个站长朋友，网站是每天生成一个日志文件，前段时间他参加了电商圈比赛，网站排名保持在首页，每天的流量有上千IP，每天的网站日志文件大小大约50M左右，有点杯具的是他的电脑旧了点，一打开网站日志文件不是没反应就是死机。他只好通过网络把日志传给我，让我帮着分析一下，50M的文件虽然不大，问题是他用电信网络，我用网通网络，在传日志的时候经常杯具。50M的日志文件，我用的日志分析程序也经常数据溢出、崩溃，无奈只好用文本编辑打开查看，面对密密麻麻的日志文本，统计分析这些数据实在非常非常困难。所以，建议网站访问量比较大的站长朋友，最好按小时生成网站日志，虽然生成文件多了点，但更有利于网站日志的分析。
二、网站日志记录的信息实际并不完整。
不知道各位站长朋友，有没有注意到，网站日志里很少出5xx的返回代码。例如，500返回代码表示服务器内部错误，503返回代码表示服务不可用。各位站长朋友都知道，5xx返回代码一般意味着网站服务器出了故障，一般情况下，服务器出了故障是无法生成网站日志的。换个说法，当网站服务器宕机了，或者dns解析不了，所有人都无法访问，蜘蛛也无法访问，在这段时间里，网站日志肯定是无法记录任何信息的。为了更好的监控网站情况，我个人建议大家去注册并使用谷歌站长管理工具，可以有效的记录服务器访问错误信息。
以上两点，是我个人对网站日志分析过程中想到两点小问题，希望能够抛砖引玉，欢迎各位站长朋友拍砖。
本文源自北京家电维修网http://bbs.bjjdwx.com/thread-135013-1-1.html，转载请注明出处，谢谢合作。
评论