影视剧情介绍方面的网站属于数量泛滥，但是缺乏精品的一类。内容原创的网站不多，更多是收集各地分散的影视资源加以汇总。尤其是电视剧介绍，经常是分集连载方式，这就使得站长需要不断关注正在更新的剧集，一集一集补充上去，难以一步到位。维护影视剧情网站更是偷懒不得，必须保持更新，否则内容很快过时。
本人运行影视剧情站一段时间就遇到这个问题，一部电视剧的介绍前前后后更新多次，尤其是热播剧，不断追加内容直至完整。
建站初期为了尽快充实全站内容，需要收集整理大量的影视介绍文字，除了人工整理编辑之外，也尝试过一点内容采集，然后进行二次编辑修改，这样就可以为用户提供足够丰富完整的电影与电视剧内容，这个过程也是费了点头脑，简要叙述一下吧。
浏览学习大量同类网站以后，发现tvmao在影视剧情搜索方面的排名非常好，毕竟是百度open的名站，内容也相当丰富，二话不说，先从tvmao借鉴些内容。
tvmao的影视剧情部分算是比较容易采集，页面模板固定、正文内容没有干扰，看起来没有任何防采集处理。实际采集过程略微一波三折，总体说来采集障碍不大。
说下采集tvmao的经过，我的网站使用美国空间，tvmao应该是浙江电信的空间。第一阶段我是直接在国外的空间上运行采集工具(远程采集)，最直接的采集然后数据入库，因为国外连国内，速度不算很快，不过还比较稳，大约采集了一两千部电视剧剧情，遭遇第一次杯具：服务器的IP被tvmao封了。
服务器IP被对方封禁以后迟迟不见解封，应该是tvmao对这个IP永久屏蔽了，更换服务器IP肯定是行不通，总不能封一次换一个，于是想到本地执行采集，然后远程写入服务器的数据库，前提是数据库允许远程访问。随后的实践证明这种采集(本地采集+远程入库)方案比较可行，但是也会有点遗憾，因为我的服务器在国外，而我在国内采集到的内容要远程写入国外的数据库，会发现远程写入的速度比较慢，因为写入过程实际包括了查询、插入、更新、删除的多个数据库操作过程，这些过程都通过远程访问执行就导致整个采集过程变慢。更严重的是远程操作数据库过程中不定时出现数据库连接进程超时之类的问题，导致写入失败。
如果我的服务器在国内，访问速度够快，也许上述方案可行，先留作备用方案吧。
评论