准备工作
下载火车头采集器(7.6破解版),百度一下就有
再看本文之前需要有火车头采集器使用基础
分析目标站点
以“搞笑”为例(http://www.pearvideo.com/category_7)
1、列表、分页
由于目标站点和一般的站点的分页方式不一样,使用Google、或者其他浏览找到分页方式
http://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=7&start=24&mrd=0.8454637756481935&hotContIds=1216256,1215984,1216367
http://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=7&start=36&mrd=0.8454637756481935&hotContIds=1216256,1215984,1216367
通过上面链接分析得到,每次分页只有红色数字部分改变。
访问上面的网址得到如下页面,我们采集这个页面就可以了
2、分析视频源地址
打开一篇文章,查看源代码可以找出视频相关地址
写采集规则
通过上面的对目标网站分析之后,采集规则就很好写了。
1、采集网址规则
第一页的链接为0,不是1
公差为12(不明白的看上面链接分析)
2、多级网址获取
关系:列表网址-->文章网址-->视频地址
在第1步的时候已经填写了列表网址,这里只要采集文章和视频地址就可以了
在写脚本规则之前把采集内容规则里自带的删除掉
脚本规则:
1 2 3 4 5 6 7 8 9 |
<li class="categoryem"> <div class="vervideo-bd"> <a href="[参数]" class="vervideo-lilink actplay"> (*) <div class="vervideo-title">[标签:标题]</div> </a> <div class="actcont-auto"> (*)class="column">[标签:作者]</a> <span class="fav" (*) </li> |
原网页源代码:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
<li class="categoryem"> <div class="vervideo-bd"> <a href="video_1216735" class="vervideo-lilink actplay"> <div class="vervideo-img" > <div class="verimg-view"><div class="img" style="background-image: url(http://image1.pearvideo.com/main/20171206/10483457-113726-0.png);"></div></div> <div class="cm-duration">00:49</div> </div> <div class="vervideo-title">跟女朋友从宾馆出来千万别做这件事</div> </a> <div class="actcont-auto"> <a href="column_839" class="column">段子哥</a> <span class="fav" data-id="1216735">0</span> </div> </div> </li> |
再添加一个视频地址获取规则:
1 |
<script type="text/javascript">var contId="(*)",liveStatusUrl="liveStatus.jsp",liveSta="",playSta="1",autoPlay=!1,isLiving=!1,isVrVideo=!1,hdflvUrl="",sdflvUrl="",hdUrl="",sdUrl="",ldUrl="",srcUrl="[标签:视频地址]",vdoUrl=srcUrl,skinRes="//www.pearvideo.com/domain/skin",videoCDN="//video.pearvideo.com";</script> |
原网页源代码:
1 |
<script type="text/javascript">var contId="1216821",liveStatusUrl="liveStatus.jsp",liveSta="",playSta="1",autoPlay=!1,isLiving=!1,isVrVideo=!1,hdflvUrl="",sdflvUrl="",hdUrl="",sdUrl="",ldUrl="",srcUrl="http://video.pearvideo.com/mp4/third/20171206/10343957_130140-hd.mp4",vdoUrl=srcUrl,skinRes="//www.pearvideo.com/domain/skin",videoCDN="//video.pearvideo.com";</script> |
文章评论
火车头实在过于强大。
文章大有看点,支持!
一言不发岂能证明我来过了?!