首页 > 编程源码 > 【python】爬虫实战系列！爬视频网2

【python】爬虫实战系列！爬视频网2

楼主：喜欢 [2级] · 2020-2-7 ·  浏览2132 · 编程源码 · ID:
【前言】
在爬一个网站之前，我们得知道要爬的内容在哪？怎么获取它，然后爬它，这非常的重要！

【工具】
1、chrome 浏览
2、开发者模式

【实战】
版面太小， 更新！
- 版权声明 - 1、本帖所有言论和图片等纯属网友个人意见，与流星社区立场无关；
2、其他单位或个人使用、转载或引用本帖时必须同时征得该帖子作者喜欢和流星社区的同意；
3、备注原文地址：https://bbs.liuxingw.com/t/23246.html，可忽略第2条；
4、帖子作者需承担一切因本文发表而直接或间接导致的相关责任；
5、如本帖内容或部分内容转载自其它媒体，这并不代表本站赞同其观点和对其真实性负责；
6、如本帖若为资源类，将仅限用于学习和研究目的，您必须在下载后的24个小时之内，从您安装或使用的设备中彻底删除上述内容；
7、如果您喜欢该程序，请支持正版软件，购买注册，可以得到更好的正版服务；
8、如本帖侵犯到任何版权或违法问题，请立即邮件告知我们，我们将及时予以处理。
40条回复 |  最后回复于2020-2-10

不皮不可爱 [1级]

提前占个楼
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

我们打开网址https://www.30hu.com/，在首页里，找到分类板块的URLhttps://www.30hu.com/dy/catalog_1.html，发现其是用板块名缩写作为url
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

在分类板块里，找到当前页面里所有视频的url分组
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

在分组页里，我们在找到每个视频的播放URL
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

接下来我们用代码实现它
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

我们先定义一个函数，def getnumberbuname(url): # 用来爬取网站内容，这是一个非常重要的函数！
我们会在后面多次进行调用，来获取网页内容。
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

听语 [3级]

楼主加油！
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

这个函数体内的开头是是反爬，这是决定还是失败的关键步骤，网站会检测你时用户还是讨厌的臭虫子
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

谢谢听语大大
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...

喜欢 [2级]

接下来我解释一下它的用处
发布于2020-2-7

回复列表

  • 内容加载中...

说点什么...
1 2 3 4 下一页
登录注册 后才可进行评论
签到
12人签到
已签0天
  • 46621帖子
  • 1936599热点量
  • 184883火热值