首页 > 编程源码 > 爬虫相关

爬虫相关

楼主：三哥✨?? [3级] · 2019-12-11 ·  浏览11311 · 编程源码 · ID:

网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

- 版权声明 - 1、本帖所有言论和图片等纯属网友个人意见，与流星社区立场无关；
2、其他单位或个人使用、转载或引用本帖时必须同时征得该帖子作者三哥✨??和流星社区的同意；
3、备注原文地址：https://bbs.liuxingw.com/t/19597.html，可忽略第2条；
4、帖子作者需承担一切因本文发表而直接或间接导致的相关责任；
5、如本帖内容或部分内容转载自其它媒体，这并不代表本站赞同其观点和对其真实性负责；
6、如本帖若为资源类，将仅限用于学习和研究目的，您必须在下载后的24个小时之内，从您安装或使用的设备中彻底删除上述内容；
7、如果您喜欢该程序，请支持正版软件，购买注册，可以得到更好的正版服务；
8、如本帖侵犯到任何版权或违法问题，请立即邮件告知我们，我们将及时予以处理。
250条回复 |  最后回复于2019-12-12

三哥✨?? [3级]

终于要进行开发了，经过上面的这些步骤，我们到这一步，已经是万事俱备只欠东风了。这个时候，我们仅仅只需要做code和数据提取即可
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

8、 XPath Helper
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

在提取网页数据时，我们一般需要使用xpath语法进行页面数据信息提取，一般地，但我们只能写完语法，发送请求给对方网页，然后打印出来，才知道我们提取的数据是否正确，这样一方面会发起很多不必要的请求，另外一方面，也浪费了我们的时间。这个就可以用到XPath Helper了，通过Chrome安装插件后，我们只需要点击它在对应的xpath中写入语法，然后便可以很直观地在右边看到我们的结果，效率up+10086
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

9、 JSONView
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

我们有时候提取的数据是Json格式的，因为它简单易用，越来越多的网站倾向于用Json格式进行数据传输。这个时候，我们安装这个插件后，就可以很方便的来查看Json数据啦
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

10. JSON Editor Online
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

JSONView是直接在网页端返回的数据结果是Json，但多数时候我们请求的结果，都是前端渲染后的HTML网页数据，我们发起请求后得到的json数据，在终端(即terminal)中无法很好的展现怎么办？借助JSON Editor Online就可以帮你很好的格式化数据啦，一秒格式化，并且实现了贴心得折叠Json数据功能
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

既然看到这里，相信你们一定是真爱粉啦，送你们一个彩蛋工具。
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

ScreenFloat
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...

三哥✨?? [3级]

它能来干嘛？见名思意，就是一个屏幕悬浮工具，然而我最近才发现它特别重要，尤其我们需要分析参数时，经常需要在几个界面来回切换，这个时候有一些参数，我们需要比较他们的差异，这个时候，你就可以通过它先悬浮着，不用在几个界面中来切换。非常方便。
发布于2019-12-11

回复列表

  • 内容加载中...

说点什么...
上一页 1 2 3 4 5 6 7 8 下一页
登录注册 后才可进行评论
签到
36人签到
已签0天
  • 46634帖子
  • 1936799热点量
  • 184975火热值