欢迎光临
我们一直在努力

webmagic垂直爬虫

webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic的核心非常简单,但是覆盖爬虫的整个流程,也是很好的学习爬虫开发的材料。
webmagic的主要特色:
1、完全模块化的设计,强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置,但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖,可以灵活的嵌入到项目中去。





文件名称:webmagic垂直爬虫

更新日期:2020-8-14

作者信息:

提示:下载后请检查MD5值,欢迎捐赠本站以及广告合作!

下载地址:点击下载 【文件大小:5M】

 收藏 (0) 打赏

您可以选择一种方式赞助本站

支付宝扫一扫赞助

微信钱包扫描赞助

未经允许不得转载:怀本博客 » webmagic垂直爬虫

分享到: 生成海报
avatar
网络技术开发;网页设计;计算机软硬件的技术开发 。网站建设。

评论 抢沙发

  • QQ号
  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

铭宇网络建站 专业 快捷

联系我们联系我们
切换注册

登录

忘记密码 ?

切换登录

注册

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活