686.08 MB
详情
Crawlab(分布式爬虫管理平台) V0.5.1 中文版
软件类型：应用软件
软件大小：1.08 MB
更新时间：2022-12-28
软件评级：
运行环境：WinAll
软件语言：简体中文
安全监测：
无插件
360 √
腾讯 √
金山 √
瑞星 √
无插件
360 √
腾讯 √
金山 √
瑞星 √
软件介绍
下载地址
其他版本
Crawlab中文版是一个支持Python、NodeJS等多种编程语言及多种爬虫框架的分布式爬虫管理平台，通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行，非常高效，有需要的朋友们赶紧下载使用吧。
软件说明
Crawlab能够帮助用户实现多语言爬虫的目的，通过多种方式进行安装即可使用，软件采用主节点的形式来快速获取网站数据，从而保存到本地数据中，每当目标站点发生变化时即会更新数据，用户还可通过相关控件来设计前端展示效果，极大的提升了程序员开发的效率。
软件介绍
Crawlab架构
Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。
前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。
主节点
主节点是整个Crawlab架构的核心，属于Crawlab的中控系统。主节点负责与前端应用进行通信，并通过Redis将爬虫任务派发给工作节点。同时，主节点会同步（部署）爬虫给工作节点，通过Redis和MongoDB的GridFS。
工作节点
工作节点的主要功能是执行爬虫任务和储存抓取数据与日志，并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行。
MongoDB
MongoDB是Crawlab的运行数据库，储存有节点、爬虫、任务、定时任务等数据，另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。
Redis
Redis是非常受欢迎的Key-Value数据库，在Crawlab中主要实现节点间数据通信的功能。例如，节点会将自己信息通过HSET储存在Redis的nodes哈希列表中，主节点根据哈希列表来判断在线节点。
前端
前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。
使用方法
1、下载完成后不要在压缩包内运行软件直接使用，先解压；
2、软件同时支持32位64位运行环境；
3、如果软件无法正常打开，请右键使用管理员模式运行。
下载地址
正在读取下载地址...
热门软件
1
2
3
4
5
6
7
8
9
10
Multisim13 V13.0 汉化版
百度网盘 V7.4.1.3 官方正式版
66.58 MB
详情
Steam V20.10.91.91 官方版
1.45 MB
详情
Quick Collage Pro(照片拼接软件) V3.4.0 Mac版
2.51 KB
详情
抖音采集工具 V2021 绿色版
78.93 MB
详情
小颖歌词制作器 V1.0 绿色版
646 KB
详情
2345看图王 V10.5.0.9364 官方正式版
26.47 MB
详情
Capture One21 V14.1.1 最新版
143.73 MB
详情
山丽防水墙单机版 官方版 V5.0
13.99 MB
详情
蓝山office V2021 最新版
165.43 MB
详情
装机必备 更多+
应用软件下载排行榜
1
Goodbye Greenscreen(AI智能背景抠像颜色键控AE插件) V1.0.1 官方版
2蓝山office V2021 最新版
3Custom Cursor(鼠标光标美化插件) V2.1.9 免费版
4Adobe Premiere Pro CC 2019 V13.1.5.47 免安装版
5秒书 V4.1.6 官方安装版
6Quickchm(CHM编排软件) V7.7.7 绿色免费版
7Microsoft Mathematics(微软数学软件) V4.71.1015.0 中文版
8Advanced Installer(安装包制作工具) V18.4 中文免费版
9Microsoft office 2016 专业增强版
10Recovery Toolbox for PowerPoint V2.3.0.0 多国语言安装版
电脑软件专题 更多+
