火车采集器(LocoySpider)是一款专业的功能强大的网络数据/信息挖掘软件,通过灵活的配置,您可以很轻松的从网页上抓取文字、图片、文件等任何资源。
程序支持远程下载图片文件,支持网站登陆后的信息获取,支持探测文件真实地址,支持代理,支持防盗链的采集,支持采集数据直接入库和模仿人手工发布等许多功能特点。
火车采集器支持从任何类型的网站采集获取您所需要的信息,如各种新闻类网站、论坛、电子商务网站、求职招聘网站等。
同时具有强大的网站登录采集、多页和分页的采集、网站跨层采集、POST采集、脚本页面采集、动态页面采集等高级采集功能。
强大的php和c#插件支持,让您可以通过二次开发实现您所想要的任何更强大的功能。
软件特色1、通用性强
无论新闻、论坛、视频、黄页、图片、下载类网站,只要通过浏览器能看到的结构化的内容,通过指定匹配规则,都能采集到您所需要的内容。
2、稳定、高效
五年磨一剑,软件不断更新进步,采集速度快,性能稳定,占用资源少。
3、扩展性强、适用范围广
自定义web发布,自定义主流的数据库的保存和发布,自定义本地php及.net外部编程接口处理数据,让数据都能为你所用。
菜单功能1.新建分组
新建一个任务分组,选择所属分组,确定分组名称和备注。
2.新建任务
确定所属分组,新建一个任务,填写任务名称并保存。
3.Web发布配置
Web发布配置定义了如何登陆一个网站以及向该网站提交数据。
主要涉及到登录信息的获取,网站编码设定,栏目列表的获取,以及使用数据测试发布效果。
4.Web发布模块
可以定义网站登录,获取栏目列表,获取网页随机值,内容发布参数,以及上传文件,构造发布数据等高级功能。
5.数据库发布配置
数据库发布配置定义了数据库链接信息的设置以及数据库模块的选择。
6.数据库发布模块
用于编辑数据库的发布模块,方便我们将数据发布到配置好的数据库中。
火车采集器可选mysql、sqlserver、oracle、access四种数据库类型,在文本输入框中填写sql语句
(需有数据库相关知识),并可使用标签替换相应数据。也可在采集器模块文件夹中加载某一模块进行编辑。
7.计划任务
设置列表中采集任务的启动计划,可每间隔、每天、每周、仅一次、或自定义Cron表达式,
(Cron表达式的写法可参考相关术语中的介绍)。保存设置后,任务即可按照设置执行。
8.插件管理
插件是可以用来扩展火车采集器功能的程序
火车采集器V9支持PHP源码、C#源码、C#类库三种类型的插件,
可用于扩展http请求、内容处理和文件下载的功能,并可以分别进行测试。
9.http二级代理
网络中的服务器,可以让网络用户去取得所需要的网络信息。
代理的功能有可以突破自身ip的访问限制访问国外站点,访问一些单位或团体内部资源,
突破电信的ip封锁和隐藏真实的ip等。
火车采集器V9支持http代理、socket4和socket5代理。
10.http模拟请求
可以设置如何发起一个http请求,包括设置请求信息,返回头信息。并具有自动提交的功能。
基本功能1、规则自定义 - 通过采集规则的定义,可以搜索所有网站采集几乎任何类型的信息。
2、多任务,多线程 - 可以同时进行多个信息获取任务,每个任务可以使用多个线程。
3、所见即所得 - 任务采集过程所见即所得,过程中遍历的链接信息、采集信息、错误信息等都会及时的反映在软件界面中。
4、数据保存 - 数据边采集边自动保存到关系数据库中,并且数据结构能够自动适应,软件可以根据采集规则自动创建数据库,以及其中的表和字段,也可以通过导库方式灵活的将数据保存到客户已有的数据库结构中。
5、断点续采 - 信息收集任务可以在停止后从断点开始继续采集,从此你用不再担心你的采集任务意外中断了。
6、网站登录 - 支持网站Cookie,支持网站可视化登录,即使登录时需要验证码的网站也能采集。
7、计划任务 - 通过这个功能可以让你的采集任务定时、定量或者一直循环执行。
8、采集范围限制 - 可以根据采集的深度和网址的标识来限制采集的范围。
9、文件下载 - 可以将采集到的二进制文件(诸如:图片、音乐、软件、文档等等)下载到本地磁盘或者采集结果数据库中。
10、结果替换 - 可以将采集的结果根据规则替换成你定义的内容。
11、条件保存 - 可以根据某个条件来决定那些信息保存,那些信息过滤。
12、过滤重复内容 - 软件可根据用户设置和实际情况对重复内容和重复网址自动删除重复内容。
13、特殊链接识别 - 运用此功能可以将用JavaScript动态生成的链接或其他更古怪的连接识别出来。
14、数据发布 - 可以通过自定义接口,将已采集的结果数据发布到任意的内容管理系统和指定数据库中。现在已支持的目标发布媒体包括:数据库(access, sql server,my sql,oracle) ,静态htm文件。
15、预留编程接口 - 定义多个编程接口,用户可以在事件中利用PHP,C#语言进行编程,扩充采集功能。
特色功能1、支持所有网站编码:完美支持采集所有编码格式的网页,程序还可以自动识别网页编码。
2、多种发布方式:支持目前所有主流和非主流的CMS,BBS等网站程序,通过系统的发布模块能实现采集器和网站程序间的完美结合。
3、全自动:无人值守工作,配置好程序后,程序将依据您的设置自动运行,完全无需人工干预。
4、本地编辑:本地可视化编辑已采集的数据。
5、采集测试:这是其它任何同类采集软件所不能比的,程序支持直接查看采集结果并测试发布。
6、管理方便:使用站点+任务方式管理采集节点,任务支持批量操作,再多的数据管理也很轻松。
更新日志1.新增:User-Agent支持从文本读取并随机切换。教程:http://faq.locoy.com/q-1348.html。
2.新增:自动识别手机号功能支持14、15、16、17、19开头的新号段。
3.优化:文件下载完毕插件接口优化。
4.优化:探测文件下载时正式下载文件,提升下载速度。
5.修复:http请求头“Header或设置名”以数字开头的名称报错的问题修复。
6.修复:发布到word文档,如果数据包含特殊字符或本地图片异常会导致发布失败问题修复。
7.修复:拷贝任务时,任务备注未拷贝问题修复。
8.修复:标签引用支持调用“列表页”标签。
9.修复:json提取时如果json对象的“键”是整型导致提取有误。
10.优化:网址解析替换html问题。
11.修复:get、post分页问题处理。
12.修复:生成固定格式的数据中“系统时间”选中“06-16”生成时间格式“yyyy-MM”
13.新增:数据库发布模块支持replace into语句。
加载全部内容
WechatVideoSniffer(微信视频号视频下载工具)下载 v1.0免费版3.7M364人在玩WechatVideoSniffer是Github上的一款开源的视频号下载工具,通过使用这款软件,就能帮助用户一键下载微信视频号上的视频资源,只需要输入地址即可完成,免费下载。
下载速卖通图片下载下载 v1.0免费版-速卖通商品图片批量下载工具2.1M176人在玩速卖通图片下载是一款可以一键下载速卖通商品图片的软件,简单高效,只需输入商品网址,点击一键下载就可以轻松的将商品的主图,描述图,sku图下载到电脑,解放您的双手。。
下载idm破解版下载-Internet Download Manager(idm下载器)下载 v6.41.3.1免费版7.9M137人在玩IDM下载器可以提升你的下载速度最多达5倍,安排下载时程,或续传一半的软件。IDM下载器的续传功能可以恢复因为断线、网络问题、计算机当机甚至无预警的停电导致下传到一半的软件。
下载国家规范下载-国家规范下载器下载 v1.5绿色免费版537KB55人在玩国家规范下载器是一款支持并具有下载国家标准规范网的强大下载器如果您正打算下载一些来自于国家标准规范网的文档或文件马上下载使用这款国家规范下载器使用吧。。
下载BT加速BT Engine下载 4.0-bt加速下载988KB50人在玩BT下载的强力辅助工具。BT是流行的下载方式,但是大部分时候我们不能连接到所有的BT种子,BTEngine并没有下载能力,它只是一个专业的优化BT下载的工具集,通过BTEngine优化过的计算机将会提高BT下载时的连接速度,同时加速种子的连接和察看速度。
下载小秋小说下载器-小秋小说下载器下载 v1.0免费版1.9M39人在玩小秋小说下载器是一款基于易语言开发的小说下载工具,推荐书源3,速度最快,其次书源2,至于其他的书库,以后再加以后再加,如果用易语言下载软件的话,别用http读文件。
下载漫画控破解版-漫画控下载 v2.7.2.47官方版3.0M35人在玩漫画控是一款漫画下载工具,它功能强大,而且易于使用,漫画控是一个可以帮助您分析并下载在线漫画的工具,支持众多漫画网站,赶快下载使用吧。
下载fast火箭游戏下载器-fast下载器下载 v1.0.0.1免费版4.9M31人在玩fast游戏下载器是一款多个网吧都在使用的游戏下载工具,fast游戏下载器里涵盖了网吧常见的网络游戏和单机游戏的下载渠道,并且下载速度非常快,用户也可以自己上传本地游戏到软件中,方便下次再其它地方也能下载使用。
下载迅雷11官方下载-迅雷11下载 v11.3.16.1974官方正式版136.3M27人在玩迅雷11终于来了,经过了长期的测试,全新的迅雷11带来全新界面,简洁清爽的风格,下载、云盘合二为一,全新体验,即刻下载,轻快享受,更快!但不止于快。
下载微信视频号下载工具-微信视频号下载工具下载 v2.0免费版2.5M25人在玩微信视频号下载工具是一款能够下载微信视频号视频的软件,要下载的视频号视频分享到自己微信,再使用软件下载即可,也可以通过本工具获取正在直播的视频流地址,为flv格式。
下载