电商消费者行为分析实训系统

一、平台概述

互联网商务数据采集平台是一款基于智能算法研发的智能采集系统，该系统可以实现只需输入网址，无需配置任何采集规则即可智能识别采集对象。系统不仅能够进行数据的自动化采集，在采集的过程当中还可以对数据进行清洗，能够快速、准确的获得海量网页数据。

二、主要参数

1.在采集器首页输入框：只能输入一个网址。在此输入网址之后，软件会直接跳转到任务编辑界面，用户可在任务编辑界面继续操作。

2.我的任务

（1）导入任务：可选择添加需要导入的文件，导入选择的分组名称下面。

（2）创建任务：可新建任务分组；可添加智能模式任务和流程图模式任务。

（3）查看全部任务：可搜索查看全部任务信息包含任务名称、任务id、创建时间、结束时间、采集结果、状态、操作；可查看自动导出任务列表信息包含分组名称、任务名称、自动导出名称、状态、导出成功（条）、导出失败（条）、操作。

3.创建流程图模式：基于人工智能算法，输入网址即可自动识别网页内容和分页，无需配置采集规则，一键采集数据。

4.创建流程图模式：可视化流程操作可根据提示在网页中点选内容即可生成采集规则、可以模拟任何认为操作。

5.任务首界面

（1）任务分组：能够对任务进行分组设置

（2）任务名称：能够通过自定义输入、使用网页标题、任务分组名称_数字编号三种模式对任务名称进行设置

（3）网址导入：可通过手动导入、文件导入、批量生产方式导入需要采集的网址链接。

（4）网址预览：可预览查看添加网址链接。

6.页面类型：页面类型中通过对列表类型和单页类型的设置来采集数据，列表类型可对自动识别、手动点选列表、编辑列表XPath进行设置。

7.分页设置：分页设置可对分页按钮、瀑布流分页、不启用分页进行设置，分页按钮中可对自动识别分页、点选分页按钮、编辑分页XPath进行选择设置。

8.设置采集范围

（1）设置起始页：可设置当前页或自定义起始页数

（2）设置结束页：可设置后一页或自定义结束页数

（3）设置跳过项：可设置跳过每页前后数量的条数据

（4）新建条件：当满足设置的条件时停止采集；新建条件中可添加组织关系、组内关系、字段名称、条件、值等信息，可完成新建分组、新建条件、删除条件等操作。

9.数据筛选：可添加设置数据筛选的条件，数据筛选中可完成新建分组、新建条件、删除条件等操作。

10.清空所有：能够清空所有所选择准备采集的数据。

11.深入采集：可对页面链接进行详情页数据抓取设置

12.字段设置

（1）添加字段：可根据数据抓取的需求添加字段

（2）可对字段进行修改字段名称、合并字段、在页面中选择、编辑字段XPath、删除该字段等操作

（3）设置取值属性：能够对提取文本、提取内部HTML、提取外部HTML、提取链接地址、提取图片等媒体地址、提取输入框内容、下载按钮等模块设置操作。

（4）改为特殊字段：可设置特殊字段包含采集时的时间、采集时的时间戳、当前网页URL、当前网页标题、当前网页源码。

13.流程图组件

（1）打开网页：流程图任务创建时会自动生成一个打开网页组件，该组件作为任务的组件，不能被拖动或者删除，可对任务栏网址进行编辑修改。

（2）点击：点击中可设置点击的元素包含循环点击循环组件中的分页按钮、依次点击循环组件中的列表内的元素、手动点击元素；可设置点击方式包含单机、双击；点击后是否打开新标签等内容操作。

（3）提取数据：提取数据中可设置停止条件、数据筛选、清空所有字段、深入采集和添加字段等操作

（4）定时等待：可对等待组件内容进行设置操作

（5）滚动页面:可添加滚动页面的方式包含滚动到页面底部、滚动一屏高度；可设置每次滚动后的等待时长。

（6）输入文本：可在文本组件中对输入文本的选择输入框、文本内容条件、组合文本第几列、输入后回车进行设置。

（7）移动鼠标：移动鼠标组件的作用是针对网页中需要移动鼠标到元素上才显示内容的情况，可在组件中进行移动鼠标设置。

（8）下拉框：下拉框组件的作用是针对网页中的下拉框选项，可对组件中的选择下拉框、选择单个选项进行设置。

（9）判断：判断组件能够针对不同的条件进行判断，从而进行不同的操作。可在判断组件中设置判断条件、用于判断的文本、判断的范围等内容操作

（10）循环：循环组件可执行一些操作，在组件中可对循环的方式、选择列表元素进行操作设置

（11）返回：返回组件可返回上一个页面。

（12）复制：复制组件可复制页面中的元素内容。

（13）验证码：可在验证码组件中设置选择验证码输入框、选择验证码图片、选择验证码提交按钮、选择验证码错误提示、开启自动打码等操作

（14）跳出循环：跳出循环组件通常和判断组件结合使用，即在满足什么条件或者不满足什么条件下提前结束循环。

14.开始采集

（1）定时启动：定时启动可对循环采集的间隔时间、单次运行时长、启动频率、启动日期启动时间、停止时间进行设置操作。

（2）智能策略：能够对智能切换和手动切换的条件进行设置添加。

（3）自动导出：可对自动导出的数据进行新建任务或删除自动导出。

（4）文件下载：能够对采集时的文件进行下载，可设置采集下载的文件类型、下载文件存放的路径、文件夹规则选择、文件名规则选择、遇到同文件等模块操作。

（5）加速引擎：可根据引擎的条件开启加速引擎。

（6）数据去重：可选择或添加数据去重的条件、设置其执行动作包含当数据重复时，跳过继续采集和当数据重复时，停止任务。