1. 概述编辑
1.1 应用场景
电商数据想要在 FineBI 中进行深入分析,首先需要将这些数据成功导入 FineBI ,本文将详细介绍如何将电商平台数据导入 FineBI。
1.2 功能简介
支持以下电商平台:
2. 前期准备编辑
2.1 环境要求
一台能够同时连接到 FineBI 工程和外部网络的计算机,以确保能进行电商数据源的授权操作。
FineBI 工程所在服务器具备外网访问权限,或者可以配置白名单(添加白名单:dm.shukuajing.com),以确保电商数据源的数据能够成功传输到本地数据库。
服务器的带宽要求为20Mbps及以上。
本地数据库需采用 MySQL8,且编码选择 utf8mb4。数据库所在的计算机推荐使用固态硬盘,提高读写速度。
若 MySQL 数据库与 FineBI 工程之间可以通过内网连接,则建议使用内网通信方式。
2.2 安装插件
1)安装数据源插件
联系帆软 EC 负责人(电话:199 5276 3365)获取插件,插件安装方法可参见: BI插件管理 。
2)安装电商平台插件。不同的电商平台数据,需要安装对应的插件后才可使用。
例如想获取淘宝评论,就必须安装「淘宝评论-电商数据源」。
联系帆软 EC 负责人(电话:199 5276 3365)获取插件,插件安装方法可参见: BI插件管理 。
3. 同步电商数据表至 Mysql 数据库编辑
安装好插件后,就可以将电商数据同步到 MySQL 数据库中,以便于 FineBI 直接从 MySQL 取数分析。
3.1 连接 Mysql 数据库
1)提前准备 MySQL8 数据库,并与 FineBI 中建立连接关系。连接步骤可参见:MySQL 数据连接
其中 数据连接URL 需要添加后缀 ?rewriteBatchedStatements=true,编辑完后点击「保存」。如下图所示:
注:数据连接中的用户需要有 INSERT 和 UPDATE 权限
2)进入「系统管理>常规>数据源」,填写信息:
数据连接:填写数据连接名称
工程地址:填写当前 FineBI 工程域名后面的路径。若 FineBI 工程地址为 https://pcdemo.finebi.com/webroot/decision,即填写 /webroot/decision ;若 FineBI 工程地址为 192.168.1.1:8080/BI6.0/decision,即填写 /BI6.0/decision。
3.2 连接电商数据
1)进入「管理系统>电商数据源」,点击「新增数据」,如下图所示:
2)选择自己要连接的第三方电商平台,如下图所示:
3)填写连接和授权信息。
FineBI 需要获得第三方平台的授权,才可以将数据新增进来。
不同电商平台填写信息和授权方式,需参见具体文档的相关节段。
4)点击「确定」,即可将数据添加到数据列表中。如下图所示:
3.3 同步数据
将第三方电商数据同步到 MySQL 数据库,
1)授权完成后,数据表出现在左侧列表。需要同步数据,才能将数据表导入到 MySQL 数据库中。点击「同步数据源」,可以对该数据源下的所有数据表先进行一次同步。
同步数据表有三种方式:
A同步数据源:同步数据源下的所有表
B同步表单:同步当前选择的单张表
C批量同步表:同步勾选的数据表
之后可以根据自己的实际需求,选择手动同步或者定时同步,避免全量同步等待时间过长。
注:如果您希望进行定时同步配置,请确保将BI系统的数据抽取时间设置在数据源同步完成之后。例如,如果数据源已配置每天 00:00 进行定时同步,00:30 数据完全抽入 MySQL 数据库。那么在 BI 系统中,建议将定时更新设置在每天 00:30 之后,例如设置在每天1:00。
2)查看同步状态,一共有四种同步状态,可点击「下拉箭头」进行筛选,如下图所示:
同步成功
同步失败
同步中
部分成功:一个数据源下的多个数据连接(站点),部分同步成功
点击状态按钮,可查看同步详情。
例如,点击一个「成功」按钮:
若显示「抽数已完成」:表明数据表已成功入库 MySQL。
若显示「抽数失败」:勾选失败的表,并点击「批量抽数」再次入库 MySQL。
点击「失败」按钮,也可以看到同步详情,如下图所示:
若同步失败,失败的数据不会入库到 MySQL。可以根据详情排查问题,重新尝试同步数据。
3)进入 MySQL 数据库可以看到入库后的数据表,如下图所示:
3.4 辨别数据来源
辨别数据表的来源电商平台
所有电商平台的数据表都存储在一起。例如,如果同时授权了金蝶云星空和亚马逊的数据源,那么产生的金蝶云星空数据表和亚马逊数据表都会存在于同一个 MySQL 库中。
若要区分表属于哪个数据源,可以通过表名的不同前缀来实现。例如,以 11020 开头的表是金蝶云星空的表,以 7 开头的表是亚马逊的表。
开头数字 | 电商平台 |
---|---|
7 | 亚马逊 |
9 | Lazada |
10 | shopee |
12 | 店匠 |
13 | Shoppify |
16 | Google Analysis |
17 | |
22 | AliExpress |
10001 | Wakmart |
10003 | 旺店通(企业版) |
10004 | 聚水潭 |
10005 | 旺店通(旗舰版) |
10006 | Wayfair |
10008 | 万里牛(Beta) |
10009 | 金蝶管易云C-ERP数智版(Beta) |
10010 | TikTok Shop(Beta) |
11012 | 小红书评论(Beta) |
11013 | 抖音评论(Beta) |
11014 | 淘宝评论(Beta) |
11015 | 美团(Beta) |
11020 | 金蝶云星空(Beta) |
对来自同个电商平台不同站点的数据,进行区分
例如:客户的亚马逊平台,可能拥有美国,加拿大、等多个站点。如此需要建立多个数据连接,每个数据连接都拥有自己的 connectId,如下图所示:
加拿大和美国多个站点的数据都储存在同一张表中。在进行分析时,我们如何区分哪些数据来自美国,哪些来自加拿大呢?
在数据表中,有一个名为 「__dm_connect_id 」的字段,我们可以通过该字段来识别数据的来源,即哪个数据连接(站点)提供的。若只需看部分站点的数据,直接对该字段进行筛选即可。