埋点管理平台
如何从源头上把控数据质量?最核心的一个点,我们遇到的埋点问题大概率不是技术问题,而是管理和规范问题,so,如何从规范出发,来解决数据获取的准确性和合理性问题?
一、数据来源
首先是数据来源,常规而言,互联网行业的数据采集主要包括3个方面的数据:
- 前端埋点
- 后端日志
- 业务库数据
埋点不仅仅要包含前端的用户行为埋点,也要包含后端的日志埋点,前后端日志经由埋点框架统一收口,定义数据格式及类型。
二、数据格式
埋点采集的基本都是用户的行为,业界主要采用事件模型进行数据的采集及分析。
通过事件模型,我们可以这样来描述用户的一次行为:
那么在埋点的数据格式设计时,也应当遵循4W1H框架,主要设计字段如下:
who:uuid、userid,uuid是设备id,userid是登陆用户id
when:time,当前发生的事件
where:url,当前页面路径
what:event,代表当前的用户事件,比如访问、加购物车
How:ext,将一些与事件关联的其他属性统一放置在这个字段里,下游使用时依据埋点文档选择指定参数使用。
比如用户访问商品详情页的埋点的埋点数据应当就是以下类型:
1 | { |
三、埋点顺序
正常的埋点顺序:改版需求,数据需求,根据数据需求推埋点,埋点校验,数据产出。
四、埋点平台设计
一个合理的埋点管理平台应当分为4个部分,
- 事件设计
- 埋点录入
- 埋点校验
- 埋点监测
1.事件设计
2.埋点录入
3.埋点校验
设计上遵循事件模型的设计,校验上通过json schema和json path来进行埋点的校验,全站监测通过自定义的校验规则对全平台的日志进行校验。从三个方面来进行数据质量的把控。
4.埋点监测
针对全站的埋点进行全部的监测,主要为了解决线上埋点质量的监控