欢迎您来中关村智联软件服务业质量创新联盟

blob.png

王尧

成都数联铭品科技有限公司

个人简介

BBD数据平台负责人,主要负责数据平台架构设计与规划工作。之前在平安科技和上海高研院从事大数据相关工作。我个人比较关注大数据处理、高性能系统服务、分布式存储等,关注Flume、Kafka、Spark、Storm、HBase、ElasticSearch等离线/实时、分布式计算/存储技术。


演讲题目

《大数据平台之数据质量管理实践》


议题简介

面对互联网信息的爆发式增长,BBD数据平台每天处理上亿的多源异构数据,但是数据质量的参差不齐直接影响下游产品的开发周期与用户体验。所以,我们在数据处理的过程中,从采集、清洗、解析到存储、应用、推送,每一个环节都需要在数据的“质”与“量”上下足功夫。BBD数据平台提供流水线式的数据处理方式,以离线预处理的方式构建数据模型,在反复验证之后,将数据模型同步到流式计算中提供在线服务,对数据模型的评价策略进行实时反馈,同时做到数据的可追溯可回滚。因此数据建模对质量管理至关重要,我们在此基础上开发出了一整套可视化建模、预处理、调度工具,从而深度挖掘数据相关属性,为数据的“质”与“量”提供可靠保证。


中关村智联软件服务业质量创新联盟

参会及赞助咨询:

邮箱:haobw@iterbao.net

电话:13681206054(郝先生)

嘉宾咨询 :

邮箱:shenm@spichina.org.cn

电话:13718519956(沈女士)