欢迎您来中关村智联软件服务业质量创新联盟

钱颍.jpg

钱 颖

Autodesk

个人简介

钱颖有着10多年的软件开发和测试经验,在Autodesk工作超过10年。在Autodesk任职期间,搭建过几个不同产品的自动化测试框架,精通于API测试,UI自动化测试,性能测试,云计算(后台)测试。钱颖目前是AutoCAD产品的首席自动化测试工程师。

钱颖对于大型软件的自动化测试有着深入研究和长期的工作经验,同时在改进和稳定现有自动化测试用例也有着自己的见解。

在TiD 2016上,钱颖做过一个讲座《自动化测试中代码覆盖率面面观》。


演讲题目

《大规模并行处理: 崩溃前知道你已到达的高度》


议题简介

在基于Jenkins建立了一个新的测试平台以后,提高了AutoCAD的自动化效率,运行时间从2天减少到10小时。

这个平台支持700+job执行同时,这是远远超出Jenkins的正常使用。我们也会涵盖我们的解决方案和对棘手问题的经验教训。

Splunk的应用数据挖掘,

 通过一步一步的情况下运行时间分析测试平台效率步优化ECS使用

 通过分析failures和bug捕捉来聚类测试用例作为不稳定或最有价值的集合,以识别灵活的自动化策略 

 细节

本演示将展示在AutoCAD中大规模的并行处理基于Jenkins以及基于Splunk的数据挖掘。 

AutoCAD已经35岁了。目前拥有85000多种自动化测试用例。所有这些测试的全面执行将需要15个高端工作站运行一个星期。AutoCAD有15个左右的开发分支。那么按照这个配置完成1轮自动化运行需要花费4个月的时间。我们可以假想一下当所有的branch都要up到主branch的季节,那该有多混乱,这是不可接受的。

基于这样的背景,搭建了一个测试平台,以支持各种自动化案例的并行执行。

1、基于400 ECS虚拟机的大规模并行处理能力,优化分配方法。

2、配置参数化工作流支持多个测试类型并扩展到其他产品。

Jenkins被用来搭建测试平台。大多数的要求得到满足,只有Jenkins的性能是一个瓶颈,因为有大量的并行job在自动化运行。通常Jenkins的Executor是基于服务器所能容纳的CPU内核来设置的,很少有超过50个Executors。我们解决了这个问题,在大规模并行能力的支持上。用了这个系统以后执行时间只需要10小时,相比于过去的2天。

 在执行过程中,遇到了一些棘手的问题,我们也会在今天的主题里覆盖。

 除了介绍如何设计测试平台实现大规模并行的需要,本课题还将谈论如何提高测试平台和测试每个数据挖掘与Splunk的效率。它包括以下几个方面,

 分步调整工作流程

 利用M / M / N排队模型优化系统资源分析的执行结果

 分析failures和bug捕捉率的情况,聚类出不稳定的群体或最有价值的群体,以确定一个灵活的自动化战略



中关村智联软件服务业质量创新联盟

参会及赞助咨询:

邮箱:haobw@iterbao.net

电话:13681206054(郝先生)

嘉宾咨询 :

邮箱:shenm@spichina.org.cn

电话:13718519956(沈女士)