专家表,第1部分:覆盖率度量跟上设计更改和新功能正被采用吗?
没有足够的覆盖率指标和工具,验证工程师永远无法回答的问题:我们做了吗?但发生了很多变化在设计流程自定义组现有的指标。还确保正确的事情得到验证,时间不是浪费在事情被认为不重要的或重复的工作,今天的分层开发方法,它可以处理?
半导体工程与哈里·福斯特坐在首席科学家导师图形;弗兰克Schirrmeister、集团总监、产品营销系统开发套件节奏;弗农·李,主要研发工程师Synopsys对此首席核查和建筑师Atrenta。以下是摘录的谈话。
SE:设计有了很大变化在过去的二十年里同时覆盖相对不变的观念。如何现有的覆盖模型是足够的?
福斯特:我不同意时,这个行业已经成熟了在采用我们所拥有的,这已经很长时间了。代码覆盖率被使用的不到50%的行业在2007年。这是超过70%。这并不意味着他们是有效地使用它。
李:这是令人惊讶的,因为70%似乎是非常低的。我们认为是理所当然的,人们做更多的事。你必须有保险,你必须有跳棋和你必须有刺激。至少有30%不同意一个三脚架的腿。这意味着他们不使用随机刺激吗?
福斯特:约束随机实际上采用饱和在73%左右。你不能这样做功能覆盖或者你在黑暗中徘徊。
Schirrmeister如果我看的时代验证,有手动驱动芯片设计使用的石器时代testbenches与非常有限断言和检查。这是90年代。下一个时代增加了硬件验证现在依靠语言和讨论范围。在块级别,覆盖已经被采用。复杂性的挑战是飙升,现在你正在调查核实的下一个时代,我们正在试图找出如何刺激所有引擎美国主要港口向其中验证和变化范围从块到子系统和完整的芯片和芯片系统。我们还与覆盖吗?不。
陆:我看到一个类似的情况,同意这适用于块的水平。更大的问题是当我们去子系统或芯片级的时候,一切都坏了吗?你问别人,如果他们做代码覆盖率SoC-level,你会发现,只有20%。
福斯特:我认为功能覆盖是错误的度量系统的水平。
李:你的意思是这是不够高?
福斯特:问题是,功能覆盖非常静态的方式你描述它。我现在处理分布式状态机,我需要担心州是动态的,这意味着我不得不运行很多模拟和提取大量数据从系统的角度找出发生了什么。你不能表达,与我们现有的指标。
SE:不是这的问题代码覆盖率和功能覆盖率的原因是?
Schirrmeister:有一个metric-driven验证的概念。客户快乐吗?不。最近,我有一个客户会议,他们说,“我觉得我做太多的验证。我不知道当我这样做,是出于恐惧,我比我想我应该做得更多。帮助我定义什么是足够了。“这显然包括识别不需要验证什么适合定义应用程序。解剖这一点我看到三个元素相关报道:定义,执行从抽象概念到芯片,和可视化数据,这样我可以决定如果我做。
李:有第四个元素,它是当我有100%的覆盖率,我定义足够或我发现我不会关注一些重要?
Schirrmeister:我们有方法来识别它们,我们正在改善我们的方式收集数据合并数据但仍存在问题。与可视化工具,还有更多要做但基本到位。中间的引擎是最大的问题。
SE:你怎么从规范功能覆盖吗?它经常被描述为一个自然的过程。
福斯特:过程是不可重复的,需要耗费大量的技能。
李如何不同于写作的规范呢?
福斯特:对。他们是重要的。首先你必须思考。与代码覆盖率的美丽——你不需要思考。
李:但这额外的努力有回报的很多倍。
福斯特:但是很多人不明白这些技能和他们最终创造坏覆盖。
李:我们看到同样的事情在很多验证团队。他们试一试,看看会发生什么。然后他们只是旋转,旋转,没有尽头。如果你不知道你为什么这样做,为什么你打开开关,那么这可能是浪费精力。
Schirrmeister:把功能块芯片级是非常困难的,需要考虑用例,场景。有创建工具,帮助你找出最重要的元素。但是是的,你仍然需要思考和定义的场景,你要和那些你不会覆盖目标。
李:有顾客考虑的一个重要组成部分知识产权。当他们决定放弃或不关心什么,随着时间的推移和维护,是一个痛苦。什么时候做,怎么做,什么是你遵循的流程,你相信吗?方法论专家必须决定投入多少时间。现在看起来更便宜的东西,但这可能只是一个贪婪算法,似乎比现实更大的进步。
陆:如果我们回到ip级别和功能覆盖率。问题是,功能覆盖之前,一切都包含在测试计划中。测试计划说,该测试涵盖了这些特性。你必须思考所有你知道的东西,问题,同时你可以移动到测试计划。这不是严格测试,但你可以决定,有些是直接覆盖在随机测试和其他。然后覆盖点变成一个测量,但是在测试计划的重要组成部分。人性问题是为什么它正在做两次。
福斯特:还有另一个学位的复杂性,因为你需要测试的目标分解成一组测试技能的由来。
Schirrmeister:有时范围不同。它工作良好的块级别而不是在系统级别。在系统级你要确保视频可以同时传输和解码。分解到我所做的每个块是困难的,和不使用任何新系统级工具他们没有机会这样做。关键建筑师的设计需要几个星期来定义一个案例。自动化正试图赶上。
在第二部分小组成员讨论的难度增加更多的自动化和的一些问题产生的巨大的数据集。
|
|
|
|
|
|
|
|
|
|
我认为哈利f是避免回答说,“一切都值得去做是很困难的”而弗兰克美国试图推动工具和自动化。