完全覆盖或全部蒙蒂吗?

没有足够的覆盖率指标和工具,验证工程师永远无法回答的问题:我们做了吗?但发生了很多变化在设计流程自定义组现有的指标。还确保正确的事情得到验证,时间不是浪费在事情被认为不重要的或重复的工作,今天的分层开发方法,它可以处理?半导体工程与哈里·福斯特坐在首席科学家导师图形;弗兰克Schirrmeister、集团总监、产品营销系统开发套件节奏;弗农·李,主要研发工程师Synopsys对此首席核查和建筑师Atrenta。在第一部分,小组成员讨论指标的适用性,采用率和需要思考如何使用每个。以下是摘录的谈话。

SE:我们推卸责任传递给用户吗?我们仍然不知道如何关闭之间的差距覆盖率和产生刺激。我们应该重新考虑系统的一部分,使自动化更可能吗?

福斯特:绝对的。每个人都在工作。也有研究通过分析帮助。早期技术,包括机器学习和数据挖掘,但发现异常值和探索周围的今天是我们不做的一件事。

Schirrmeister在EDA:大数据和分析。我们生成的数据引擎,我们有时没有应用程序来解决它。

福斯特,更糟糕的是当你去FPGA原型和硅。你不能解决报道问题,提出功能覆盖率,可以应用在那些水平。它必须是技术,是基于统计的报道。

Schirrmeister所有的这些都是软件:另一个维度。我们生成的数据量模拟,我们有数据来自跟踪同步软件,你想使用离线调试运行一秒钟的时间,生成的顺序数百gb或tb的数据。这是一个大型的数据处理问题,然后你有不同学科谁想看看它。硬件的人明白这个寄存器,重写了一些事情,但是他不知道那个软件交换他,把他变成一个低功率状态——这些交互更难以覆盖在系统层面。

李:假设有一个神奇的解决方案,可以使用数据挖掘自动关闭循环,它仍然没有任何意义,如果覆盖模型是不好的。

福斯特:你要捕捉一些关于建筑的领域知识。你还有去思考。数据挖掘只如果你知道什么问题要问。

李:首先问你为什么使用报道。如果答案是标准,人们做的事情,然后是一个问题。

Schirrmeister:开发团队感到不安,因为他们不知道他们有多远。他们认为的置信区间- 90%相信我。覆盖范围是它的一部分。

SE:芯片失败太少可能意味着人们在做太多的验证。我们采取足够的风险吗?

Schirrmeister如果芯片失败:你如何定义?第一次对硅意味着软件必须遵循所有的勘误表。成功的芯片可能有问题,严格意义上他们是失败的。我们看到这很多。回到什么不需要覆盖。这地区,从功能的角度来看,我可以完全没有工作吗?

李我们需要定义阈值。足够小的问题,我可以描述是错误的?即使是一个主要的缺陷,如果你能描述它和周围的工作,这是成功的硅。

Schirrmeister:没错,这就是为什么没有很多失败的芯片。

福斯特:2007年,标准是签收,我执行这组测试吗?”现在已经转移到覆盖在哪里更重要的说,“我是实现这一报道,这些测试运行?”

李:仍有许多主要的设计公司保持更多的测试。覆盖率是次要的。这些公司正在使用场景与随机化。

福斯特:处理器的家伙做的很少代码覆盖率,但搬到功能覆盖。在其他领域,它是不同的。

SE:但是处理器人们发现功能覆盖率不足和定义自己的指标。

Schirrmeister:是的,这取决于域,您需要知道应用程序域为了能够编写测试代表了最终的目标。断言没跟上。人们处理的复杂性超出一个人能理解。考虑电力专家考虑权力地区芯片,可以关闭,然后思考另一个家伙是相干专家在某些缓存互连。如果你试图把这两个并试图关闭缓存的一部分,您需要一种方法来把这两套信息因为有人思考问题,可以与这两个问题在定义测试。如果缓存有问题,因为电源域是关闭在错误的时间,没有人创造了测试用例,然后我可能有麻烦了,一个软件解决可能需要冲洗所有的缓存和这是一个昂贵的操作。

陆:SoC覆盖是一个有趣的问题。如果我想到代码和功能块级别的覆盖率和这些模块集成到一个系统,我不想是多余的。我不希望看到任何报道作为non-reachable因为这是其中一个原因为什么人们拒绝使用代码或功能覆盖率。其次,你需要自动化。代码覆盖率更容易。如果我们做数据挖掘的IP块,我们可以将这一信息迁移到SoC水平,它会告诉我事情已经覆盖在IP水平,哪些不需要重复。

李:你的意思是观察一个子系统或块,并把这变成一个系统级的覆盖模型?

福斯特:有交互的问题是你不能捕获。

李:如果你有一个有限状态机,另一个在不同的块你需要能够捕获他们的相互作用。

Schirrmeister:这个概念是有效的。有三个级别的重用,有从ip级别覆盖率和测试重用重用。这是垂直的重用。

陆:是的,这就是我想的。

Schirrmeister:那么有水平引擎通过FPGA系统从虚拟原型之间的重用,最后还有用户之间重用。有人关注权力是看不同的领域相比,有人看着相干或性能。的Accellera便携式刺激工作小组试图覆盖所有三个。所以我们要确保有从IP复用系统,但这家伙验证IP可能没有预见到的所有用例。

福斯特:我同意,但当重用你运行的风险,这是遥不可及的系统水平。这可能是一个值得冒的风险。

陆:SoC覆盖率和IP范围之间的根本区别是,在IP层覆盖率是同等重要的。在SoC水平覆盖变化的权重之类的场景是高价值的报道。

李这是直观的或可以衡量的吗?

陆:可测量。考虑一个回环测试。这有很高的价值,因为它触动了很多块,给了我信心,整个系统是可行的——至少对路径,以及一个包。通常人们写报道在接口级别,但是这是低价值。

福斯特:没错——后者的例子并不相关的所有活动,或的分布状态。

陆:基于场景的SoC覆盖率极高价值,但是非常困难。

Schirrmeister:用户并不总是愿意投资时间和这就是自动化。

这个圆桌会议的最后部分将探讨便携式刺激工作小组的工作和新覆盖率指标可能需要的。