专家在餐桌上,第3部分:小组成员讨论的新类型覆盖每个级别的验证和缺乏所需的一些指标。
没有足够的覆盖率指标和工具,验证工程师永远无法回答的问题:我们做了吗?但发生了很多变化在设计流程自定义组现有的指标。还确保正确的事情得到验证,时间不是浪费在事情被认为不重要的或重复的工作,今天的分层开发方法,它可以处理?半导体工程与哈里·福斯特坐在首席科学家导师图形;弗兰克Schirrmeister、集团总监、产品营销系统开发套件节奏;弗农·李,主要研发工程师Synopsys对此首席核查和建筑师Atrenta。在第一部分,小组成员讨论指标的适用性,采用率和需要思考如何使用每个。第二部分检查是否做太多的验证的问题,如果大数据分析可以帮助。以下是摘录的谈话。
SE:为什么便携式刺激努力专注于刺激时确认是什么问题?
福斯特:当一个客户后硅中找到了一个漏洞,它怎么能抽象,它可以运行在另一个引擎?
Schirrmeister:所有方面是重要的,但最初的努力目标用户有疼痛和他们必须重写用于下一步。如果你可以定义一个场景在系统层面上,该工具可以从单个组件的所有约束,可以获得100%的覆盖率,通过创建必要的测试用例。这往往超出了任何一个人可以理解和今天的工作是给建筑师提出的用例。
李:即使是100%的覆盖率,水平没有分母一样会在较低的水平。你过滤了。
Schirrmeister:我们需要一个新的术语,这种类型的报道。
SE:工具,那么能够分解一个场景到测试所必需的个人块?
李:陆提到观察一个有用的测试水平,然后结合两个街区的一起以某种方式得到更高层次的行为。
陆:模拟覆盖似乎允许模拟器中使用不同的方式。什么是艺术的状态在这个地区?
福斯特:传统的覆盖度量在那里工作,但这些可能不是正确的度量。
李:你可以向后弯腰将一行代码映射到一个模拟器,但它没有任何意义。
陆说:我看到数据,把代码覆盖成一个模拟器慢了一倍两能力减少了一半。这并没有使它无法使用吗?
Schirrmeister:有客户这样做是不对的叫它无法使用。我们也有客户做覆盖仿真、代码和功能,当然如果你把更多跳棋和断言模拟器,它会慢,因为他们需要触发时执行模拟器,其中一些不是很友好。但自动化可以让它发生。然后我们可以合并,覆盖从模拟和仿真。
福斯特:客户知道并理解他们想要的东西,自然这在所有的环境中运行。需要时间之前问他们应该做的不同。他们这样做,但我不认为这是正确的事情。
Schirrmeister:你有一些缓慢而准确,东西就是快,很难调试,然后仿真。它位于之间的和相当快,很好的调试,但是现在你有几个引擎处理。如果你想加快一些,那么这是正确的做法。更快的速度使您能够处理事情可能在模拟是非常困难的。您可以运行真正的软件情况下在过去是不可能的。
李:代码覆盖率为复杂场景快速饱和。
福斯特:当我分区一个验证问题,我这样做,让我决定我要专注于每一层。我有明确的目标,我不想重复,在每一个级别。
Schirrmeister:有些时候模拟器作为模拟运行加速器,和其他软件使用它的时候。有不同的用例和不同的方式,每个解决方案。
李:你是专注于结构简单以外的东西。功能覆盖即使代码覆盖率并不是有道理的。
SE:功能是系统的一个方面。还有性能、动力、安全、这些方面变得同样重要。在定义覆盖正在取得进展?
李:覆盖性能是什么意思?您可以定义断言说手术不能比这要花很长的时间。
Schirrmeister:有两个方面。性能分析是在互连级别完成的。这些可能很复杂,有数百名参数意味着人类有问题找到合适的参数。他们今天就用SystemC周期精确的模型,或者他们产生了大量的并行模拟来收集数据。但性能验证,你必须首先定义角情况下,然后把跳棋的系统以确保队列深度的带宽从未超过或从来没有超过一定的图。
SE:许多指标在这个领域不是瞬时在自然界中。他们可能是平均水平。
福斯特:统计覆盖变得很重要,在这里您需要样本,得出一些结论。
陆:我们不能完全表达我们今天性能指标,基于逻辑。我们唯一能做的就是创建一个程序来描述覆盖。即使我们看各种信号,需要领域知识理解这意味着什么。现有的覆盖度量不给我这个信息。
Schirrmeister:这是变得越来越重要。当芯片放到数据中心时,你需要一个特定的正常运行时间。停机造成的队列的维度成本你钱。人们愿意将空间添加到硅将跟踪到硅,这样他们可以放到一个性能验证模式,看到某些情况下为什么不跟随性能期望。考虑计算机的情况下,过滤器堵塞。这可能会导致热的问题导致核心慢了下来。你不会看到这在模拟。这不是设计出了问题。这些都是重要的,但很难找到。
李:覆盖,你收集了许多运行数据。
福斯特:数据分析。它需要大量的数据才能弄清楚其中的含义。仲裁所带来的性能问题常常是问题,这些很难识别。
陆:性能问题,根据我的经验,导致某个功能问题。
Schirrmeister:场景覆盖就是软件的下一个前沿。本文假定您已经做在较低的层次。你可能无法达到这个水平的许多问题。
福斯特:许多测试包括一个操作系统,这可以防止很多事情发生。
陆:不仅有软件参与报道,但它需要反映给他们。
李:有一种故障模拟的东西。你不知道检查是否打开和问题被发现。这是另一个维度来验证。
|
|
|
|
|
|
|
|
|
留下一个回复