BTC TestStack

リグレッションテスト

モデル、コード、ツールのバージョンを更新するたびに、変更が生じていないことを確認します。

課題

ツールチェーンのアップグレードやモデルの再構築により、気付かないうちに挙動が変わる可能性があります。

チームがコード生成ツールチェーンをアップグレードしたり、モデルやその量産コードを再構築したりする場合、すべてを手動で再テストする以外に、動作が変化していないことを確認する信頼できる方法はありません。

定義

2 つのバージョンに適用する Back-to-Backテスト。

リグレッションテストでは、異なる 2 つの実装ではなく、同じ実装の 2 つのバージョンに Back-to-Backテストの仕組みを適用します。以前のバージョンを参照側、現在のバージョンを比較側とし、同じ刺激ベクトル、同じ 2 つのエンジン、同じ種類のレポートを使用します。

実行する 2 つの方法

ソフトウェア回帰、またはツール認定。

ソフトウェアリグレッション

参照: 旧モデル/コードのバージョン比較: 現在のバージョン

コードの最適化や再構築など、挙動を同一に保つ必要がある変更では特に重要です。リグレッションテストによって、そのことを証明します。

ツール認定

参照: 従来の MATLAB/TargetLink バージョン比較: 現在のバージョン

コード生成ツールチェーンを更新した際、この比較により、生成コードの挙動が変化していないことを示す形式手法に基づくエビデンスを得られます。手作業による再レビューを、自動化されたトレーサブルな比較に置き換えられます。

仕組み

両バージョンで実行する刺激ベクトル。

構造カバレッジとロバストネスカバレッジの目標を達成するため、高速なヒューリスティックエンジン(ATG)と、目標に到達できないことを数学的に証明できる形式手法ベースのモデル検査エンジン(CV)を使用して、刺激ベクトルを自動生成します。同じベクトルを両方のバージョンで実行し、差異があれば自動的に検出して箇所を特定します。

Back-to-Backテストの仕組みを詳しく見る
スケールを前提とした設計

大規模モデルと高負荷のパイプラインに対応。

階層的テストアプローチ

大規模モデルでは、最上位レベルだけに注目するとリグレッションテストが難しくなります。BTC TestStack は、下位スコープを個別に解析してから最上位スコープへ集約できるため、複雑さが増しても生成処理を実行可能な範囲に保てます。

階層的アプローチの詳細

テスト自動化と CI/CD

テスト自動化アドオンは、スクリプトまたは Jenkins をトリガーとして、リグレッションワークフローを無人実行します。完了時には包括的な HTML レポートを生成し、REST API と、自社サーバーまたはクラウドで使用できる Linux ベースのコンテナイメージも提供します。

CI/CD 統合の詳細
レポート

ツール認定パッケージ向けのエビデンス。

リグレッションテストを実行するたびに、BTC TestStack 全体で使用されるものと同じ Back-to-Backテストレポート、コード分析レポート、モデルカバレッジレポートが生成されます。これらはプロファイル項目としてバージョン管理され、ツール認定パッケージや顧客向け文書用にエクスポートできます。

認証取得済み

BTC TestStack

ISO 26262 認証を取得

この証明書は、複数業界の機能安全規格を対象としています。

ISO 26262
自動車
IEC 61508-3:2010
産業分野/業界横断の機能安全
ISO 25119
農業・林業機械
IEC 62304
医療機器ソフトウェア
EN 50716
鉄道/鉄道関連用途

ISO 26262 に関して、BTC TestStack は最高の Tool Confidence Level(TCL)で認証されており、ASIL D を含むすべての ASIL レベルに有効です。ご要望に応じて証明書とレポートを無償で提供し、お客様側のツール認定作業の大部分を削減します。

Feel the Quality

エンジニアリングチームにご相談ください。

実際のエンジニアリング課題をお聞かせください。評価ライセンス、ワークショップ、個別相談のいずれが次のステップに適しているかをご案内します。