01
Spec to Cases
仕様書 Markdown からテストケース JSON を抽出する LLM + ルールベース変換パイプライン。
- スキーマ検証と type-preserving な変換ロジック。
- スモールスタート向けに CLI / JSON サンプルを同梱。
このポートフォリオで分かること
- QA 自動化パイプラインの組み立てと運用ノウハウ
- LLM 活用によるテスト生成と評価の実践知
- CI パイプラインの可観測性・改善サイクルの設計
🔎 最新CIレポート: JUnit要約 / Flakyランキング / Coverage HTML
🚀 Fresh CI signals in English: JUnit digest / Flaky leaderboard / Coverage dashboard
Demos
02
LLM to Playwright
LLM が受け入れ基準を補完しながら Playwright テストを自動生成する PoC。
- data-testid ベースの堅牢なセレクタ戦略と a11y スキャンを統合。
- JSON / CSV ドライバでデータ駆動テストを最小構成に。
03
CI Flaky Analyzer
CI ログから Flaky テストを検出し、HTML レポート / 起票テンプレまで自動生成する CLI。
- JUnit XML のストリーミング解析とスコアリングを npm ワークフロー化。
- HTML レポート / JSONL 履歴 / GitHub Issue テンプレをワンコマンドで生成。
04
LLM Adapter — Shadow Execution
プライマリ応答を保持したまま影プロバイダを並走させ、異常系も再現できる LLM アダプタ。
- shadow diff メトリクスを JSONL 収集し、ベンダ比較に活用。
- タイムアウト / レート制限 / 形式不正をモックで再現しフォールバック検証。
CI Metrics Trend
Weekly Summary
Weekly QA Snapshot — 2025-09-23
- TotalTests: 126
- PassRate: 100.00%
- NewDefects: 0
- TopFailureKinds: -
01. Spec to Cases
- 仕様書からテストケースを自動生成するパイプラインの最小構成。
- 成果物: cases.sample.json
- 追加資料: spec.sample.md
02. LLM to Playwright
- LLMで受け入れ基準を拡張し、Playwrightテストを自動生成するPoC。
- 成果物: tests/generated/
- サンプル: blueprint.sample.json / demo/
- 参考資料: tests/README.md
03. CI Flaky Analyzer
- CIログからflakyテストを検知し再実行・自動起票までを一気通貫にする仕組み。
- 成果物:
npx flaky analyze実行時にprojects/03-ci-flaky/out/index.html（HTML/CSV/JSON）が生成され、CI ではアーティファクトとして取得。 - 解析サンプル: 任意の JUnit XML を
npx flaky parse --input <path-to-xml>で取り込み、履歴ストアに蓄積。
04. LLM Adapter — Shadow Execution
- 影プロバイダを並走させ、応答差分をメトリクス化（JSONL収集）して可視化。
- 異常系（タイムアウト、レート制限、フォーマット不正）をモックで再現し、フォールバック設計を検証。
- 参考資料: evidence/llm-adapter
Evidence Library
運用メモ
weekly-qa-summary.ymlワークフローがdocs/weekly-summary.mdを自動更新。tools/generate_gallery_snippets.pyが週次サマリからハイライトカードを生成。.github/workflows/pages.ymlがdocs/配下を GitHub Pages にデプロイ（別途 publish-docs ワークフローは廃止済み）。