【AI測試 07 】| 測試設計:怎麼測才不會漏?用這個 Skill 文件(playwright-core-features-testing)

作者:AI應用實踐進階
日期:2026年5月4日 下午10:00
來源:WeChat 原文

整理版優先睇

速讀 5 個重點 高亮

Playwright跑測試唔好淨睇ConsoleHTML報告加截圖先係效率關鍵

整理版摘要

作者Bigtalk喺呢篇「AI測試」系列第7篇入面,分享咗佢用Playwright執行測試同睇報告嘅實戰經驗。佢發現淨係睇Console輸出好難揾問題,尤其係要匯報俾其他人嗰陣。佢嘅結論係:用Playwright生成HTML報告,配合截圖同視頻,可以大幅縮短排查時間,仲有具體命令同配置方法。

文章先講基本命令,例如用`npx playwright test`跑所有測試,加`--headed`可以睇到瀏覽器操作。然後教點樣生成HTML報告同上報表睇結果。佢特別強調截圖同視頻嘅價值——失敗測試有截圖,一眼就睇到問題,唔使慢慢估。佢仲教埋點樣喺配置入面設`only-on-failure`,慳位又實用。

最後作者分享咗佢踩過嘅三個坑:淨用Console、唔知點開報告、全部測試都錄影搞到硬碟爆。佢建議導入佢整理嘅Skill文件,可以自動配置好報告同截圖策略,一勞永逸。

  • HTML報告取代Console輸出,有圖表、截圖、視頻,更直觀易排查
  • 基本命令:`npx playwright test`跑全部,`--headed`睇操作,`--reporter=html`生成報告
  • 截圖同視頻設為`only-on-failure`,慳空間之餘,失敗時有得睇
  • 失敗排查三步法:睇錯誤信息 → 睇截圖/視頻 → 問Trae AI幫手
  • 導入Skill文件可以自動配置報告格式同截圖策略,提升效率
值得記低
Skill

playwright-cli-execute-stop-zh

整合咗Playwright測試執行同報告配置嘅Skill,導入Trae CN後自動設定HTML報告、截圖策略等。

整理重點

跑測試嘅基本命令同HTML報告

作者一開始淨係睇Console輸出,密密麻麻嘅文字,失敗咗好難揾原因。後來佢發現Playwright可以生成HTML報告,有圖表、截圖、視頻回放,舒服好多。

基本命令 bash
npx playwright test
npx playwright test tests/login.spec.ts
npx playwright test --headed

生成報告好簡單,用`--reporter=html`參數,之後用`npx playwright show-report`喺瀏覽器打開。報告會顯示通過/失敗數量、每個測試嘅狀態,失敗嘅仲有截圖同視頻。

整理重點

截圖與視頻:排查失敗嘅關鍵

假設登錄測試失敗咗,光睇錯誤信息可能只知「元素冇找到」,但截圖可以即刻話俾你知:係頁面冇加載?定係元素俾人遮住?定係跳轉到第二版?作者話有咗截圖,排查時間可以縮短一半以上。

配置自動截圖同錄影 typescript
use: {
 screenshot: 'only-on-failure',
 video: 'retain-on-failure',
}

作者建議用`only-on-failure`策略,淨係失敗嘅測試先儲存截圖同視頻,唔會佔太多硬碟空間。

整理重點

測試失敗點樣搞?三步排查法

作者分享咗一個清晰嘅三步流程,唔使慌

  1. 1 第一步:睇錯誤信息。常見情況有元素冇找到、斷言失敗、超時。
  2. 2 第二步:睇截圖/視頻。喺HTML報告點開失敗測試,通常一眼就睇到問題。
  3. 3 第三步:話俾Trae知。貼錯誤信息俾AI,叫佢分析原因,跟住建議改代碼。
整理重點

我踩過嘅坑 & 用Skill慳時間

作者親身經歷咗三個大坑,提醒大家唔好重蹈覆轍:

  1. 1 坑1:淨係用Console輸出。有一次要匯報俾領導,佢完全睇唔明終端截圖。而家一定會生成HTML報告。
  2. 2 坑2:唔知點打開報告。第一次生成之後揾咗好耐先發現指令係`npx playwright show-report`,或者直接雙擊`playwright-report/index.html`。
  3. 3 坑3:全部測試都截圖錄像。跑咗50個測試之後,硬碟多咗幾GB。改做`only-on-failure`之後好曬。

作者將上面嘅執行同報告配置整理成一個Skill,叫「playwright-cli-execute-stop-zh」,導入Trae CN之後會自動幫你搞掂報告格式同截圖策略,喺知識星球可以下載。

【Trae CN 自動化測試】07 | 跑完測試之後點樣睇結果?


我遇到嘅問題

Code 寫好咗,測試用例都設計好咗。跟住呢?行一次睇下結果。

我初初開始嘅時候,跑完測試淨係睇控制枱輸出——一堆字,密密麻麻,睇到頭都痛。而且如果失敗咗,剩係靠文字好難睇出問題喺邊。

後來我發現 Playwright 可以生成 HTML 報告——有圖表、有 Screenshot、有 Video 回放,舒服好多。


最基本嘅:行測試

先由最簡單嘅開始:

bash

跑所有測試


npx playwright test

跑某個文件


npx playwright test tests/login.spec.ts

帶瀏覽器跑(能看到操作過程)


npx playwright test --headed

就呢幾個 command,夠用㗎喇。


進階:生成 HTML 報告

行完之後,你想睇一份靚嘅報告?好簡單:

bash

生成 HTML 報告


npx playwright test --reporter=html

打開報告(會在瀏覽器裏打開)


npx playwright show-report

打開之後你會見到:


  • 整體情況:幾個 Pass、幾個 Fail、用咗幾耐

  • 每個測試嘅狀態:✅ Pass / ❌ Fail

  • 失敗嘅測試仲有 Screenshot 同 Video——呢點特別有用



點解 Screenshot 同 Video 咁重要?

假設你個 Login 測試失敗咗。剩係睇 Error Message 可能只係知道「Element 揾唔到」。但你如果有 Screenshot,一眼就可以睇得出:

  • 係頁面根本 Load 唔到出嚟?
  • 定係 Load 咗但 Element 俾嘢遮住咗?
  • 定係頁面跳咗去第二度?

有咗 Screenshot,排查問題嘅時間可以縮短一半以上。


點樣設定自動 Screenshot?

在 playwright.config.ts 喺度加幾行就得:

typescript
use: {
  // 只在失敗時截圖(節省空間)
  screenshot: 'only-on-failure',

  // 只在失敗時錄屏
  video: 'retain-on-failure',
}

咁樣只得失敗嘅測試先會 Save 低 Screenshot 同 Video,唔會佔太多空間。


測試失敗咗點算好?

唔使驚。跟住呢個流程做:

第一步:睇 Error Message

常見嘅情況得幾種:


  • Element 揾唔到 → Locator 寫錯咗或者頁面變咗

  • Assertion 失敗 → 實際結果同預期唔一致

  • Timeout → 頁面 Load 得太慢或者網絡問題


第二步:睇 Screenshot / Video

喺 HTML 報告裏面㩒開失敗嘅測試,睇 Screenshot。通常一眼就睇得出問題喺邊。

第三步:話俾 Trae 知

將 Error Message 貼俾 Trae:

測試失敗了,錯誤信息是:
[粘貼錯誤信息]

幫我分析一下原因。


Trae 會俾建議你。跟住佢嘅建議改 Code,再重新行就得㗎喇。


我中過嘅伏

伏 1:淨係用控制枱輸出

我以前覺得 Console 就夠。直到有一次要同上司報告測試結果——你估點?我將 Terminal Screenshot 發俾佢,佢完全睇唔明。

而家我都會生成 HTML 報告,至少有個嘢可以俾人睇。


伏 2:唔知點樣睇報告

第一次生成 HTML 報告之後,我唔知點打開。揾咗好耐文件先發現 Command 係 npx playwright show-report

或者直接去 Project Directory 揾 playwright-report/index.html,雙擊都可以打開。


伏 3:所有測試都 Screenshot 錄像

我初初設定成每次都有 Screenshot 同錄像。結果行咗 50 個測試之後,磁碟多咗幾個 G 嘅內容……

改成 only-on-failure 之後好好多——淨係記錄失敗嘅測試。


想慳時間?用 Skill

上面講嘅測試執行同報告設定方法,我已經整理成咗 playwright-cli-execute-stop-zh 呢個 Skill。導入 Trae CN 之後,佢會幫你自動設定好報告格式、Screenshot 策略呢啲嘢。

喺知識星球可以下載:

微信掃碼加入「Bigtalk軟件測試進階」

圖片
圖片



下篇預告

測試行完咗,報告都有埋。但有時候你需要將測試用例 Export 出嚟俾 Product Manager 或者客睇——佢哋唔想睇你寫嘅 JSON 或者 Code。

下一篇講:點樣將測試用例變成 Excel 格式?

下一篇:《【Trae CN 自動化測試】08 | 一鍵導出 Excel 俾老細睇》,敬請期待


【Trae CN 自動化測試】07 | 跑完測試後怎麼看結果?


我遇到的問題

代碼寫好了,測試用例也設計好了。然後呢?跑一下看看結果。

我剛開始的時候,跑完測試就只看控制枱輸出——一堆文字,密密麻麻的,看着就頭疼。而且如果失敗了,光靠文字很難看出問題在哪。

後來我發現 Playwright 可以生成 HTML 報告——有圖表、有截圖、有視頻回放,舒服多了。


最基本的:跑測試

先從最簡單的開始:

bash

跑所有測試


npx playwright test

跑某個文件


npx playwright test tests/login.spec.ts

帶瀏覽器跑(能看到操作過程)


npx playwright test --headed

就這幾個命令,夠用了。


進階:生成 HTML 報告

跑完之後,你想看一份漂亮的報告?很簡單:

bash

生成 HTML 報告


npx playwright test --reporter=html

打開報告(會在瀏覽器裏打開)


npx playwright show-report

打開之後你會看到:


  • 總體情況:幾個通過、幾個失敗、花了多久

  • 每個測試的狀態:✅ 通過 / ❌ 失敗

  • 失敗的測試還有截圖和視頻——這點特別有用



為什麼截圖和視頻很重要?

假設你的登錄測試失敗了。光看錯誤信息可能只知道"元素沒找到"。但如果你有截圖,一眼就能看出來:

  • 是頁面根本沒加載出來?
  • 還是加載了但元素被擋住了?
  • 還是頁面跳轉到了別的地方?

有了截圖,排查問題的時間能縮短一半以上。


怎麼配置自動截圖?

在 playwright.config.ts 里加幾行就行:

typescript
use: {
  // 只在失敗時截圖(節省空間)
  screenshot: 'only-on-failure',

  // 只在失敗時錄屏
  video: 'retain-on-failure',
}

這樣只有失敗的測試才會保存截圖和視頻,不會佔太多空間。


測試失敗了怎麼辦?

不要慌。按這個流程來:

第一步:看錯誤信息

常見的情況就幾種:


  • 元素沒找到 → 定位器寫錯了或頁面變了

  • 斷言失敗 → 實際結果和預期不一致

  • 超時 → 頁面加載太慢或網絡問題


第二步:看截圖/視頻

在 HTML 報告裏點開失敗的測試,看截圖。通常一眼就能看出問題在哪。

第三步:告訴 Trae

把錯誤信息貼給 Trae:

測試失敗了,錯誤信息是:
[粘貼錯誤信息]

幫我分析一下原因。


Trae 會給你建議。根據它的建議修改代碼,重新跑就行了。


我踩過的坑

坑 1:只用控制枱輸出

我以前覺得 Console 就夠了。直到有一次要給領導彙報測試結果——你猜怎麼着?我把終端截圖發給他,他完全看不懂。

現在我都會生成 HTML 報告,至少有個東西能給別人看。


坑 2:不知道怎麼看報告

第一次生成 HTML 報告後,我不知道怎麼打開。翻了好久文檔才發現命令是 npx playwright show-report

或者直接去項目目錄下找 playwright-report/index.html,雙擊也能打開。


坑 3:所有測試都截圖錄像

我一開始配成了每次都截圖錄像。結果跑了 50 個測試之後,磁盤多了好幾個 G 的內容……

改成 only-on-failure 之後好多了——只記錄失敗的測試。


想省時間?用 Skill

上面說的測試執行和報告配置方法,我已經整理成了 playwright-cli-execute-stop-zh 這個 Skill。導入 Trae CN 之後,它會幫你自動配置好報告格式、截圖策略這些。

在知識星球可以下載:

微信掃碼加入「Bigtalk軟件測試進階」

圖片
圖片



下篇預告

測試跑完了,報告也有了。但有時候你需要把測試用例導出來給產品經理或者客戶看——他們可不想看你寫的 JSON 或者代碼。

下一篇講:如何把測試用例變成 Excel 格式?

下一篇:《【Trae CN 自動化測試】08 | 一鍵導出 Excel 給老闆看》,敬請期待