跳到主要內容

Robotframework的Best Practice/Do與Don't

Introduction

幾年前剛開始用Robotframework時,並沒有明確的規範大家的coding style;但隨著開發人員的增加,不管是測試的分類、測試涵蓋規範、測試或關鍵字的命名,都隨著時間慢慢歪掉。為了:

測試利於維護;

測試容易閱讀;

容易建立user story與測試的連結。

以上原因,必須建立一些共識。而我認為面對到以下問題:

TestSuite、TestCase、變數、Keyword等命名準則。

如何決定一個TestSuite與其內的TestCases?

命名以外的Coding Style。

Naming

節錄自官方參考文件Robot Best Practice:

  • Suite Name: lower_case_with_underscores。
  • Keyword Name: Cap Words style。
  • Global Variable: ${CapWord}。
  • Page Element Variable: ${CapWord Locator},包含xpath、id、name、text、css class等。
  • Test Steps: 使用Given/When/Then。

這是Robot建議的方式,假如有自己的規範也不一定要使用他們建議的。

Structure

Suite Structure

節錄自官方參考文件:

  • 要避免Testcase相依性,減少另一測試導致的錯誤;如果建立測試資料成本較大,可將共用行為放到Testsuite中。
  • 如果無法避免相依,相依chain別超過4-5個。後面的測試可以透過${PREV TEST STATUS}變數去確認前一個測試結果,以略過接下來的測試。

我認為其它可實踐的:

  • 在SuiteTeardown中,可放入抓取log或截圖動作。依照過往經驗,有時在SuiteSetup建置資料或最後TestTeardown都有可能發生錯誤;此時的抓取動作會有幫助的。

Test Structure

節錄自官方參考文件:

  • 嘗試使用Gherkin Style去描述測試: Given/When/Then。
  • Testcase第一層以Keyword組合而成,不牽扯底層實作。
  • 透過Test Template形式,去避免重複的workflow。
  • 每個Testcae都應該要伴隨著驗證行為,且要避免Testcase驗證其不相關的行為。
  • 在使用Template情況下,透過setup或teardown可減少重複動作執行。
  • 善用Teardown去還原測試環境,以避免影響到下一個測試。
  • 避免testcase level的變數賦予。

個人看法:

  • 使用Gherkin Style後,應能達到 1. 行為抽象化避免牽扯底層實作,只需寫必要表達的部分;2. 必會伴隨驗證行為; 3. 增加可讀性;Gherkin Style寫法本身就已經避免掉某些don't。
  • 當Test第一層Keyword夠淺顯易懂後,Test本身應不需特別寫文件的。
  • 在寫測試時,常會把相關的assertion放在同一個testcase中,這會因前面的錯而無法得知後面的是否正確。Data-Driven的方式也許可以解決這問題,但在keyword的設計上,就要仔細思考了;另外個方法就是一個測試驗證一個主要目標,但Testsuite的粒度就很重要了,否則會讓測試數量變得非常龐大。
  • Gherkin Style的作法會產生大量的新keyword,Robotframework本身提供兩個方法可減少此問題(reference):
    • Ignoring Given/When/Then/And/But prefixes: 舉例來說,keyword名稱假設為User login,你可以寫成Given User Login,也可以寫成When User Login。
    • Embedding data to keywords: 舉例來說,通常都是以參數型式寫成Click Element | ${link},現在也可以寫成Click ${link}。這讓你keyword更像是一個句子。

練習

[TestSuite]
user_management.txt
[TestCase]
Add a user 
     Given User login
     When Interact with add user command
     Then You see the new user
Add an invalid user
     Given User login
     When Interact with add user command 
     And Input an invalid Name
     Then You see a feedback show the name is invalid

Thinking..

  1. 共用的行為該如何放置到Setup或Teardown中? 參考此篇
  2. data-driven方式該如何撰寫? 參考此篇

data-driven可搭配tempalte寫成以下形式:

*** Test Case ***
WebLinks are clickable
     [Template]     WebLink is clickable
     ## link name ##     ## expect content ##
     Home                 home content
     About                about content               
     EMail                email@hotmail.com
     
*** Keyword ***     
WebLink is clickable
     [Arguments]     ${link}     ${expect_content}
     Given I login the system
     When I click ${link}
     Then I can see ${expect_content}

命名以外的Coding Style

  • 如果會被重複使用的數值,可以透過變數減少Hardcode。
  • 避免透過複雜的邏輯去產生測試資料。
  • 將複雜的邏輯放到test libraries中。
  • 使用polling的方式去等待事件;避免使用sleep方式去等待事件。

Reference

與Coding Style相關的文章

Gherkin Style基本知識

留言

這個網誌中的熱門文章

Show NIC selection when setting the network command with the device option

 Problem  在answer file中設定網卡名稱後,安裝時會停在以下畫面: 所使用的command參數如下: network --onboot = yes --bootproto =dhcp --ipv6 =auto --device =eth1 Diagnostic Result 這樣的參數,以前試驗過是可以安裝完成的。因此在發生這個問題後,我檢查了它的debug console: 從console得知,eth1可能是沒有連接網路線或者是網路太慢而導致的問題。後來和Ivy再三確認,有問題的是有接網路線的網卡,且問題是發生在activate階段: Solution 我想既然有retry應該就有次數或者timeout限制,因此發現在Anaconda的說明文件中( link ),有提到dhcptimeout這個boot參數。看了一些人的使用範例,應該是可以直接串在isolinux.cfg中,如下: default linux ksdevice = link ip =dhcp ks =cdrom: / ks.cfg dhcptimeout = 90 然而我在RHEL/CentOS 6.7與6.8試驗後都無效。 因此我就拿了顯示的錯誤字串,問問Google大師,想找一下Anaconda source code來看一下。最後找到別人根據Anaconda code修改的版本: link ,關鍵在於setupIfaceStruct函式中的setupIfaceStruct與readNetConfig: setupIfaceStruct: 會在dhcp時設定dhcptimeout。 readNetConfig: 在writeEnabledNetInfo將timeout寫入dhclient config中;在wait_for_iface_activation內會根據timeout做retry。 再來從log與code可以得知,它讀取的檔案是answer file而不是boot command line。因此我接下來的測試,就是在answer file的network command上加入dhcptimeout: network --onboot = yes --bootproto =dhcp --ipv6 =auto --device =eth1 --dhcptimeo

解決RobotFramework從3.1.2升級到3.2.2之後,Choose File突然會整個Hand住的問題

考慮到自動測試環境的維護,我們很久以前就使用java去執行robot framework。前陣子開始處理從3.1.2升級到3.2.2的事情,主要先把明確的runtime語法錯誤與deprecate item處理好,這部分內容可以參考: link 。 直到最近才發現,透過SeleniumLibrary執行Choose File去上傳檔案的動作,會導致測試案例timeout。本篇文章主要分享心路歷程與解決方法,我也送了一條issue給robot framework: link 。 我的環境如下: RobotFramework: 3.2.2 Selenium: 3.141.0 SeleniumLibrary: 3.3.1 Remote Selenium Version: selenium-server-standalone-3.141.59 首先並非所有Choose File的動作都會hang住,有些測試案例是可以執行的,但是上傳一個作業系統ISO檔案一定會發生問題。後來我透過wireshark去比對新舊版本的上傳動作,因為我使用 Remote Selenium ,所以Selenium會先把檔案透過REST API發送到Remote Selenium Server上。從下圖我們可以發現,在3.2.2的最後一個TCP封包,比3.1.2大概少了500個bytes。 於是就開始了我trace code之路。包含SeleniumLibrary產生要送給Remote Selenium Server的request內容,還有HTTP Content-Length的計算,我都確認過沒有問題。 最後發現問題是出在socket API的使用上,就是下圖的這支code: 最後發現可能因為開始使用nio的方式送資料,但沒處理到尚未送完的資料內容,而導致發生問題。加一個loop去做計算就可以解決了。 最後我有把解法提供給robot framework官方,在他們出新的版本之前,我是將改完的_socket.py放在我們自己的Lib底下,好讓我們測試可以正常進行。(shutil.py應該也是為了解某個bug而產生的樣子..)

PostgreSQL - Unattended installation on windows

Introduction 要將別人軟體包裝到自己軟體中,不可或缺的東西就是Unattended installation。以Unattended installation來說,我們可以選擇透過Installer的silent mode安裝,也可以透過把目標軟體做成portable的版本。本篇文章分享這兩種方法,教導大家如何將PostgreSQL透過Unattended installation方式安裝到目標系統成為service。 Note. 本篇以PostgreSQL 10.7為例。 Install with installer Tips 安裝程式或反安裝程式的參數,除了可以直接上官網搜尋Installation User Guide以外,也可以直接使用help參數查詢: postgresql- 10.7 - 2 -windows-x64.exe --help Windows安裝程式主要有EnterpriseDB與BigSQL兩種。BigSQL版本安裝元件是透過網路下載且支援參數不如EnterpriseDB版本多,以我們需求來說,我們傾向於使用EnterpriseDB版本。接下來分享給大家安裝與反安裝方法。 Installation @ echo off set INSTALL_DIR =C:\postgres10 set INSTALLER =postgresql- 10.7 - 2 -windows-x64.exe   rem options for installation set SSMDB_SERVICE =postgresql- 10 set MODE =--unattendedmodeui none --mode unattended   set DB_PASSWD =--superpassword postgres set DB_PORT =--serverport 5432   set SERVICE_NAME =--servicename % SSMDB_SERVICE %   set PREFIX =--prefix "%INSTALL_DIR%" set DATA_DIR =--datadir "%INSTALL_DIR%\data"   set OPTIONS =