Skip to content

Latest commit

 

History

History
192 lines (147 loc) · 26.6 KB

README.md

File metadata and controls

192 lines (147 loc) · 26.6 KB

Freego 檢測相容性報告

Freego 是由數位發展部提供的自動化檢測工具，用於台灣各級機關機構學校網站無障礙檢測及認證標章相關業務；Freego (Sep 27 2024) 適用於網站無障礙規範 (110.07)，即對應 W3C Web Content Accessibility Guidelines (WCAG) 2.1。

為確認 Freego 檢測之信效度，爰採用 W3C ACT Rules Community Group 維護之測試案例進行測試，測試結果可與其他檢測工具或方法進行比較。

注意：此份相容性報告不包含人工檢測之信效度。台灣現行的網站無障礙檢測機制係搭配自動化檢測工具及人工檢測合併執行。

測試結果判定方式

由於目前 Freego 版本尚不能產製符合 W3C Evaluation and Report Language (EARL) 1.0 Schema 格式之檢測報告，故現階段採用 ACT Implementor 工具手動產製檢測相容性報告。又，Freego 目前版本尚不能指定特定一個或多個檢測碼進行檢測，測試檢測相容性之程序調整如下：

  1. 檢視 ACT Rules Test Cases 規則名稱及內容
  2. 判斷對應的（一個或多個）檢測碼，填入 Implementation Procedure Name；若無對應檢測碼，則該規則所有測試案例的 Outcome 記錄為 Inapplicable
  3. 從 Freego 產出之報告中，找到對應的測試案例段落，檢視其結果。若出現前一步驟對應的檢測碼，即記錄 Outcome 為 Failed，否則記錄為 Passed（即使仍有其他檢測碼的不通過結果）
  4. Freego 產出之報告中，若發生頁面載入逾時，則相關的 Outcome 欄位記錄為 Inapplicable

ACT Rules 檢測相容性

Freego 與 ACT Rules Implementation in Automated Test Tools 列出之各種自動化檢測工具比較如下：

自動化檢測工具及版本 一致 部分一致 不一致：誤判 不一致：無效 不一致：誤判且無效 未實作 合計
Freego
Sep 27 2024		 1 0 13 (+5) 14 (+5) 5 54 87
Alfa (fully automated)
0.80.0		 31 8 ?? ?? ?? ?? 87
Axe-core
4.8.3		 30 11 ?? ?? ?? ?? 87
Equal Access Accessibility Checker
3.1.42-rc.0		 25 5 ?? ?? ?? ?? 87
QualWeb
3.0.0		 41 20 ?? ?? ?? ?? 87
SortSite
6.45		 44 0 ?? ?? ?? ?? 87
Total Validator (+Browser)
17.4.0		 44 1 ?? ?? ?? ?? 87

註一：不一致：誤判及不一致：無效標示的(+5)係表示另有不一致：誤判且無效單獨計算。

註二：總計 87 個 ACT Rules 檢測規則包含無法自動檢測（只能以人工檢測）的規則、非強制性（非規範性，而是最佳實作建議）的規則、準備要淘汰的規則等，因此不可能有任何檢測工具實作所有規則。

相容性定義

相關定義取自 Understanding ACT Consistency

特異性

指「應通過」的測試案例可以得到通過結果，且「不適用」的測試案例可以得到不適用或通過結果的比例。

理想值為 100%。

敏感性

指「應檢測出錯誤」的測試案例可以得到不通過結果的比例。

理想值為 100%。

一致

指某個 ACT Rules 檢測規則以 Freego 實測得到特異性 100%且敏感性 100%的結果。

部分一致

指某個 ACT Rules 檢測規則以 Freego 實測得到特異性 100%且敏感性介於 0%（不包含）～100%（不包含）之間的結果。

不一致

指某個 ACT Rules 檢測規則以 Freego 實測得到特異性未達 100%（不一致：誤判）或敏感性 0%（不一致：無效）的結果。

未實作

指某個 ACT Rules 檢測規則沒有對應的 Freego 檢測規則（檢測碼）。

ACT Rules 檢測規則相容性詳細結果

依 freego.json 整理如下表：

ACT Rules 檢測規則 對應 WCAG 對應檢測碼 特異性 敏感性 相容性
Role attribute has valid value 1.3.1, 4.1.2 HM1410200C 8/8 0/2 不一致：無效
ARIA state or property has valid value 1.3.1, 4.1.2 HM1410200C 14/14 0/7 不一致：無效
ARIA attribute is defined in WAI-ARIA 1.3.1, 4.1.2 HM1410200C 5/5 0/2 不一致：無效
Element with lang attribute has valid language tag 3.1.2 HM1310100C, HM2310200C 9/10 1/9 不一致：誤判
Menuitem has non-empty accessible name 1.3.1, 4.1.2 HM1410200C 4/6 2/2 不一致：誤判
Iframe with interactive elements is not excluded from tab-order 1.4.12 未實作
Important letter spacing in style attributes is wide enough 1.4.12 未實作
Important word spacing in style attributes is wide enough 1.4.12 未實作
Important line height in style attributes is wide enough 1.4.12 未實作
autocomplete attribute has valid value 1.3.5 未實作
Button has non-empty accessible name 1.3.1, 4.1.2 HM1130104C, HM1410200C 11/12 4/5 不一致：誤判
Element marked as decorative is not exposed 未實作
Form field has non-empty accessible name 1.3.1, 4.1.2 HM1130104C, HM1130104C, HM1410200C 10/12 5/8 不一致：誤判
HTML page lang attribute has valid language tag 3.1.1 HM1310100C 3/3 0/4 不一致：無效
HTML page has non-empty title 2.4.2 HM1240200C 6/7 6/6 不一致：誤判
Image button has non-empty accessible name 1.1.1, 4.1.2 HM1110104C, HM1410200C 6/9 2/3 不一致：誤判
Image has non-empty accessible name 1.1.1 HM1110100C 8/13 4/5 不一致：誤判
Link has non-empty accessible name 4.1.2, 2.4.4, 2.4.9 HM1410200C, HM1240401C, HM3240900C, HM1110101C 13/17 11/11 不一致：誤判
SVG element with explicit role has non-empty accessible name 1.1.1 未實作
Element with presentational children has no focusable content 1.3.1, 4.1.2 HM1410200C 4/4 0/3 不一致：無效
Headers attribute specified on a cell refers to cells in the same table element 1.3.1 HM1130101C 11/14 0/4 不一致：誤判且無效
Element with aria-hidden has no content in sequential focus navigation 1.3.1, 4.1.2 HM1410200C 9/9 0/6 不一致：無效
Meta element has no refresh delay 2.2.1, 2.2.4, 3.2.5 未實作
Meta viewport allows for zoom 1.4.4 未實作
Object element rendering non-text content has non-empty accessible name 1.1.1 HM1110105C 11/12 5/6 不一致：誤判
HTML page has lang attribute 3.1.1 HM1310100C 3/3 4/4 一致
HTML page title is descriptive 2.4.2 HM1240200C 3/4 0/3 不一致：誤判且無效
Image accessible name is descriptive 1.1.1 HM1110100C 12/13 0/3 不一致：誤判且無效
Scrollable content can be reached with sequential focus navigation 2.1.1, 2.1.3 未實作
Element in sequential focus order has visible focus 2.4.7 未實作
Text has minimum contrast 1.4.3, 1.4.6 未實作
Text has enhanced contrast 1.4.6, 1.4.3 未實作
HTML images contain no text 1.4.5, 1.4.9 未實作
Meta element has no refresh delay (no exception) 2.2.4, 3.2.5, 2.2.1 未實作
ARIA required context role 1.3.1 未實作
ARIA required ID references exist 1.3.1, 4.1.2 HM1410200C 6/6 0/3 不一致：無效
ARIA required owned elements 1.3.1 未實作
ARIA state or property is permitted 1.3.1, 4.1.2 HM1410200C 13/13 0/3 不一致：無效
Audio element content is media alternative for text 未實作
Audio or video element avoids automatically playing audio 1.4.2 未實作
Audio element content has text alternative 1.2.1 未實作
Audio element content has transcript 未實作
Audio or video element that plays automatically has no audio that lasts more than 3 seconds 未實作
Audio or video element that plays automatically has a control mechanism 未實作
Text content that changes automatically can be paused, stopped or hidden 2.2.2 未實作
Block of repeated content is collapsible 未實作
Bypass Blocks of Repeated Content 2.4.1 未實作
Orientation of the page is not restricted using CSS transforms 1.3.4 未實作
Device motion based changes to the content can be disabled 2.5.4 未實作
Device motion based changes to the content can also be created from the user interface 2.5.4 未實作
Document has heading for non-repeated content HM3241000C 7/10 1/4 不一致：誤判
Document has an instrument to move focus to non-repeated content 未實作
Document has a landmark with non-repeated content 未實作
HTML element language subtag matches language 3.1.2 HM2310200C 8/10 2/4 不一致：誤判
Focusable element has no keyboard trap 2.1.2 未實作
Focusable element has no keyboard trap via non-standard navigation 未實作
Focusable element has no keyboard trap via standard navigation 未實作
Form field label is descriptive 2.4.6 未實作
Heading is descriptive 2.4.6 未實作
Heading has non-empty accessible name 未實作
HTML page language subtag matches default language 3.1.1 HM1310100C 10/10 0/5 不一致：無效
Iframe elements with identical accessible names have equivalent purpose 4.1.2 HM1410201C 12/19 3/4 不一致：誤判
Iframe element has non-empty accessible name 4.1.2 HM1410201C 3/7 4/4 不一致：誤判
Image not in the accessibility tree is decorative 1.1.1 HM1110106C 15/15 0/5 不一致：無效
Error message describes invalid form field value 3.3.1 未實作
Link is descriptive 2.4.9 HM3240900C 7/7 0/5 不一致：無效
Link in context is descriptive 2.4.4, 2.4.9 HM1240401C, HM3240900C 11/12 0/6 不一致：誤判且無效
Links with identical accessible names have equivalent purpose 2.4.9 未實作
Links with identical accessible names and same context serve equivalent purpose 2.4.4, 2.4.9 HM1240400C 16/16 0/8 不一致：無效
Content has alternative for visual reference 1.3.3 未實作
No keyboard shortcut uses only printable characters 2.1.4 未實作
Element with role attribute has required states and properties 1.3.1, 4.1.2 HM1410200C 9/9 0/6 不一致：無效
Summary element has non-empty accessible name 1.3.1, 4.1.2 HM1410200C 9/9 0/3 不一致：無效
Table header cell has assigned cells 1.3.1 HM1130101C 12/13 0/3 不一致：誤判且無效
Video element auditory content has accessible alternative 1.2.2 未實作
Video element visual content has accessible alternative 1.2.3, 1.2.5, 1.2.8 未實作
Video element content is media alternative for text 未實作
Video element visual content has audio description 未實作
Video element auditory content has captions 1.2.1 未實作
Video element visual-only content has accessible alternative 1.2.1 未實作
Video element visual-only content is media alternative for text 未實作
Video element visual-only content has audio track alternative 未實作
Video element visual-only content has transcript 未實作
Video element visual content has strict accessible alternative 1.2.5 未實作
Audio and visuals of video element have transcript 1.2.8 未實作
Visible label is part of accessible name 2.5.3 未實作
Zoomed text node is not clipped with CSS overflow 1.4.4 未實作

Freego 檢測規則（檢測碼）與 ACT Rules 檢測規則相容性

完全相容 部分相容 不相容 無法對應 合計
0 1 15 13 29

相容性定義

完全相容

指 Freego 檢測規則可對應至 ACT Rules 檢測規則，且所有對應規則均達到一致之相容性。

完全相容的 Freego 檢測規則表示可獲得國際社群認可，可用於檢測網頁無障礙符合程度。

部分相容

指 Freego 檢測規則可對應至 ACT Rules 檢測規則，但僅部分對應規則達到一致之相容性，或所有對應規則均達到部分一致之相容性。

部分相容的 Freego 檢測規則表示尚有改善空間，應謹慎考量如何用於檢測網頁無障礙符合程度。

不相容

指 Freego 檢測規則可對應至 ACT Rules 檢測規則，且所有對應規則均為不一致之相容性。

不相容的 Freego 檢測規則表示判斷結果不可信，應重新檢討修訂檢測碼之實作，建議勿用於檢測網頁無障礙符合程度。

無法對應

指 Freego 檢測規則無法對應至 ACT Rules 檢測規則。

無法對應的 Freego 檢測規則表示國際社群普遍認為相關檢測規則尚不成熟，極容易誤判，應充分與國際社群討論檢測規則適當性，建議勿用於檢測網頁無障礙符合程度。