什么是URL過濾？URL過濾是如何工作的？
前言
URL過濾是一種針對用戶的URL請求進行上網控制的技術，通過允許或禁止用戶訪問某些網頁資源，達到規范上網行為和降低安全風險的目的。
URL過濾可以基于URL分類、特定URL等多種方式限制URL訪問。URL過濾的主要作用如下：
【1】限制訪問業務無關網站，提升企業工作效率、減少帶寬濫用。
【2】限制訪問非法或包含不健康內容的網站，使上網行為合法合規。
【3】限制訪問包含惡意軟件以及釣魚類不安全網站，避免網絡遭受攻擊。
01 為什么URL過濾非常重要？
通過瀏覽網頁快速獲取信息已經深入你我的工作和生活。但是互聯網本身是不安全的，網絡資源在帶給我們便利的同時，也帶給我們前所未有的威脅。威脅包括網絡安全層面的，也包括隨意使用網絡對業務造成的影響：
- 企業員工在工作時間隨意訪問社交、視頻等與工作無關的網站，嚴重影響工作效率并且占用網絡帶寬；甚至存在訪問非法網站違反法律的風險。
- 學校、圖書館等公共機構隨意訪問不健康網站，觸犯法規。
- 員工無意間訪問惡意網站、釣魚網站，泄露企業或個人機密信息，甚至會帶來病毒、木馬等威脅攻擊。
因此必須對上網行為進行管控，URL過濾就是解決以上問題的方法之一，可通過限制用戶訪問的URL達到限制網頁訪問的目的。管理員可以按網站分類禁止訪問釣魚、社交、視頻類網站；還可以指定禁止或允許訪問的具體URL。
02
URL過濾如何工作？
URL過濾的基本工作過程就是將URL請求中的URL信息與URL數據庫或列表進行比對，如果匹配某條URL則執行對應的響應動作（允許/禁止）。如果用戶通過手動輸入或單擊搜索引擎鏈接來訪問的URL被禁止，瀏覽器將被重定向到類似下圖的阻止頁面。
禁止訪問未授權網站
URL數據庫或列表可以在設備本地，也可以在云端。一般情況下本地緩存頻繁訪問的URL，云端覆蓋更多URL，當在本地未匹配到URL時再到云端查找，這樣可以獲得最小的延遲。另外URL數據庫或列表的組織方式有多種，包括URL分類、單條URL黑名單、單條URL白名單，具體URL過濾處理流程如下圖。
RL過濾工作過程
1.1 URL黑白名單
URL黑白名單用于允許或禁止某些特定的URL，處理簡單直接，白名單允許訪問、黑名單禁止訪問。此種方式通常用于對一些已知網站的控制，例如將企業正常使用的IT網站加入白名單、將禁止員工上班時間瀏覽的論壇加入黑名單。
1.2 URL分類
URL分類是URL過濾的核心管控方式。管理員按URL分類指定響應動作，例如禁止訪問購物類網站、社交類網站。當用戶訪問的URL隸屬于對應URL分類時，則按該分類的響應動作進行處理。
URL分類分為預定義URL分類、自定義URL分類兩種：
【1】預定義URL分類
預定義URL分類是URL過濾功能提供商整理好的URL分類信息，并且定期更新。海量的URL預先劃分好歸類，例如博彩類、釣魚類、購物類等等。
預定義URL分類中包含的URL條目數量巨大，逐條查找會影響效率，一般采取“兩步走”的方式。第一步，將常用URL及對應的URL分類信息存儲到設備本地，先在這些URL中進行查詢；如果沒有查詢到，再進行第二步，遠程查詢云端的URL分類服務器中的分類信息，URL分類服務器中的信息更全面。
另外本地存儲的URL信息是不斷學習更新的，不經常訪問的URL被老化，并且從URL分類服務器中獲取的查詢結果也將添加到本地。這種機制減少遠程查詢，加快URL過濾處理速度。
【2】自定義URL分類
URL新增頻繁，預定義分類的更新速度可能無法滿足企業的需求；另外企業可能有自己的URL分類策略，希望基于定制的URL分類進行管控。此時管理員就可以創建自定義URL分類，然后在分類中加入URL。
1.3 定制URL過濾策略
基于前文所述的工作機制，管理員根據實際需求定制本企業URL過濾策略，常見思路如下：
- 確定允許的網站：通過白名單或自定義URL分類的方式，維護企業固定允許訪問的一些網站，例如企業門戶網站、軟件升級網站等。確保URL過濾不會意外禁止業務正常所需的網站。
- 明令禁止的網站：通過黑名單或自定義URL分類的方式，維護企業明確禁止訪問的一些網站。確保這些網站不會因為在URL分類中不存在或劃分錯誤等原因，未被禁止。
- 分類控制：通過預定義URL分類，控制允許、禁止訪問的網站分類。尤其惡意軟件、釣魚網站必須禁止，降低安全風險。其他就是根據企業需求控制員工的上網行為，禁止一些不健康網站、影響工作效率的網站等。
- 細化控制：基于時間段、用戶身份等細粒度控制網站訪問，例如控制上班時間不允許訪問的網站、只允許某個部門員工訪問的網站。
03
URL過濾 vs DNS過濾
URL過濾和DNS過濾都屬于Web過濾，但是控制粒度和實現方式不同。URL過濾是通過提取用戶URL請求中URL信息進行過濾，可以控制到網頁級別；而DNS過濾是通過提取用戶DNS請求中域名信息進行過濾，只能控制到整個域名級別。兩者各有應用場景。
例如企業需要禁止員工訪問域名為example.news.com的整個網站，就可以選擇DNS過濾。但是如果只是想禁止此域名的娛樂版塊example.news.com/entertainment，那么就需要使用URL過濾。
再例如，企業識別到一個經常引誘員工訪問的惡意網址example.malicious.com/index，此時建議使用DNS過濾禁止example.malicious.com域名，因為所有網頁可能都是不安全的。
可能有人會問，URL過濾也可以按域名禁止，但是DNS過濾在早于URL請求階段的DNS查詢階段進行控制，對設備的性能影響小。另外DNS過濾與業務協議無關，而URL過濾局限在HTTP/HTTPS協議。
04
URL過濾 vs 應用控制
應用控制功能通過應用識別技術識別流量中的各類應用，從而對流量進行精細化的管控。這里的應用也包含一些Web類應用，例如Facebook應用就承載在www.facebook.com網站。那么應用控制和URL過濾兩者的區別是什么呢？
對于Web應用，應用控制是從訪問網頁的流量中識別應用然后進行控制，URL過濾是從網頁所屬的URL來控制。也就是應用控制針對的是應用程序，可能多個網頁對應同一個應用程序；URL過濾針對的是頁面級訪問行為。
應用控制更適合細粒度控制應用程序。針對Facebook這類網站，大家往往更熟悉Facebook瀏覽、Facebook視頻、Facebook游戲等應用的名稱，如果收集應用對應的URL可能比較困難，往往可能一個應用對應多個URL。此時使用應用控制更方便些，只需要基于Facebook視頻、Facebook游戲等應用名字進行配置。
URL過濾更擅長控制用戶訪問某類網站，或者同一域名下的一批網址。例如，控制用戶只能訪問Facebook社交網站，不能訪問其他社交網站，通過URL過濾更方便。如果使用應用控制，需要配置網站對應的全部應用。
因此應用控制和URL過濾兩者各有應用場景，相輔相成。
05
URL過濾不足以防御所有Web攻擊
URL過濾主要通過阻止對已知惡意軟件和釣魚網站的訪問，來減少Web攻擊事件。但是URL過濾不足以防御所有Web攻擊，企業或組織需要考慮完整的Web安全解決方案防御已知和未知威脅。多種安全功能協同工作才能有效防御Web攻擊，常用的部署方案如下：
- 部署集成多種安全功能的下一代防火墻，啟用內容過濾功能檢測網頁內容；啟用文件過濾功能控制文件上傳下載；啟用IPS功能檢測木馬、惡意軟件等攻擊；啟用反病毒功能檢測文件病毒。
- 與云端協同，實時掌握最新威脅信息，防御未知威脅。華為防火墻可以與云沙箱聯動檢測高級APT（Advanced Persistent Threat）攻擊，檢測結果反向刷新防火墻本地的惡意URL或惡意文件列表，提升后續檢測效率。
- 配合SSL加密流量檢測功能，對加密HTTPS流量進行檢測。
- 內網終端安裝防病毒等安全軟件。
