![](https://neoshare.net/wp-content/uploads/2021/02/0T7wfS28ROrHNIUkH-750x265.png)
![Rice Yang](https://neoshare.net/wp-content/uploads/2021/02/機器學習任務:監督學習半監督學習無監督學習.jpeg)
一般而言機器學習無論是經典學習還是深度學習,都可以大致分為三種學習任務:
- 監督學習: Supervised Learning
- 半監督學習: Semi-Supervised Learning
- 無監督學習: Unsupervised Learning
本篇文章會大略的討論一下三種學習的差別以及實務上的適用時機。
Supervised Learning如圖1(a)所示,每一筆資料(data)都會有對應的標註(label),學習的目標就是求出一個預測函數來預測未知的data對應的label。
在視覺任務領域裡面,Supervised Learning常用的任務包含:
- 圖像分類 Image Classification
- 目標檢測 Object Detection
- 特徵點檢測 Keypoint Detection
- 實例分割 Instance Segmentation
- 圖像描述 Image Captioning
機器學習就要記得一件事:資料與標註越多效果越好。因此如果要求最佳的預測精度而不考慮其他因素的情況下,監督是學習永遠是第一選擇。
監督學習的評估方式也是最簡單直接的,試想在缺少標註數據的情況下評估學習效果會變得更加困難。
監督學習的缺點很明顯:需要標註。標註需要時間與金錢。以標註成本最低的圖像分類為例,圖像分類Open Source數據集ImageNet包含1,281,167的訓練集+50,000的驗證集。如果尋求外部的數據標註公司,分類任務都是以張數計價;越困難的任務標註成本也越大,例如目標檢測的估價大多是以標註框來計算,在同樣的圖片量級會比分類任務貴出好幾倍。
- Labeled data容易取得的任務,例如:銷量預測、機台故障預測
- Labeled data必須取得的任務,例如:生物認證、道路檢測
- 需要高精度的任務,例如:晶圓瑕疵檢測、生物認證
Unsupervised Learning如圖1(b)所示,數據集中只有未標註的資料(unlabeled data),學習目標通常是要預測資料背後的真實分布情況,最經典無監督學習算法就是K-mean分群。
無監督學習在圖像領域有以下經典應用:
- 圖像生成 Image Generation
- 風格遷移 Style Transfer
- 圖像編輯 Image Edition
無監督學習有另一個著名子領域是強化學習(Reinforcement Learning)。在強化學習的目的是學習一個決策函數,可以根據當前的狀態(state)決定最好的行動(action)。強化學習中雖然也沒有標註,但是會存在客觀的模擬環境來產生報酬(Reward)來評估決策系統的好壞。
以下應用都是強化學習的經典應用:
- AI遊戲:AlphaGo、Atari
- 自動駕駛 Self-Driving
- 內容推薦 Content Recommendation
順便列舉無監督學習在圖像領域常用的深度學習算法:
- GAN (Generative Adversarial Network)
- Auto-Encoder
- VAE (Variational Auto-Encoder)
對於不可能標註的任務而言,無監督學習是你唯一的選擇。對於極具前瞻性的任務或研究,無監督學習結合其他機器學習方法極有可能是你需要探索的方向。
無監督學習的資料成本很低。試想如果你的機器學習服務能夠一直收集數據而不標註,同時還能保證精度持續上升,對你跟老闆都是多麼輕鬆寫意的一件事情。
無監督學習對資料的要求比較高。例如對贓數據的容忍較低,也對數據對齊(Data Alignment)有較大的要求。以人臉生成任務為例,所有的人臉中心線都是垂直的。
無監督學習通常需要更複雜的建模以及算力要求。
- 可以做沙箱實驗時,例如:推薦系統、博奕遊戲
- 隨機生成類的任務,例如:人臉生成、海報生成、詞曲生成
- 只需區分正常/異常的任務,例如:視頻異動檢測、信號處理領域
Semi-Supervised Learning如圖1(c)所示,只有部分的data有label,而其他的data則是未標註的(unlabeled)。半監督學習的目標與監督學習完全相同,差別在資料集中存在部分的標注缺失。
半監督學習的方法有很多,但總歸就是用某種特殊的規則或是方法來估計unlabeled data的真實類別。一般最經典的策略是Self-Training:
- 先利用labeled data去訓練一個預測函數
- 逐步去預測剩下的unlabeled data(稱為psudo label),並更新預測函數
- 直到所有data都變成labeled data為止
需要注意的是,套用Self-Training方法的資料本身需要符合Low-Density Seperation假設。用白話文來解釋的話,通常越簡單的任務越符合這個假設。
標註成本較低,並且可以適用於大部分的任務。對於監督學習來說曠日廢時標註,切換到半監督學習就可以大量減少成本。對於線上需要持續優化的機器學習系統來說,只需要少量標注是非常吸引人的。
對於Self-Training類的方法,需要符合Low-Density Seperation假設才能成立;但是大部分的應用很難符合這個假設。
如果你的任務要切換成半監督學習但無法簡單套用Self-Training的話,你的機器學習演算法可能需要引用並嘗試各種創新方法,很可能是修改到足以發論文的地步。
- 符合Low-Density Seperation假設的任務,例如:交通號誌分類(Maybe)
- 如果有少量的標注人力,可以結合Active Learning來使用
- 當資料標註成本無法被滿足,但是資料取得成本很低的時候