035 - 11th 鐵人賽 - 《Google Machine Learning 學習筆記》 on 嗡嗡的隨手筆記

【Google ML】30 - 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝

Tue, 01 Oct 2019 01:42:15 +0800

今天是最後一天了，我們就來稍微回顧一下這30天走過的路，
以及這30天過程中的心得，最後我想說文章的未來計劃與表達感謝。

30天內容回顧與課程索引

在這30天的課程中，我們完成了兩個google所提供的課程，以下有學習內容的整理。

coursera - How Google does Machine Learning
coursera - Launching into Machine Learning

訂閱課程

【Day 1】 Google ML - 參賽原因與就先從認識 coursera 與訂閱課程開始第一天吧

在第一個課程中，主要了解一些基礎知識，
以及看google在GCP上分享一些已經有的專案。
這部分的內容多與將ML的結果實際運用至商業化有關。

基礎知識

學習目標	介紹內容
基礎ML知識	什麼是ML? 為什麼ML最近才紅起來? 可參考：[【Day 3】](https://ithelp.ithome.com.tw/articles/10213576)
設計ML問題	如何設計一個ML問題？可參考：[【Day 4】](https://ithelp.ithome.com.tw/articles/10213578)
ML與一般算法比較	比較一般算法與ML算法，看出ML的優勢。可參考：[【Day 11】](https://ithelp.ithome.com.tw/articles/10214863)

ML的應用策略

學習目標	介紹內容
ML的成功策略	使用ML要成功，常需要的關鍵策略。可參考：[【Day 5】](https://ithelp.ithome.com.tw/articles/10213900)
ML各階段與比重分配	企業運行ML時，在ML的各階段應該放的比重與心力。可參考：[【Day 6】](https://ithelp.ithome.com.tw/articles/10213904)
ML失敗的常見原因	大部分企業使用ML卻失敗的前十大主因。可參考：[【Day 6】](https://ithelp.ithome.com.tw/articles/10213904)
企業如何引入ML	ML在企業運行的五大階段與注意事項。可參考：[【Day 7】](https://ithelp.ithome.com.tw/articles/10214219)

GCP認識篇

學習目標	介紹內容
在GCP上運行ML的階段	在GCP上運行ML大概有哪五大階段? 可參考：[【Day 2】](https://ithelp.ithome.com.tw/articles/10213204)
GCP上ML的介紹	GCP上ML的介紹。可參考：[【Day 8】](https://ithelp.ithome.com.tw/articles/10214362)、[【Day 11】](https://ithelp.ithome.com.tw/articles/10214863)
已訓練好的ML模型	已訓練好的ML模型。建議可直接使用，不需要再自己訓練。如：「Vision API(圖片辨識)」,「Video intelligence API(影片辨識)」,「Speech API(語音辨識)」,「Translation API(語言翻譯)」,「Natural Language API(自然語言處理)」。介紹：[【Day 4】](https://ithelp.ithome.com.tw/articles/10213578)，詳細整理與比較：[【Day 12】](https://ithelp.ithome.com.tw/articles/10214867)、lab實作：[【Day 14】](https://ithelp.ithome.com.tw/articles/10215285)

GCP上的 lab 實作

Lab	介紹內容
Lab事前準備	Lab 0 - 在GCP上開始lab前的事前準備與注意事項。可參考：[【Day 9】](https://ithelp.ithome.com.tw/articles/10214523)
GCP上使用VM	Lab 1 - 在GCP上分析地震資料與製圖，並儲存在雲端。可參考： [【Day 10】 ](https://ithelp.ithome.com.tw/articles/10214718)
BigQuery與Datalab	Lab 2 - 使用 BigQuery 與 Datalab 視覺化分析資料。可參考：[【Day 13】 ](https://ithelp.ithome.com.tw/articles/10215097)
google ML APIs	Lab 3 - 使用google已訓練好的ML模型實作。如：「Vision API(圖片辨識)」,「Video intelligence API(影片辨識)」,「Speech API(語音辨識)」,「Translation API(語言翻譯)」,「Natural Language API(自然語言處理)」。可參考：[【Day 14】](https://ithelp.ithome.com.tw/articles/10215285)

在第二個課程中，我們深入去介紹如何訓練出一個好的ML模型，
包含ML模型的演算法、架構與一些模型好壞的評估方法。

ML中的不同學習種類

【Day 15】監督式學習(Supervised Learning) 與非監督式學習(Unsupervised Learning) 的介紹和比較

訓練「一個」ML模型

這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

從所有ML模型的訓練結果中，找到「最好的」ML模型：【Day 27】

原因：「訓練好一個模型」不等於「找到最好的模型」

階段	要做的事情
(「訓練模型」)	使用「訓練資料集(Training)」訓練模型(調整參數)，也就是「「上方表格」」在做的內容
(「結束訓練」)	訓練到通過「驗證資料集(Validation)」結束訓練(未達到「overfitting」的狀態前)
(「模型再調整」)	「超參數(hyperparameters)」調整或神經網路的「layer數」或「使用的node數」(一些「訓練前」就會先決定的東西)
(loop)	(「模型再調整」)後，重複上述(「訓練模型」)、(「結束訓練」)，完成訓練新的模型
(「找到最佳模型」)	從「所有訓練的模型」中，找到能使「驗證用資料集(Validation)」最小的loss，完成(「找到最佳模型」)
(「決定是否生產」)	可以開始決定要不要將此ML模型投入生產。此時我們可以使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試?

訓練ML模型的小實驗

文章	實驗內容
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	TensorFlow Playground 的簡介與介面介紹
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	「learning rate」的改變對訓練過程的影響
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	使用「神經網路(neural network)」分類資料
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	觀察「batch size」如何影響「gradient descent」

參賽心得

這次是我第一次參加鐵人賽，
原先預定的目標是希望能完成將google的五門課完成並做些Side Project，
但後來開始上課後，發現五門課的份量真的滿多的，
再加上一天能用的時間有限，而30天的時間就像是馬拉松一樣，
應該照自己最合適的步調來跑，否則很怕跑到一半心有餘而力不足，
於是就照著自己一天能看的量，並加上重新整理內容的時間分配進度。

每日更新確實是一個非常大的挑戰，生活中也還有其他事情需要忙碌，
每篇文章大約都花我五~九小時不等才完成，
說實在真的有占用到一些自己處理其他事情的時間，
參與鐵人賽的期間，就像將自己每日的時間濃縮，但時間長了也會開始疲憊，
但這時一看到有其他鐵人也跟著自己一起賽跑著，似乎又有某種新的動力燃了起來。
最後終於度過了鐵人賽這個艱難的考驗，真的有種說不出的成就感。

自己本來就有在做AI相關的研究，然後自己的個性也很喜歡整理東西，
也趁著這次機會的好好地把自己的觀念整理一次，
並且一有機會就加上「自己的註」，與自己先前就會的知識作連結。
在這過程中，也讓自己的觀念更加有脈絡與條理。

另一方面，我文章寫到途中後就有個打算，
未來我希望能把我的文章當成字典，當自己有遺忘的觀念的時候，
隨手打開文章稍微搜尋一下，就能找到自己想要複習的觀念。

最後，第一次寫鐵人賽的文筆不敢說很好，
而且又是這種專業度很高的文，
自己也很怕自己的專業度不夠能與iT邦上眾多大神相比。
真的很感謝大家願意讀完我的文章。

未來計畫

「學習是沒有止境的。」

不論寫到哪，終究會有新的知識需要學習，
未來這個系列我也還會繼續寫文章，文章會不定期的再更新。
更新內容會與原先我希望能夠完成的其他課程有關。

也希望能藉此讓自己走過的路，能夠留下一些紀錄與整理。

感謝

感謝所有訂閱的讀者、讀過我文章的讀者們，希望我的文章能讓你們有所收穫。
感謝所有一起奮鬥的鐵人們，你們的堅持也是我持續寫文章的動力。
感謝朋友們的支持，沒有抱怨我每天在fb發文很吵。
(但如果沒這樣的話，似乎少了點那種莫名的壓力去堅持完成鐵人賽)
感謝google提供這樣免費的學習課程。
感謝iT邦幫忙舉辦鐵人賽這樣的活動。

最後，也感謝正在讀這篇文章的你！

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 30】 Google ML - 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝

【Google ML】29 - Lesson 13 – 以混淆矩陣(confusion matrix)分析ML模型好壞,可評估的三種指標Accuracy, Precision, Recal

Mon, 30 Sep 2019 01:38:59 +0800

前言

這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ 「訓練一個ML模型」的整個過程：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

★ 從上面的訓練中，找到「最好的」ML模型：【Day 27】

原因：「訓練好一個模型」不等於「找到最好的模型」

階段	要做的事情
(「訓練模型」)	使用「訓練資料集(Training)」訓練模型(調整參數)，也就是「「上方表格」」在做的內容
(「結束訓練」)	訓練到通過「驗證資料集(Validation)」結束訓練(未達到「overfitting」的狀態前)
(「模型再調整」)	「超參數(hyperparameters)」調整或神經網路的「layer數」或「使用的node數」(一些「訓練前」就會先決定的東西)
(loop)	(「模型再調整」)後，重複上述(「訓練模型」)、(「結束訓練」)，完成訓練新的模型
(「找到最佳模型」)	從「所有訓練的模型」中，找到能使「驗證用資料集(Validation)」最小的loss，完成(「找到最佳模型」)
(「決定是否生產」)	可以開始決定要不要將此ML模型投入生產。此時我們可以使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試?

★小實驗系列：

文章	實驗內容
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	TensorFlow Playground 的簡介與介面介紹
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	「learning rate」的改變對訓練過程的影響
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	使用「神經網路(neural network)」分類資料
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	觀察「batch size」如何影響「gradient descent」

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- Introducing Loss Functions
- Gradient Descent
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- 「Performance Metrics」
  - Performance Metrics
  - 「Confusion Matrix」
- Module Quiz

0. 先整理今天重點

★ 「混淆矩陣(confusion matrix)」：

	「模型預測」為真「(positive)」	「模型預測」為非「(negative)」
「真實情況」為真	true positive (TP)	false negative (FN)
「真實情況」為非	false positive (FP)	true negative (TN)

簡單來說，我們「模型預測」只要是正面肯定的，就是「positive」，否定則是「negative」，
再來判定結果正不正確，只要「實際答案(label)」與「模型預測」不同就是「false」，相同就是「true」。

★ 比較三種指標「Accuracy」、「Precision」、「Recall」：

指標種類	「Accuracy」	「Precision」	「Recall」
計算方法	[(TP)+(TN)]/全部資料總數	(TP)/「模型預測」為 positive 的總數	(TP)/「真實資料」為 positive 的總數
公式變形	-	(TP)/[(TP)+「false positive(FP)」]	(TP)/[(TP)+「false negative(FN)」]
中文解釋	「預測」與「判斷」皆完全正確的 (包含「真預測為真(TP)」與「非預測為非(TN)」)	「模型預測」為真「(TP+FP)」，而「真實資料」為真的比率	「真實資料」為真「(TP+FN)」，而「模型預測」為真的比率
重視的點	最經典的顯示模型的正確度	我們比較重視「模型預測為真」的結果，是否能符合現實。	我們比較重視「真實為真」的結果，模型能不能預測到。
影響	-	「真實為非「(FN)」」的影響相對比較還好。	「模型預測為非「(FP)」」的影響相對比較還好。
例子	都是例子	下雨：預測為非(預測雨天，但實際晴天)，我們帶傘出門相對還好。	成績預警：預測為非(預測成績不好，但實際還ok)，我們告知要注意成績相對還好。
例子造成影響	-	「真實為非「(FN)」」還好 = 實際晴天的影響還好。	「模型預測為非「(FP)」」還好 = 誤發的成績預警影響還好。
對應的反例	-	(這裡如果重視「Recall」：則變成「預測晴天，但實際雨天，卻沒帶傘。」)	(這裡如果重視「Precision」：則變成「預測成績還好，但實際不ok，卻沒有通知學生注意成績。」)

1. Confusion Matrix

課程地圖

Optimization
- Performance Metrics
  - Confusion Matrix

1.1. 「混淆矩陣(confusion matrix)」

這是一個使用ML模型作臉部辨識的例子，

可以看到我們的模型不正確的將「雕像的臉」辨識為「真實人臉」，
這種情況我們稱為「false positive」。

另外可以看到我們的模型錯誤的將被冬天衣服遮住的「真實人臉」辨識為「非人臉」，這種情況我們稱為「false negative」。

自己的註：

簡單來說，我們「模型預測」只要是正面肯定的，就是「positive」，否定則是「negative」，
再來判定結果正不正確，只要「實際答案(label)」與「模型預測」不同就是「false」，相同就是「true」。

「混淆矩陣(confusion matrix)」能夠使用我們量化的評估模型的性能，
我們現在有四個數字，各個象限各一個。

然而我們通常只會用一個數字告訴別人我們的模型有多好，我們應該介紹哪一個?
我們再來用下一個分類的例子來作更細的講解。

1.2. Precision

如果我們知道一個停車位是可以用的，則他的「label」為「positive」，
如果我們的模型也預測這個停車位可以用，則我們稱為「true positive」

如果我們知道「沒有可以用的」停車位，但我們的模型仍然「預測有」可以停的車位，我們稱這種情況為「false positive」或「type I error」，為了比較我們模型做的「positive」預測有多好，我們稱這個指標為「precision」

如果「precision」很高，當我們說有可用的停車位，我們可以非常確定真的有車位。
「precision」如果是 1.0，表示「我們預測可用」的停車位中，這些車位實際上都真的是可用的。

但缺點是，我們可能會遺失一些「我們預測不可用」的停車位，但實際上是可用的。
這種情況我們稱為「false negatives」。

再來我們用數學方式來講「Precision」的正式定義，

「Precision」 = 「true positives」/ 「所有被模型預測positive的結果」

然後我們再看回這個「混淆矩陣(confusion matrix)」，
增加什麼因素會造成我們的精度下降呢?

答：增加「false positives」。

在停車場的例子中，模型預測「有空位的」，但實際上「並沒有空位」，
就會造成「false positives」增加，使「Precision」下降。

★ 自己的註：

「Precision」 = 「true positives」/ 「模型預測的所有positive」，
也可以說 = 「true positives」/ 「false positives + true positives」
如果看「Precision」=「true positives」/ 「false positives + true positives」
我們應該能更容易理解為何「false positives」的增加，會使「Precision」下降。

1.3. Recall

Recall 與 precision 通常有著相反的關係，代表著不同的指標。

我們「預測不可用」的停車位，但實際上是「可用」的，這種情況稱為「false negatives」。

如果一個模型有很高的「Recall」，
我們會因為發現實際上很多可以停的位置感到開心。
「Recall」如果是 1.0，表示我們預測可用的車位有10個，就真的有10個。
但實際上有些可能實際上是「可用」的車位，但我們卻說是「不可用」的。

「Recall」 = 「true positives」/ 「所有被真實中是positive的結果」

★ 自己的註：

「Recall」 = 「true positives」/ 「所有被真實中是positive的結果」
也可以說 = 「true positives」/ 「false negatives + true positives」
而「false negatives」指的是「真實中是，我們卻預測不是的」。
當「false negatives」的增加，會使「Recall」下降。

★ Precision 與 Recall 自己的小總結

這其實有點像心理學，當我告訴你東西很少，但實際發現很多，你會很開心。
這就是「Recall」指標，東西可能會比實際預估的還要多。
另外「Precision」則是比較像寧願誤判也不可以有漏網之魚，
我們告訴你的東西很多，但實際有可能會比較少一點，這就是「Precision」指標。

實際運用的話，像是判斷疾病，
應該要用「Precision」指標(有疾病為positives)，寧願誤判也不可以漏掉。
或者舉另外一個例子，如果用來判斷下雨的話(有下雨為positives)，
寧願預測說有下雨，實際卻沒下(比起預測沒下雨，實際卻下雨了好很多。)
(不過以結果來說，當然還是預測越準越好)

適合用「Recall」指標的情況，例如以期中預警為例(成績還行為positives)，
正確預測是好事，但如果錯誤預測，
寧願「成績還行」卻「告知學生要注意成績(成績不行)」，
總會比「成績不行」卻「沒告知學生注意成績(成績還行)」的好。
(一樣的以結果來說，當然還是預測越準越好)

1.4. 來看另外一個例子：比較「accuracy」、「precision」、「Recall」

這裡我們將會看到很多圖片，這些圖片裡面有些是貓，有些不是，
我們可以先自己試著判斷看看，然後我們再來看模型預測的結果。

希望你有正確判斷出含有貓圖片的圖，特別注意紅框處有一隻隱藏的貓。
而出於我們預測的目的，老虎我們在這例子並不被歸類為貓。

而我們也看我們的模型預測的結果，我們將這結果與我們的已知「(label)」比較，
我們來衡量一下模型判斷的結果。

整體看起來，我們的模型的準確率是3/8 = 0.375，
也就是說我們模型的「accuracy」= 0.375，
但「accuracy」指標不一定就是描述模型的最好的指標。

我們現在來看我們的這些貓與非貓的資料，我們模型的「precision」是多少?
我們的模型總共預測了五張屬於「positive」的分類，
但實際上真實是貓的只有兩張，所以「precision」= 2/5 = 0.4

「Recall」像是一個不喜歡作出「positive」決定的人，
這裡我們看到所有「代表貓」的「真實例子(label)」，
我們拿我們模型的預測只與這些「代表貓」的結果比較。

我們得到的「Recall」為 2/4 = 0.5，
換句話說這個是從所有真實應該為貓的圖片，
看我們的模型有預測有多準確(true positives)，
這個就是「Recall」指標。

1.5. 段落小整理

這邊我們把最佳化這個章節的全部內容在做個小整理。

首先，我們先定義ML模型為一組參數與超參數的組合，我們所嘗試的優化，就是指在參數空間(parameter space)中搜索最佳參數。

接下來，我們介紹了「損失函數(loss function)」，這也是我們在訓練階段中，評估與量化模型現在性能的方式。

我們針對「損失函數(loss function)」討論了兩種方法，
用於「線性回歸(linear regression)」的RMSE、
用於分類任務的「交叉熵(cross-entropy)」，
透過分析「梯度下降(gradient descent)」，
我們能夠決定前進的方向與步長，
這使我們知道如何在loss表面進行搜索，以尋找最佳參數。

我們在「TensorFlow playground」對於不同的ML模型實驗，並觀察「線性模型」是如何在給定「非線性特徵時」學習非線性關係，以及神經網路(neural networks)是如何學習層次來分析特徵。我們也看見「超參數(hyperparameters)」，例如「學習速率(learning rate)」與「batch size」，是如何影響「梯度下降(gradient descent)」的結果。

我們最後在決定accuracy, precision, recall之間進行選擇，依據想解決的問題種類進行選擇，以提高模型的性能，正如同我們在這個單元中看到的結果一樣，我們所標記的訓練資料集會成為模型學習的動力。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 29】 Google ML - Lesson 13 – 以混淆矩陣(confusion matrix)分析ML模型好壞，可評估的三種指標Accuracy, Precision, Recall

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】28 - Lesson 12 - 不適當的最小loss, 完美損失函數(loss function)存在嗎?ML模型的性能指標(performance metrics)

Sun, 29 Sep 2019 01:35:57 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ 「訓練一個ML模型」的整個過程：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

★ 從上面的訓練中，找到「最好的」ML模型：【Day 27】

原因：「訓練好一個模型」不等於「找到最好的模型」

階段	要做的事情
(「訓練模型」)	使用「訓練資料集(Training)」訓練模型(調整參數)，也就是「「上方表格」」在做的內容
(「結束訓練」)	訓練到通過「驗證資料集(Validation)」結束訓練(未達到「overfitting」的狀態前)
(「模型再調整」)	「超參數(hyperparameters)」調整或神經網路的「layer數」或「使用的node數」(一些「訓練前」就會先決定的東西)
(loop)	(「模型再調整」)後，重複上述(「訓練模型」)、(「結束訓練」)，完成訓練新的模型
(「找到最佳模型」)	從「所有訓練的模型」中，找到能使「驗證用資料集(Validation)」最小的loss，完成(「找到最佳模型」)
(「決定是否生產」)	可以開始決定要不要將此ML模型投入生產。此時我們可以使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試?

★小實驗系列：

文章	實驗內容
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	TensorFlow Playground 的簡介與介面介紹
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	「learning rate」的改變對訓練過程的影響
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	使用「神經網路(neural network)」分類資料
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	觀察「batch size」如何影響「gradient descent」

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- Introducing Loss Functions
- Gradient Descent
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- 「Performance Metrics」
  - 「Performance Metrics」
  - Confusion Matrix
- Module Quiz

0. 先整理今天重點

★ 比較「損失函數(loss function)」與「性能指標(performance metrics)」：

比較	「損失函數(loss function)」	「性能指標(performance metrics)」
使用時機	訓練中	訓練後
理解容易度	很難理解(較抽象)	很容易理解(較不抽象、很直接)
與商業目標	不是直接相關	此指標能直接反應於商業目標
共通點	衡量ML模型的指標	衡量ML模型的指標

1. Performance Metrics

課程地圖

Optimization
- Performance Metrics
  - Performance Metrics

在前面的章節中，我們曾在視覺化的網頁中訓練我們的模型，
並使用「梯度下降法(gradient descent)」優化了我們模型的參數，
我們最後所創造出的模型，透過許多層次的特徵結構，學習到了複雜的非線性關係。

然而，我們在這章節的最後發現這樣的方法可能有問題，
他的後果包含著「訓練時間長」、「最小值為次佳值」、以及「不適當的最小值」。

在這個章節，我們會仔細來討論什麼是「不適當的最小值」，為什麼他會存在，
以及透過「「性能指標(performance metrics)」」，我們如何能夠得到更好的結果。

1.1. 不適當的最小值 (最小loss)

所以，什麼是不適當的最小值呢?

我們可以想像所有在「參數空間(parameter space)」的點都代表一種策略，
有些點可能不能很好的「泛化(generalize)」，
或者是不能透過模型反應出資料集的正確關係。

舉個例子，當我們正在訓練一個模型，我們想預測停車場的圖片是否有空位，
有一種策略是這樣的：我們不管怎麼樣就預測「所有的車位都是被佔滿的」。

採取這樣的策略，當我們的資料集正值與負值的例子差不多相等時，這個策略似乎不可能會成功。

但是，如果我們的資料集是傾斜(skewed)的，也就是某一類的資料集明顯比另外一類多的時候，例如，我們拿到的圖幾乎車位都是滿的，預測「所有的車位都是佔滿的」似乎就是個不錯的策略，而且我們的模型也不需要多花費心力去理解「特徵(features)」與「label」的正確關係。

我們期待的結果應該是，我們的模型能夠真正理解「空著的車位」這個概念的意思，
預測「車位皆被佔滿」的模型，自然很難「泛化(generalize)」到其他的停車場也適用。

自己的註：

為什麼會有這樣的事情發生?
我們可以想像每次選擇題的考卷，如果每次我「全選C」就能得到不錯的分數，
那我還花心力去讀書並理解知識幹嘛? 寫C就能夠得到高分了啊！
模型這邊在做的事情，就與上面的例子一樣。

1.2. 完美的「損失函數(loss function)」存在嗎?

(如果我們的loss值是整數?)

我們很容易將不適當的最小值的存在視為是「損失函數(loss function)」的問題，
如果我們能有一個完美的「損失函數(loss function)」，
就能夠獎勵真正的最佳策略，只處罰不好的策略。

但這是不可能的，我們「想關注的指標」與「梯度下降相符合的指標」始終會存在差距。

自己的註：

上面已經舉例過學生寫考卷的例子了，
這邊也能以類似的例子來比喻，
老師認為的好是「90分」，你認為的好是「60分」，
我們每次都作答到「60分」使自己滿意了，但並不滿足「老師的滿意」。

所以我們一樣回到剛剛討論的停車位的問題。
假設我們依然在對停車位進行分類，
一個完美的「損失函數(loss function)」應該會幫我們「最小化錯誤預測」的數量。
然而，以這題而言，這樣的「損失函數(loss function)」應該會是分段的，
他可以取的值的範圍將是整數，而不是實數。

自己的註：

因為車子的數量只能是整數。

但這會是有問題的，問題出在「微分」。
「梯度下降(Gradient descent)」使得我們的「權重(weights)」有所變化，
反過來說，這也表示我們要能夠對「權重(weights)」微分，以取得我們的loss，

分段的函數在每個範圍內有差距，雖然TensorFlow依然可以對他們微分，
但loss的表面將不具有連續性，這使得我們在尋找下個參數時更具有挑戰性。

所以我們必須重新定義問題的框架，
與其尋找一個完美的「損失函數(loss function)」，
不如我們應該使用一個新的指標來解決這個問題。

1.3. 新的指標：「性能指標(performance metrics)」

而這種新的度量標準使我們能夠拒絕那些被認定為「不合適最小值」的模型，
我們稱這個度量標準為「「性能指標(performance metrics)」」，
「性能指標(performance metrics)」與損失函數(loss function)相比有兩個好處。

他能夠更容易地被理解。因為它們通常是可以統計的簡單組合。
「性能指標(performance metrics)」通常直接與「商業目標」相關。

第二點比較微妙，但我們可得出的結論是：
通常loss會與「商業目標」有共同目標，但不一定每次都對目標有一樣的影響，
有時候，雖然我們的loss很小，但我們在「商業目標」的進展也同樣的很小。

自己的註：

也就是說，「最小化loss」通常是我們的訓練目標沒錯，
但「最小化loss」的情況不代表這樣的模型拿來生產，結果也一定是最好的。

再換句話說，兩個模型訓練的能力一個「+1」、一個「+10」，
這個都叫做「好」，只是「+1」實際能造成的正面影響較小。

而下一章，我們會複習三個「性能指標(performance metrics)」：

混淆矩陣(confusion matrices)
precision
recall

並且知道何時該使用這些指標。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 28】 Google ML - Lesson 12 - 不適當的最小loss, 完美損失函數(loss function)存在嗎?ML模型的性能指標(performance metrics)

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】27 - Lesson 11 - 我們應該何時停止ML模型的訓練? 利用驗證資料集, 測試資料集, 交叉驗證(cross-validation) 評估模型訓練結果的好壞

Sat, 28 Sep 2019 01:31:23 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ 「訓練一個ML模型」的整個過程：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

★ 從上面的訓練中，找到「最好的」ML模型：【Day 27】

原因：「訓練好一個模型」不等於「找到最好的模型」

階段	要做的事情
(「訓練模型」)	使用「訓練資料集(Training)」訓練模型(調整參數)，也就是「「上方表格」」在做的內容
(「結束訓練」)	訓練到通過「驗證資料集(Validation)」結束訓練(未達到「overfitting」的狀態前)
(「模型再調整」)	「超參數(hyperparameters)」調整或神經網路的「layer數」或「使用的node數」(一些「訓練前」就會先決定的東西)
(loop)	(「模型再調整」)後，重複上述(「訓練模型」)、(「結束訓練」)，完成訓練新的模型
(「找到最佳模型」)	從「所有訓練的模型」中，找到能使「驗證用資料集(Validation)」最小的loss，完成(「找到最佳模型」)
(「決定是否生產」)	可以開始決定要不要將此ML模型投入生產。此時我們可以使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試?

★小實驗系列：

文章	實驗內容
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	TensorFlow Playground 的簡介與介面介紹
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	「learning rate」的改變對訓練過程的影響
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	使用「神經網路(neural network)」分類資料
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	觀察「batch size」如何影響「gradient descent」

Course - Launching into Machine Learning

第四章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Generalization and Sampling
- Introduction to Generalization and Sampling
  - Introduction
- 「Generalization」
  - Generalization and ML Models
  - 「When to Stop Model Training」
- Sampling
  - Creating Repeatable Samples in BigQuery
- Demo of Splitting Datasets in BigQuery
- Lab: Creating Repeatable Dataset Splits
  - Lab Introduction
  - Lab: Creating Repeatable Dataset Splits in BigQuery
  - Lab Solution Walkthrough
- Lab: Exploring and Creating ML Datasets
  - Lab Introduction
  - Lab: Exploring and Creating ML Datasets
  - Lab Solution Walkthrough
- Module Quiz

0. 先整理今天重點

★ 何時停止訓練，加上「驗證用資料集」的整個ML模型訓練過程：

階段	要做的事情
(「訓練模型」)	使用「訓練用資料集」訓練模型(調整參數)，也就是我們訓練在做的內容
(「結束訓練」)	訓練到通過「驗證用資料集」結束訓練(未達到「overfitting」的狀態前)
(「模型再調整」)	調整「超參數(hyperparameters)」或神經網路的「layer數」或「使用的node數」(一些「訓練前」就會先決定的東西)
(loop)	(「模型再調整」)後，重複上述(「訓練模型」)、(「結束訓練」)，完成訓練新的模型
(「找到最佳模型」)	從「所有新訓練的模型」中，找到能使「驗證用資料集」最小的loss，完成(「找到最佳模型」)
(「決定是否生產」)	可以開始決定要不要將此ML模型投入生產。此時我們可以使用獨立「測試資料集」測試? 或使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

★ 評估模型好壞的方法：

比較	獨立的「測試資料集」測試	「交叉驗證(cross-validation)」 (或稱為「bootstrapping」)
總資料多寡	適合「總資料量較多」的	適合「總資料量較少」的
資料分組方式	分成三組：training(訓練用), validation(驗證用), test(測試用)	分成兩大組：training(訓練用), validation(驗證用)，然後各大組再細分成很多小組。

1. When to Stop Model Training

課程地圖

Generalization and Sampling
- Generalization
  - When to Stop Model Training

為了幫助我們能建立適合的ML模型，
(例如線性回歸(linear regression)或神經網路(neural network))
我們可以使用驗證資料集(validation dataset)來幫助調整適合模型的「超參數(hyperparameters)」

複習：

「超參數(hyperparameters)」指的是在訓練前就設定好的參數。

1.1. 「驗證用」資料集(validation dataset)

調整「超參數(hyperparameters)」的過程是透過連續進行訓練完成的，
然後我們再將這些訓練與對應獨立的「驗證用資料集(validation dataset)」進行驗證，
確認沒有「過度擬合(overfitting)」的現象。

這裡顯示出我們的「驗證用資料集(validation dataset)」在訓練期間是如何被使用的。

在最佳化的過程中，訓練模型的過程：
(一開始參數皆為隨機生成)

- 從目前「模型參數的權重(weight)」計算「導數(derivative)」 - 觀察「梯度下降(gradient descent)」的loss曲線方向 - 嘗試透過修改「模型參數(parameters)」最小化loss指標 - 然後重複

自己的註：

這邊稍微補點數學說明，為什麼第一點的參數只看「權重(weight)」?
因為bias是常數項，微分會消失。
例如：y=ax+b，微分我們只需在意a，就不用在意b了。

現在，我們還需要定期的使用「訓練未看過」的數據，
我們稱為「驗證用資料集(validation dataset)」，來評估模型目前的性能，

在完成一次完整的訓練後，我們依照「驗證用資料集」驗證模型的結果，
看目前的「超參數(hyperparameters)」是否有用，是否可以進行更多的調整。
如果「訓練用資料集」與「驗證用資料集」計算的loss差不多，
那我們可以考慮先停下來，並重新優化「超參數(hyperparameters)」。

而只要對損失指標進行了充分優化，並通過了「驗證用資料集」的驗證，
(記得時間點是：在兩個資料集loss開始出現一些差異，但未達到「overfitting」的狀態時)
這時我們就應該先停止訓練，然後決定這個模型是否可以投入生產。

現在我們也可以用類似的循環去調整各個ML模型的參數，
就像我們在訓練前對「超參數(hyperparameters)」所進行的操作一樣。

例如：如果神經網路的層數或應該使用的節點數。
類似「超參數(hyperparameters)」一樣，會在「訓練前」就先設定好的。

你將會使用其中一種配置(例如一個只有六個節點的神經網路)，
然後再訓練另外一種，最後都用「驗證用資料集」來看哪一種配置表現得更好。
最後，我們會選擇一種模型配置，這個配置能夠使「驗證用資料集」產生出最少的loss。
(記得：上章我們提過，如果只是讓「訓練用資料集」loss最小是不夠的。)

★ 自己做個小結論，加上「驗證用資料集」的整個ML模型訓練過程：

- 使用「訓練用資料集」訓練模型(調整參數) - 重複1.，直到通過「驗證用資料集」結束訓練(未達到「overfitting」的狀態前) - 調整「超參數(hyperparameters)」或神經網路的「layer數」或「使用的node數」 - 重新1.2.3.，直到找到能使「驗證用資料集」最小的loss，完成全部訓練 - 並可以開始決定要不要將此ML模型投入生產。

(google提供的輔助工具：)
在之後的課程中，我們也會用Cloud ML Engine示範在「超參數空間(hyperparameter space)」做bayesian short search，
也就是說我們不需要一次對一個「超參數(hyperparameter)」進行此實驗。
Cloud ML的引擎能幫忙我們使用不同的最佳化策略，
並且以平行處理的方式進行實驗。

1.2. 獨立的「測試用」資料集(test dataset) 評估法

當我們完成訓練之後，我們必須還要能告訴別人這模型有多好。

那麼，你打算將哪個資料集作為最終通過與不通過的評估?

我們可以簡單的說，對於「驗證資料集」我們的模型最後有多少的loss嗎? (在我們的「訓練資料集」結果差不多的情況下。)

這樣想是不行的，因為我們已經用了「驗證資料集」作為停止我們訓練的依據，
這樣表示「驗證資料集」已經不是獨立的了(模型已經看過了)。
我們可以先想想該怎麼辦?

自己的註：

如果又拿這組「驗證資料集」，我們的模型是在確定「驗證資料集沒問題」的情況下才停止訓練，
也就是說模型一定已經對於「訓練資料集」、「驗證資料集」都很清楚且能夠得到高分。
所以我們還必須使用「其他的資料集」來證明這模型的預測是好的。

所以，我們必須在一開始就將資料集分成三等份：

training：訓練用資料集
validation：驗證用資料集
test：測試用資料集

只要我們的模型開始被訓練或驗證，我們就可以做「一次」分類，
而且要注意的是，這分類從頭到尾只能夠使用「一次」。

自己的註：

這邊指的意思應該是，「訓練用資料集」、「驗證用資料集」、「測試用資料集」，
一旦被決定了，就不能任意再重分，
因為一組資料集只要被模型看過一次，如果再被看過第二次，這樣的測試就是不獨立的。

而這組「測試用資料集」的結果正是我們可以告訴別人我們的模型有多好的依據，
我們可以拿這組「測試用資料集」的loss作為指標，決定要不要拿來生產用。

那至於如果我們在「測試用資料集」中預測的很差呢?
甚至是我們好不容易都通過了「驗證用資料集」的檢查。

那就表示我們不可以重新測試同樣的ML模型，我們應該要重新訓練全新的ML模型。
或者是收集更多的資料，去提供更多的新資料給你的ML模型。

自己的註：

所以「測試用資料集」失敗就可以開始思考直接砍掉重練的意思嗎QQ

1.3. 「交叉驗證(cross-validation)」與「bootstrapping」評估法

我們再來思考一個很小很小問題，雖然目前這方法已經很好了。
沒有人喜歡浪費資料，但「測試用資料集」只使用了一次，
似乎很浪費，但他有被保留下來。

我們難道不能在訓練時使用所有的資料，然後依然能合理的告訴別人模型的表現嗎?

答案是可以的。

這方法就是我們將「訓練用資料集」、「驗證用資料集」拆分成好幾等分，並且在不同的時間使用。

訓練後並使用「驗證用資料集」計算Loss，這個「驗證用資料集」可能包含「第一次訓練」中未使用的資料，
然後我們再重新拆分資料，現在我們的「訓練用資料集」可能包含著「第一次驗證」時所使用的資料，
然後我們可能需要進行多次的「迭代(iteration)」。

最後在多輪的「迭代(iteration)」之後，我們可以對於整個「驗證用資料集」進行loss的平均，
我們就會得到整個「驗證用資料集(validation)」的loss標準差，
這個值能夠幫助我們分析最終loss與它們的散佈情形。

這樣的方法我們稱為「交叉驗證(cross-validation)」或「bootstrapping」，
他的好處是，我們可以使用到所有的數據，但由於要將模型拆分成很多等份，
因此我們也必須要訓練很多次。

1.4. 評估方法小結論

如果你有大量的資料集，你應該使用獨立的「測試資料集」測試，並判斷這個模型訓練有沒有通過。

如果你沒有那麼多資料，你應該使用交叉驗證(cross-validation)的方法。

至於，如何實際將大數據集拆分成這一份一分的資料? 這個就是在下一章「取樣(sampling)」我們要來詳細討論的事情。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 27】 Google ML - Lesson 11 - 我們應該何時停止ML模型的訓練? 利用驗證資料集, 測試資料集, 交叉驗證(cross-validation) 評估模型訓練結果的好壞

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】26 - Lesson 10 - 泛化(Generalization)-檢查ML模型對於未知資料集的預測能力, underfitting與overfitting的問題

Fri, 27 Sep 2019 01:29:04 +0800

前言

(我們今天要先進第四章節囉~)
這幾天的文章會是一系列的，會需要一起看才比較能看懂整個ML模型的輪廓，
然而因為一天能寫的內容量有限，所以我會在前言部分稍微說明我寫到哪。

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

★小實驗系列：

文章	實驗內容
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	TensorFlow Playground 的簡介與介面介紹
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	「learning rate」的改變對訓練過程的影響
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	使用「神經網路(neural network)」分類資料
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	觀察「batch size」如何影響「gradient descent」

Course - Launching into Machine Learning

第四章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Generalization and Sampling
- 「Introduction to Generalization and Sampling」
  - 「Introduction」
- 「Generalization」
  - 「Generalization and ML Models」
  - When to Stop Model Training
- Sampling
  - Creating Repeatable Samples in BigQuery
- Demo of Splitting Datasets in BigQuery
- Lab: Creating Repeatable Dataset Splits
  - Lab Introduction
  - Lab: Creating Repeatable Dataset Splits in BigQuery
  - Lab Solution Walkthrough
- Lab: Exploring and Creating ML Datasets
  - Lab Introduction
  - Lab: Exploring and Creating ML Datasets
  - Lab Solution Walkthrough
- Module Quiz

0. 一樣先來整理今天重點

★ 名詞解釋：

「泛化(generalize)」：指ML模型「對未知資料集」的預測能力。

「泛化(generalize)」能力差：等於預測對未知資料集的預測能力差。但如果對「對自己的資料」的預測能力很好，有可能是發生了「過度擬合(overfitting)」的現象。

★ 「欠擬合(underfitting)」與「過度擬合(overfitting)」

比較	「欠擬合(underfitting)」	「過度擬合(overfitting)」
訓練前	(可能)決定了太簡單的模型	(可能)決定了太複雜的模型
訓練中	(可能)訓練太早結束	(可能)訓練過頭，也就是太晚結束
訓練後 - 對自已的資料	訓練後發現模型「對自已的資料」預測能力太差	訓練後發現模型「對自已的資料」預測能力非常好(可能好到沒有誤差)
訓練後 - 對新的資料	(對自己的資料都不行了還要試新資料嗎XD)	訓練後發現模型「對新的資料」預測能力非常差
代表的意義	我們的模型「對自已的資料」沒辦法達到理想的預測能力。	我們的模型「對新的資料」沒辦法達到理想的預測能力，然而對「對自已的資料」預測能力非常好。
自己的記法(不完全正確)	連自己的資料預測都不行，根本還不能預測東西。	訓練到根本把「自己的資料」都「背下來」了，難怪新資料完全不能預測。

自己的註：

「最佳的ML模型訓練結果」應該介於「欠擬合(underfitting)」與「過度擬合(overfitting)」之間。

★ 用圖簡單解釋「欠擬合(underfitting)」與「過度擬合(overfitting)」：

1. Introduction to Generalization and Sampling

課程地圖

Generalization and Sampling
- Introduction to Generalization and Sampling
  - Introduction

我們在這章節要討論的是「泛化(generalization)」與「取樣(sampling)」

在討論之前，我們一樣來複習前面所學過的內容，
我們已經討論過ML model是如何訓練的，
並且在TensorFlow playground中做了實驗，看到了視覺化的結果。

現在我們就可以思考一個有趣的問題，
什麼時候一個被訓練很精確的ML模型，實際上卻不是正確的結果，

事實上這個問題的關鍵就是在：

「對我們的模型而言的loss為0，實際上在現實生活中並不一定是真的好的。」

自己的註：

對一個資料集的分析，loss為0僅代表「這個誤差對資料集的預測沒有影響」，不等於預測是對的。

★ 「好的ML模型」不是指對「我們的資料集」預測結果好，而是對於「未看過的資料」表現的也好。

我們的ML模型如果將來想要產品化，這表示會有更多我們的ML模型沒看過的資料，
這就是我們必須仔細評估的問題。

所以我們要來討論怎麼去「評估我們沒看過的資料」?

首先，我們必須要得到一些我們沒有在訓練中使用的資料，
在我們的訓練完成後，我們就可以用這些資料來評估，

我們也可以藉由這樣的評估來判斷我們的模型是否有「過度擬合(overfitting)」的現象，
以及確定什麼時候應該模型要停止訓練。

第二部分就是我們可以如何在一開始就創造一些未知的資料集，
正常情況下，我們可能很難取得未看過的資料。

但因為我們有訓練資料集，
所以我們可以將訓練資料集拆成「訓練用」與「評估用」，
我們可以使用其中一組資料集訓練我們的模型，
而當模型訓練完成時，我們就可以使用另外的資料來測試與評估模型的表現。

所以我們也會學到如何去建 training, evaluation, test 的資料集，
並透過這樣的方式實際建立測試模型的指標。

2. Generalization and ML Models

課程地圖

Generalization and Sampling
- Generalization
  - Generalization and ML Models

我們先來解決「泛化(generalization)」的問題，這可以幫助我們理解
「為什麼我們訓練一個預測準確的模型，並不一定是最好的模型。」

2.1. 觀察「過度擬合(overfitting)」的現象

我們再來看一下我們所熟悉的出生率資料集，
不過這次我們使用「母親的體重增加」在X軸上，
來預測在Y軸上的「預測懷孕的時間」，

首先我們可以直覺的感覺到，這兩組資料看起來有很強的相關性，
也就是說，體重增加的越多，懷孕的時間就越長，
這件事情似乎在嬰兒的成長過程中是很直觀的。

我們也來複習前面一點的內容，當我們說到要對這樣的關係建立模型，
證明這兩個數據具有相關性，我們需要使用「線性回歸模型(linear regression model)」
而當我們討論「回歸問題(regression problems)」時，
我們通常用來計算的loss的方式都是「MSE(mean squared error)」或「RMSE(root mean squared error)」

「MSE(mean squared error)」可以告訴我們我們預測的回歸線與實際結果有多接近，
我們實際上在計算就是「每個資料點」與「回歸線(我們的預測)」的距離，
這段距離我們又可以稱為error(誤差)，
在「MSE(mean squared error)」的計算之下，我們會將誤差平方，
所以我們會移除負號而只觀測其值。
此外，因為MSE的關係，我們可以加重「預測」與「實際值」差異的處罰。

RMSE

用MSE取平方根即可得到RMSE，RMSE有點像所有數據與預測的平均距離。
而因為RMSE能夠修正單位的問題，我們能直接解釋為Y軸上的測量單位。
所以以相關係數來說，RMSE會是個更好的測量單位。

不論是這兩種誤差的測量，越小的值都表示模型的性能更好，
我們期望這樣的模型訓練最後能越接近零(表示預測沒有誤差)

這裡我們使用線性回歸模型(linear regression model)，
我們透過這模型簡單的繪製了一條最佳回歸線，最大程度的減少了誤差，
我們最終的RMSE值為2.224，似乎還不夠小，那我們來看看另外一個例子。

我們現在來看上面這個有趣的圖形，
我們現在使用更複雜的模型來預測，更複雜的模型會有更多的「參數(parameters)」

在這個例子中，這些「參數(parameters)」替我們捕獲到了資料集的每個資料的細節，
然後我們的RMSE值就降到0了，現在這結果「對於我們的資料集」非常的精確。

然而這樣的結果真的是最好的嗎? 我們能使用這模型來生產嗎?

其實這結果非常的有問題，我們舉個例子，
如果今天來了一個我們沒看過的資料，我們訓練出的模型就沒有這樣的直覺，

所以如果問我們，具有8個node的比12個node的好嗎?
我們有個16個node的神經網路，他有最低的RMSE，我們應該使用這個嗎?
我們在這裡所看到的例子，可能是有數百次方的多項式，然後具有數百個node的神經網路。

雖然更多的node(也代表更複雜的模型)能夠幫助我們優化更多的參數，
也能幫助我們找到最適合「複雜數據的分類」結果，
(例如像上一張分類螺旋資料集的例子)
但同時，這樣子做也會讓模型去記住更簡單的、更小的數據集。

自己的註：

就是把整個數據集都「背下來」了，但「不是這個數據集」的反而不會了。
這就是「過度擬合(overfitting)」。

2.2. 泛化(Generalization)

所以，我們應該要在什麼時候停止訓練模型?
並且我們要避免模型「背下資料集」導致「過度擬合(overfitting)」?

現在我們有個驗證模型的方法，就是拿我們的模型給沒看過的新資料集看性能如何，
然後我們就可以決定現在的模型對新資料集的「泛化(generalize)」程度如何，
這也會是未來我們在生產ML模型的重要指標。

自己的註：

「泛化(generalize)」：基本上就是指ML模型對未知資料集的預測能力。
如果沒有良好的「泛化(generalize)」，表示我們的模型只對我們的資料集預測好而已。

我們現在再回到「線性回歸模型(linear regression model)」與「神經網路模型(neural network model)」，然後看它們表現的怎麼樣。

我們的「線性回歸模型(linear regression model)」對於新資料集的「「泛化(generalize)」能力非常好」

從我們「新資料集計算出」的RMSE與我們「訓練所計算出」的RMSE差不多可以判斷。
在這樣的情況下，對於我們的ML模型是一件好事。
我們就是希望再預測(training)與驗證(validation)過程中，
我們的模型能有差不多的表現。

我們現在看到第二個模型，我們可以發現他對於新資料集的「「泛化(generalize)」能力非常差」

就算對於我們「訓練所計算出」的RMSE為0，
對於「新資料集計算出」的RMSE從0跑到3.2，
這代表一個非常嚴重的問題，也指示出我們的模型有著「過度擬合(overfitting)」的現象，
也證明了這模型對於新資料的預測能力非常的弱。

2.3. 泛化(Generalization)問題的解法

現在我們可能會想問，怎麼確定我們的模型訓練有沒有「過度擬合(overfitting)」?
所以我們該如何決定我們訓練停止的時間? 這個問題的答案十分的簡單。

我們先將我們的資料集分成兩部分。
現在我們將我們的原始資料分成完全兩個獨立的組別，
一個為「訓練用資料集(training)」、另一個為「驗證用資料集(validation)」

我們可以拿我們的「訓練用資料集」來不斷的反覆訓練我們的模型，
當我們完成訓練之後，拿訓練好的模型使用「驗證用資料集」來看模型的表現。

如果模型泛化(generalize)的很好，它應該也會在「驗證用資料集」有差不多的loss值
(也就是「訓練用資料集(training)」、「驗證用資料集(validation)」的loss差不多。)

當我們看見我們的模型對於「驗證資料集(validation)」預測結果開始不好的時候，
也就是像上圖，當我們計算出的loss開始增加，我們的模型訓練就該停止了。

自己的註：

正常來說「驗證資料集(validation)」的RMSE應該也要差不多2.2左右
誤差太大也表示我們的ML模型有可能在「背資料」了。

同時訓練和驗證ML模型，能夠幫我們找到正確的泛化結果與最合適訓練資料集的模型參數，而不是將模型整個背下來。

2.4. 欠擬合(underfitting) 與過度擬合(overfitting)

欠擬合(underfitting)

我們先看上圖中最上面的圖形，
我們有一個過於簡單的線性模型，它並不太適合預測我們這組資料，
上圖中，我們可以視覺上的發現很多點都是在這條預測之外，
這樣的情形我們就稱為「欠擬合(underfitting)」

過度擬合(overfitting)

而與上述相反的情況，如果結果太過符合所有的資料點，
我們就稱之為「過度擬合(overfitting)」

我們適當增加線性模型(linear model)的複雜度，使它成為n階多項式，
讓結果能符合我們資料的預測，

因此，這就是為什麼我們需要驗證的資料集，
我們就是要決定是否模型的參數是否已經過度訓練導致「過度擬合(overfitting)」的發生。

「過度擬合(overfitting)」或模型「只知道」我們訓練資料集的如何預測，
很多時候都會到生產階段才知道，這也就是為什麼我們還需要驗證的資料集。

一個正確的結果，也就是在「欠擬合(underfitting)」與「過度擬合(overfitting)」之間找到適當的模型複雜度，

接下來我們就要來看如何使用驗證資料集(validation dataset)，幫助我們決定模型停止訓練的時間，與他是如何幫助我們避免「過度擬合(overfitting)」。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 26】 Google ML - Lesson 10 - 泛化(Generalization)-檢查ML模型對於未知資料集的預測能力, underfitting與overfitting的問題

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】25 - Lab 5 - 在視覺化的網頁中觀察神經網路(neural network)如何分類資料, 並比較batch size如何影響gradient descent

Thu, 26 Sep 2019 01:26:37 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

★小實驗系列：

文章	實驗內容
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	TensorFlow Playground 的簡介與介面介紹
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	「learning rate」的改變對訓練過程的影響
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	使用「神經網路(neural network)」分類資料
[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)	觀察「batch size」如何影響「gradient descent」

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- Introducing Loss Functions
- Gradient Descent
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- 「TensorFlow Playground」
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - 「Lab: Practicing with Neural Networks」
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

1. Lab: Practicing with Neural Networks

課程地圖

Optimization
- TensorFlow Playground
  - Lab: Practicing with Neural Networks

我們已經知道了「linear model」是如何幫我們分類資料集的，
再來我們來看看「neural network」是怎麼做的。

不過在那之前，我們需要理解一些新的功能，
我們已經先實作好在 TenserFlow playground 裡面了。

1.1. 實驗介面介紹

首先我們要知道「activation」功能

「Activation」是由「激活函數(activation function)」產生的，
在第五課(The Art and Science of ML)時我們會有更詳細的介紹
(不過可能來不及寫到那? 有時間再補一下了~)

現在我們能夠改變的關鍵是「激活函數(activation function)」的選擇，
這也是我們該如何從「neural networks」區分出「linear models」，
而我們以前就是設置線性的「激活函數(activation function)」。

自己的註：

前面有提過，「linear models」是一種簡化版的「neural networks」

第二個我們要知道的是「隱藏層(hidden layers)」功能

「hidden layers」的功能允許我們去更改「hidden layers」的數量，
同時我們也能更改每一層hidden layers的「神經元(neurons)」數量

我們可以先簡單把這段想成「更改資料進入神經網路後的轉換次數」

在每層hidden layer的「神經元(neurons)」，會接收所有來自「上一層的結果」，
而「上一層的結果」就會變成「這一層的輸入」，
並且傳遞給所有在這「隱藏層(hidden layers)」的神經元，
而我們的整個神經網路就是進行這樣的動作，讓每個神經元都能接收到訊息，

我們可以用簡單的網路(network)架構來比喻用神經元的數量以及他們如何傳遞資訊

第三個我們要知道的是「batch size」功能

前面【Day 23】有介紹過他的意義了，我們會在這個實驗使用他。

再來我們可以使用以下的連結，嘗試去訓練一個能分辨資料集的模型：

參考範例連結：https://goo.gl/VyoRWX

然而，這邊與其使用非線性函數的功能來實現，
但我們會建議嘗試只靠修改「神經網路(neural network)」架構去改善表現的結果，
(雖然我們目前「neural networks」還沒有細講理論，但我們可以先觀察變化)

現在開始，我們可以在這個介面簡單操作，直到你可以訓練出一個良好的網路。

1.2. 小實驗 - 使用「神經網路(neural network)」分類資料

(訓練後)

我們再稍微操作一下之後，應該就能訓練
出一個良好的模型，並且輸出結果可能中間會有包含藍色的多邊形區域，

我們現在要一一的觀察「隱藏層(hidden layers)」裡面的內容，
使我們對模型有更直覺的概念，
我們先仔細看第一個hidden layer的「神經元(neurons)」(紅色框框的部分第一個)

當我們將滑鼠移到每一個「神經元(neurons)」的上方，右側的output也會改為顯示我們的結果。

我們可以觀察每一個「神經元(neurons)」，用我們理解最終結果的方式，
特徵(features)X1與X2的值皆已經被編碼在正方形裡面，
顏色表示「在這個神經元」中「X1與X2組合輸出的結果」，

我們依序看過每一格「神經元(neurons)」，我們就可以試想一個問題，

如果這些紅色格子內的「神經元(neurons)」疊加會是怎麼樣子的呢?

藍+藍 = 更藍
藍+白 = 淺藍
藍+橘 = 白

這時我們就可以開始去想，每一個「神經元(neurons)」是怎麼樣去參與共同決定最後的決策邊界? (也就是說，最後輸出的形狀與「隱藏層(hidden layers)」有什麼關聯?)

我們可以明顯看出，每個「神經元(neurons)」似乎都有對最後的決策邊界貢獻出了幾個邊。

現在我們可以用幾何的概念去想，如果「靠我們自己」製造出這個網路並獲得合理的結果的可能性有多小?

就好比，如果從藍點的周圍，我們能夠簡單劃出一個合理計算結果的形狀嗎?

1.3. 小實驗 - 觀察「batch size」如何影響「gradient descent」

在TenserFlow playground實驗，我們能直接看出我們的直覺是否準確。
我們已經看過神經網路「hidden layer的結果」能用來決定最後的決策邊界(decision boundary)

那只有一層hidden layer的神經網路與很多層hidden layer的差別呢?
我們現在來分類一個螺旋狀的資料集試試看。

參考範例連結：http://goo.gl/hrXd9T

我們也可以趁這個機會來了解「batch size」是怎麼影響「gradient descent」的，

我們設定「batch size」為1，並以「neural network」的架構實驗。
訓練大約經過300 epochs的時候我們先暫停一下，「注意loss曲線的變化」

再來，我們把「batch size」分別設定為10，我們再做一次，一樣經過300 epochs的時候我們先暫停一下。

最後，我們把「batch size」分別設定為30，我們再做一次，一樣我們也是訓練300個epochs

我們看得出loss曲線的平滑度有明顯的差異，
而且是隨著「batch size」增加，平滑度也會增加。
我們能用什麼我們已經知道的知識解釋觀察到的變化呢?

我們就從「batch size」會影響「gradient descent」的角度下去想，

當「batch size」小的時候，我們的模型「更新參數」的基礎只基於一種「example」所計算出的loss。但是每個「example」皆不相同，這就是問題所在。

當「batch size」增加的時候，各個資料集所產生出來的「noise(雜訊)」會比較穩定，漸漸的我們能夠看出比較清楚的特徵。

但是我們不能輕易的依據觀察結果下結論：「「batch size」能夠直接對收斂速度產生影響。」
「batch size」與「learning rate」皆為「超參數(hyperparameter)」，
所以「batch size」會因要訓練的題目不同而有不同，
我們應該使用 hyperparameter tuning 來調整它。

我們的模型完成訓練後，應該會長得像右邊這樣的圖，
第一件事情我們先注意「第一層「隱藏層(hidden layer)」」與之後的層之間的關係。
我們應該可以很明顯發現，在第一層「隱藏層(hidden layer)」的輸出，基本上都是線。

自己的註：

我稍微想了一下他的意思，應該是指我們可以看到在第一層 hidden layer 中內部的分區圖，基本上都是以「一條線」來區分「白色」與「藍色」區塊的。

在第一層之後的隱藏層輸出複雜很多，這些後續的層是基於前面層的結果堆疊而成，
(與我們上面所說的堆疊方式相同。)

因此，我們可以將「neural network」視為特徵的層次架構，
它們從前一層拿取自己的inputs，並以複雜的方式轉換成最終能分類資料的方法。
這個就是最經典的「神經網路(neural network)」代表。
這種方法與傳統的「機器學習(machine learning)」方法是很不相同的。

在「神經網路(neural network)」之前，
資料科學家花了很多時間做「特徵工程(feature engineering)」，
現在我們有ML模型可以幫忙負擔一些工程，
而我們可以將思考layers的意義作為一種「特徵工程(feature engineering)」的形式。

1.4. 「過度擬合(over-fitting)」

接下來要講到的是模型學到的一些奇怪的東西，
我們的模型似乎將兩個區域中沒有橙色的點，解釋為它是支持藍色的證據。

我們稱模型將資料集中的雜訊(noise)也解釋了，這稱為為「過度擬合(over-fitting)」

自己的註：

也就是白色也等於橘色了，但原本應該只有橘色等於橘色的。

當「模型的決定權」超出了「問題的嚴格必要限制」時，就會發生這樣的情況。
當一個模型是 over-fit 的，它們通常「泛化(generalization)」的效果很差，
(也就是對未看過的資料處理能力很差)
比較好的結果應該是保留應該保留的內容，
「雜訊(noise)」與我們想分析的pattern不應該會有一樣的分類結果

這件事，我們會在往後「泛化(generalization)」與「取樣(sampling)」的內容仔細討論。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 25】 Google ML - Lab 5 - 在視覺化的網頁中觀察神經網路(neural network)如何分類資料, 並比較batch size如何影響gradient descent

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】24 - Lab 4 - TensorFlow Playground - 讓我們在視覺化的網頁中體驗一下訓練ML模型吧！learning rate 改變對訓練過程的影響

Wed, 25 Sep 2019 01:22:15 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

★小實驗系列：

文章	實驗內容
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	TensorFlow Playground 的簡介與介面介紹
[【Day 24】](https://ithelp.ithome.com.tw/articles/10220441)	「learning rate」的改變對訓練過程的影響

而今天的文章我們先不討論新東西，我們來做點小實驗。

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- Introducing Loss Functions
- Gradient Descent
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- 「TensorFlow Playground」
  - 「Lab: Introducing the TensorFlow Playground」
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

1. Lab: Introducing the TensorFlow Playground

課程地圖

Optimization
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground

所以，我們現在知道「gradient descent」是如何運作的，
我們現在先使用一些工具來看看這方法實際上運作會是怎麼樣。
你應該會看到很多我們之前有提到的現象。

「TensorFlow Playground」是一個非常強大的工具，
他能幫助我們視覺化「neural networks」是如何運作的。
(「neural networks」稍後章節我們就會介紹了)
事實上，我們現在所介紹的「linear models」就是一種簡化的「neural networks」
所以這個工具也很適合做「linear models」的視覺化呈現。

我們會用這個工具來證明我們前面所說的理論知識，可以使我們對ML更有直覺，
我們也會直接了解「設定「learning rate」」與ML模型是如何降低梯度的。

我也會指出這些內容與之後主題的關係，這些都會在之後的課程有更深入的探討。
首先，我們先看一下介面，
我們先刪除了某些工具的功能，因為他與我稍後將介紹的內容才有關係，
但依然有許多有趣的功能是我們可以使用的。

1.1. 介面介紹

首先，我們畫面框起來的指的是「features」，這些要給model看的inputs > 在每一個box裡面的顏色代表的是feature的值，其中橘色代表負值、藍色代表正值，

然後這裡有個hidden layers的欄位，我們可以先當作這部分是代表「權重(weights)」，我們可以透過「滑鼠靠近」來看這個些值是多少

隨著模型的訓練，這條線的寬度與不透明度會逐漸改變，
這樣的視覺化表示也方便我們能夠快速的理解他們的值。

在output column我們可以同時看見training data與我們的model現在預測的值，以及所有的點在features space裡面的位置

- 我們也看到目前的training loss

這邊都會以「顏色」來表示值(「features」)

最上方的控制列包含著「重新設定訓練, 開始訓練, 執行單個步驟」的按鈕
還有一個可以下拉的列表，可以調整我們的「learning rate」

data欄位允許我們選擇不同的資料集，並且也能控制「batch size」的大小

1.2. 開始訓練

我們就先以訓練一個「linear model」來替我們分類資料開始吧!

這邊我們可以參考範例連結：https://goo.gl/EEuEGp

(這圖我另外截的XD，上面寫"「Don’t Worry, You Can’t Break It. We Promise.」“滿有喜感的XD)
~~「可惡，越是這樣講越讓我想嘗試玩壞看看」~~

當我們點進連結後，我們就會看到TensorFlow Playground的介面，，
我們先介紹一下目前畫面上的配置(不用擔心沒有hidden layers的問題)，
在目前我們所看到的介面設定中，這個模型接受一個「feature vector」，
並與「weight factor」計算內積，再加上「bias」，
然後使用計算結果去建立「決策邊界(decision boundary)」。

因此我們可以將目前的配置視為「linear model」，
我們現在會開始訓練這個model，讓他去嘗試分類一些屬於兩大不同族群的資料。

我們點擊畫面上的step鍵(紅框處)，我們會注意到畫面開始有ㄧ些變化。

loss的圖形顯示了往下的斜率
output的「決策邊界(decision boundary)」也產生了改變

我們移動一下滑鼠靠近目前代表1的「weights」，觀察一下「weights」目前的大小，

我們現在點擊play的按鈕讓他繼續訓練，但當loss小於0.002時我們就先暫停一下。
(應該會在200 epochs以內)

這時，我們已經完成訓練我們的第一個模型了!

1.3. 小實驗 - 「learning rate 的改變對訓練過程的影響」

現在讓我們稍微改變一點東西，

首先我們先看不同的「learning rates」是怎麼影響模型訓練的。

簡單複習一下：

「learning rate」是「hyperparameter」，也就是在訓練模型前設定的。
這個值會乘上偏微分的結果，並決定我們「weights」要改變(之前我們說的「移動」)的量，

這邊我們先試第一種，我們看看當「learning rate」非常小(0.00001)的訓練結果這邊我們只要先等到約100 epochs即可(大約需要兩秒)，然後先暫停訓練。

- 參考範例連結：https://goo.gl/3pmeKj

現在的loss是多少?
loss的變化是怎麼樣的?
然後我們的模型變成了怎麼樣的「weights」?

(調整「learning rate」的位置)

然後我們將「learning rate」調整為0.001，並再重新訓練一次一樣也是約100 epochs即可先暫停訓練。

現在的loss是多少? (應該會少了很多)
loss的變化是怎麼樣的?
然後我們的模型變成了怎麼樣的「weights」?

再來我們將「learning rate」調整為0.1，並再重新訓練一次一樣也是約100 epochs即可先暫停訓練。

現在的loss是多少? (應該會少更多)
loss的變化是怎麼樣的? (減少的有多快?)
然後我們的模型變成了怎麼樣的「weights」?

最後我們將「learning rate」調整為10，並再重新訓練一次

我們先試著只做一步看看，注意「weight」的變化。

再來我們繼續訓練直到100 epochs暫停訓練。 > * 現在的loss是多少? (應該會少更多) > * loss的變化是怎麼樣的? (減少的有多快?) > * 然後我們的模型變成了怎麼樣的「weights」?

我們觀察loss的曲線下降的速度，應該是非常急遽的下降的。

當我們把這些訓練結果放在一起，我們比較這四種的變化，
並試著用我們學到的最佳化知識解釋看看原因，

(上面這張表是影片實驗結果的整理，正常來說我們的結果應該會有點不一樣，而重跑實驗也會有點不一樣也是同理。)

「TensorFlow Playground」幫我們隨機初始化了「權重(weights)」，
這也表示我們每次的搜尋都從一個隨機位置開始。

我們先討論「Weight1」那一直行：注意「weights」的變化與我們「learning rate」的關係，我們發現隨著「learning rate」增加，「weight」也會增加。

為什麼呢?

因為我們的模型在訓練的時候走比較大步。
而事實上，當「learning rate」為10時，「第一步」改變的「weight」最為顯著。

而我們再看「loss over time」那一直行：

我們發現當「learning rate」增加，「loss曲線」也逐漸變陡。
這正與我們之前所分析的結果相同。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 24】 Google ML - Lab 4 - TensorFlow Playground - 讓我們在視覺化的網頁中體驗一下訓練ML模型吧！learning rate 改變對訓練過程的影響

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】23 - Lesson 9 - 加速ML模型訓練的兩大方法(如何設定batch/檢查loss頻率)、batch size, iteration, epoch的概念和比較

Tue, 24 Sep 2019 01:19:23 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

而今天的文章我們要來討論一下「加快ML模型訓練的方法」。

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- Introducing Loss Functions
- 「Gradient Descent」
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - 「ML Model Pitfalls」
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

0. 一樣先來個重點整理，下面會有詳細介紹

加速訓練的方法：

調整「計算偏微分時的資料總數」

利用「batch」的方法

調整我們「檢查loss的頻率」

基於「固定時間(Time-based)」的檢查
基於「固定步驟(Step-based)」的檢查

- 一大堆有關「batch」的名詞整理：

名詞	種類	意義
「mini-batching」	方法(method)	抽樣的方法
「batches」	被抽樣到的資料(data)	使用抽樣的方法得到的資料(subset of dataset)
「batch size」	樣本數大小(size, number)	代表抽樣的數目、樣本數大小(size, number)
「mini-batch size」	同上	「mini-batch size」比較常被稱作「batch size」。
「mini-batch gradient descent」	方法(method)	使用抽樣的結果去做「gradient descent」
「term batch gradient descent」	方法(method)	使用分堆的方式，也就是將「全部資料都下去分堆」。與「mini-batch gradient descent」最大的不同在於抽樣「使不使用全部資料」(另外一個只抽樣)，另外這個比較常用

「batch size」與「迭代(iteration)」與「epoch」的概念比較： > 假設我現在有400筆資料，我做分堆： > 我決定「一堆的大小(batch size)」要有40筆資料， > 這樣一共會有10堆(通常稱為「number of batches」,「batch number」)， > 也就是說每一輪我要學10堆資料，也就是學10個「迭代(iteration)」。 > 學完「10個「迭代(iteration)」」後，等於我把資料集全部都看過一次了。 > 這樣就是一輪(「epoch」)訓練的結束。 > . > 會有「batch size」與「迭代(iteration)」與「epoch」這些詞的原因， > 是因為通常ML學習的資料量都很大，我們會需要分比較小堆。

1. ML Model Pitfalls

課程地圖

Optimization
- Gradient Descent
  - ML Model Pitfalls

有個常見的情況是，每次當我們重新訓練ML模型的時候，
明明是一樣的code，我們也希望能產生一樣的實驗結果，但往往結果不同。
但通常我們會希望每次訓練的結果皆相同，這樣才是一個穩定的模型。

在ML裡面，很多時候我們再進行第二次訓練時，即使使用完全相同的「hyperparameter」
最後訓練出來的參數(「parameter」)結果也會完全不同。
這似乎是不太好的現象，我們希望尋找的是一個最佳參數(「parameter」)解，
結果不同，難道是「gradient descent」無效或是我們實作錯誤嗎?

並不一定，我們從上圖可以看出，當我們在搜尋Loss的表面時，
Loss的表面可能不單純像左圖只有一個山谷，
像右邊多於一個山谷的才是比較常見的Loss表面，
這個特性有個名稱叫做「凸性(convexity)」

左邊的是「convex surface」(凸面)
右邊的是「non-convex surface」(非凸面)

為什麼loss surface可能會有不只一個最小值?

這意思是在參數空間(parameter space)中有很多等值(或接近等值)的點，
(這裡的等值 = 參數算出來的「loss」等值)
也就是說這些參數的設置，都能是ML模型具有相同的預測能力。

自己的註：

也就是說，不同的參數組合，算出「一樣的loss」，等於具有「相同的預測能力」。

我們會在稍後介紹神經網路(「neural networks」)再更仔細的討論這問題。
(因為這樣的情況主要發生在神經網路(「neural networks」))

我們只要先記得loss surface會因為擁有的最小值數量，而有不同數量的山谷。

自己的註：

最大值(最小值)有分成兩種：local maxima(minima), global maxima(minima)
local指的是區域性的，也就是一個範圍內的最大(最小)
global指的是全域性的，也就是全部範圍內的最大(最小)
以山來比喻，山都會有主峰，主峰就是全部(global)最高的山，
但除了主峰之外還有有次高峰、第三高峰…，這些都是區域性(local)的最高。
我們指的很多山谷就是因為有很多local minima，然而最深的谷只會有一個。

我們在訓練時，時常會覺得完成訓練時間太長，我們要來思考怎麼樣可以加快我們的訓練速度?

不過為了要討論這問題，我們先從比較高階的角度看所有的步驟，
並從演算法的角度去分析他們的time complexity，

我們將訓練的主要演算法分成三大步驟：

★Step 1 : 計算導數(偏微分)，上圖

當我們計算偏微分時，「計算的時間成本」會與我們需要放入loss function的「比較資料數量」成正比，也會與我們ML「模型參數的總量」成正比。
- 而「模型參數的總量」可以從數千到數億個不等。
- 同樣的「比較資料的數量」也可以從數千到到數千億不等。

自己的小註記：

Step 1 : 計算導數(偏微分) 這階段影響訓練速度的關鍵在於：

模型參數(「parameters」)的總量

比較資料(「label」)的數量

★Step 2 : 參數更新

在這張圖中，「每個循環」也代表會「參數會更新一次」，
而這「時間成本」僅由模型內「參數的數量」影響，
然後，相對其他步驟，「更新參數」時間的時間成本較小。

自己的小註記：

Step 2 : 參數更新這階段影響訓練速度的關鍵在於：

模型參數(「parameters」)的總量
-> 但「更新參數」本身影響的時間相對其他步驟不多。

★Step 3 : 檢查loss

我們來想一下計算Loss的時間，這個步驟的時間複雜度，
會與我們的「想要計算loss的總資料數(「label」數)」與「我們模型的複雜度」成正比，

但特別的是，即使我們說這一個循環有這三個步驟，
但「檢查loss」的步驟不需要每次都做，
因為通常loss function的變化都是在逐漸好的方向變化。

自己的小註記：

Step 3 : 檢查loss 這階段影響訓練速度的關鍵在於：

想要計算loss的總資料數(「label」數)

模型參數(「parameters」)的總量

檢查 loss 的頻率

所以經由上述簡單的討論，我們應該心理先有個底了，
我們該怎麼做才能加快訓練的速度呢?

首先，模型裡面的參數如果是固定的數量，未來我們會提到我們可以將裡面的參數做「「正規化(regularization)」」

- 另外，雖然減少檢查loss的總資料數(「label」數)聽起來會有用，但我們通常不建議這樣做。

自己的註：

「正規化(regularization)」：可以讓模型的數字被限制在一定的範圍，
例如原本所有的ML模型內的參數可能介於「11000」，
透過「正規化(regularization)」的縮放，我們可以縮小1000倍(只是舉例)，
參數就會變成「0.0011」，這樣的好處在於我們可以避免做「大數運算」。

取而代之的，我們有兩大手段作為我們加快訓練速度的關鍵：

調整我們「計算偏微分時的資料總數」
調整我們「檢查loss的頻率」

正如同我們前面所說，我們能加快模型訓練速度的關鍵之一是「調整我們計算偏微分的資料數」

記得：

偏微分來自於我們的loss function，
而我們的loss function是將很多預測的error組合在一起的值。

所以這個方法需要減少「我們給loss function」的資料總數在每一輪「迭代(iteration)」中，
到這裡，我們可以先停下來想一下為什麼這樣是可以的。

為何這個方法沒有問題?

主要是因為我們可以從我們的訓練資料中抽取樣本，
而這個樣本與其他相比是平均且平衡的。
我們在之後會講到關於抽樣的陷阱以及如何避免，
而現在我們先知道抽樣的策略是從我們的資料集用統一的機率抽樣的。
所以所有在訓練資料集的例子都有一樣均等的機會被模型看過。

在ML中，我們將這種在從訓練集中抽樣的做法稱為「mini-batching」，
原本我們所計算的「gradient descent」預設會使用所有的資料集，
然後使用「mini-batching」的資料，我們可以算出「mini-batch gradient descent」，
而這些資料被抽樣出的資料被稱為「batches」。

「mini-batch gradient descent」具有許多的好處：

花費更少的時間運算
使用更少的記憶體
很容易做平行運算

另外一個很常聽到的名稱「term batch gradient descent」，
batch指的是以分批(batch)的方式來處理，
所以「batch gradient descent」會計算整個資料集，
與「mini-batch gradient descent」不相同。

這裡我們討論的是「mini-batch gradient descent」，
但有個常讓人搞錯的地方是，「mini-batch size」時常被稱作「batch size」，
TensorFlow也是這樣稱呼的，所以我們也這樣稱呼他。

在之後的討論中，如果我們討論到有關於「batch size」的事情時，
我們就是在討論「mini-batch gradient descent」的「樣本數大小」。

自己的註：

這邊名詞太多覺得很混亂嗎XD?
簡單整理一下：

名詞	種類	意義
「mini-batching」	方法(method)	抽樣的方法
「batches」	被抽樣到的資料(data)	使用抽樣的方法得到的資料(subset of dataset)
「batch size」	樣本數大小(size, number)	代表抽樣的數目、樣本數大小(size, number)
「mini-batch size」	同上	「mini-batch size」比較常被稱作「batch size」。
「mini-batch gradient descent」	方法(method)	使用抽樣的結果去做「gradient descent」
「term batch gradient descent」	方法(method)	使用分堆的方式，也就是將「全部資料都下去分堆」。與「mini-batch gradient descent」最大的不同在於抽樣「使不使用全部資料」(另外一個只抽樣)

★另外再送大家「batch size」與「迭代(iteration)」與「epoch」的概念比較：

假設我現在有400筆資料，我做分堆：
我決定「一堆的大小(batch size)」要有40筆資料，
這樣一共會有10堆(通常稱為「batch number」,「number of batches」)，
也就是說每一輪我要學10堆資料，也就是學10個「迭代(iteration)」。
學完「10個「迭代(iteration)」」後，等於我把資料集全部都看過一次了。
這樣就是一輪(「epoch」)訓練的結束。
.
會有「batch size」與「迭代(iteration)」與「epoch」這些詞的原因，
是因為通常ML學習的資料量都很大，我們會需要分比較小堆。
.
參考資料：神經網路中Epoch、Iteration、Batchsize相關理解和說明

我們來討論一下那「mini-batches」應該有多大?
「batch size」也像「learning rate」一樣是hyperparameter，
而且同樣的，這兩個的最佳值都是「因題目而異」的，
我們一樣可以使用「hyperparameter tuning」的方法找到他，
我們也會在後面一並詳細介紹。

通常「batch sizes」會介於10~1000個樣本之間。

另外一個我們提到加速訓練的關鍵是改變我們檢查loss的頻率，
稍微想一下，儘管一個個檢查每一個資料集的子集合是好事，但未必對訓練時間是好的。

上面是我們將我們的講法轉換後寫出的code，想法非常的簡單，
我們加入一些邏輯，使得計算loss function的高時間代價能夠減少計算的頻率，

現代檢查loss function的頻率很多有名的策略：

基於固定時間的檢查(Time-based) -> 例如：每三十分鐘檢查一次loss
基於固定步驟的檢查(Step-based) -> 例如：每一千個步驟檢查一次loss

我們減少檢查loss的頻率，並且引入「mini-batching」這套方法，
我們開始將模型訓練的兩個基本部分分開並各自調整，
「更改我們模型的參數」與「檢查我們是否有做正確的修正」。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 23】 Google ML - Lesson 9 - 加速ML模型訓練的兩大方法(如何設定batch/檢查loss頻率)、batch size, iteration, epoch的概念和比較

參考資料

coursera - Launching into Machine Learning 課程
神經網路中Epoch、Iteration、Batchsize相關理解和說明
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】22 - Lesson 8 - 學習速率 (learning rate) 介紹, 透過「learning rate」調整ML模型訓練的學習速度

Mon, 23 Sep 2019 01:16:09 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

而今天的文章我們要來討論一下所謂的「學習速率(learning rate)」，
可以幫我們調整學習的「步長(「step size」)」。

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- Introducing Loss Functions
- 「Gradient Descent」
  - Gradient Descent
  - 「Troubleshooting a Loss Curve」
  - ML Model Pitfalls
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

昨日我們詳細了介紹「Gradient Descent」的概念，
以及Loss在參數空間所能畫出的等高圖，
今天我們要稍微更細的討論一下Loss隨著時間所變化的圖，可能會有哪些情況。

1. Troubleshooting a Loss Curve

課程地圖

Optimization
- Gradient Descent
  - Troubleshooting a Loss Curve

想像我們現在正在進行「Gradient Descent」的過程，
我們「修改我們ML模型的參數」依照「loss function結果的偏微分」，
我們通常會紀錄並觀察「隨著訓練時間，loss的變化」。
(這就是通常我們machine learning在做的事情)

整個ML的訓練個過程可能數小時甚至到數天，
你可以想像這樣的過程是多麼的費時，因此考慮到這點，
我們需要稍微研究一下loss curve，來看看有沒有什麼可能的困難。

(上圖是一個常見且我們期望的loss curve與時間的對應圖。)

如同我們所想像的一樣，我們在一開始時，我們的loss下降快速，
因為我們的「Gradient Descent」算出較大的「step size」，
後來隨著時間增加，loss curve漸漸變緩和了，因為逐漸靠近loss最小值，
我們的「Gradient Descent」也算出較小的「step size」。

但loss curve還有可能有其他的樣子，不一定我們每次訓練都這麼順利。
我們也可以藉此判斷我們是否有合適的「step size」。

假如我們的loss curve長得像上圖這樣，
這表示我們走個幾步就跨越了好多山谷，

這也表示「step size」還是太大。

自己的註：

「step size」只依靠「loss function的偏微分結果」，
以二維來說，是我們該點的切線斜率。
套用到三維來說，也就是我們所說的「梯度」，
表示有點類似該點的有"多"陡、往"哪裡"陡 <- 不確定能不能這樣說?
我們知道該點的「梯度」後，不見得這山就跟我們預測的一樣「直接」傾斜到山谷。
所以只靠「loss function的偏微分結果」決定的方向與步伐大小，「步伐大小不見得每次適用」。

假如我們的loss curve長得像上圖這樣，
這表示我們可能在同一個山谷裡面，但我們可能要花很久很久時間才能到谷底。

自己的註：可以看到有緩緩下降的感覺。

這也表示「step size」還是太小了。

上述的這兩個例子都是「step size」不合適的情況，
因此，除了單純的只靠計算之外，我們還需要一個「可以縮放的參數」，
這個「可以縮放的參數」我們稱之為「learning rate」，
加上這個參數後，我們就有了最經典的「梯度下降法(gradient descent)」。

我們可以看到上圖就是最經典的「梯度下降法(gradient descent)」實現code，
我們可以注意到在移動變數位置時，
我們的偏微分結果乘上了「「learning rate」」的值，
透過「「learning rate」」我們可以更直接的調整我們的「參數移動大小」。

「「learning rate」」的調整，可以依照不同學習問題而改變，使達到最佳學習效果。

「「learning rate」」也是「hyperparameter」的一種，設定於ML模型訓練開始前。
而為了找出「「learning rate」」最適合的值，
有一種方法稱為「hyperparameter tuning」，這個會在之後的章節細講。

自己的註：

「「learning rate」」就是依據訓練題目有所不同而調整的值
不同的題目需要的「learning rate」不同，
「梯度下降法(gradient descent)」能幫我們決定方向與步伐大概的大小，

但為了防止計算出的步伐太慢，可能要調整「learning rate」使其加快

也為了防止計算出的步伐太快，導致一步就走過頭，透過調整「learning rate」使其變慢

通常「「learning rate」」會是一個小於1的分數，
而我們現在只需先簡單記得怎麼樣計算「梯度下降法(gradient descent)」，
並將「learning rate」視為一個調整學習腳步的「固定參數」即可。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 22】 Google ML - Lesson 8 - 學習速率 (learning rate) 介紹, 透過「learning rate」調整ML模型訓練的學習速度

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】21 - Lesson 7 - 梯度下降法 (Gradient Descent)介紹,使用「梯度下降法」決定ML模型中參數修正的「方向」與「步長(step size)」

Sun, 22 Sep 2019 01:11:56 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

而今天的文章我們就要來介紹所謂的「梯度下降法 (Gradient Descent)」
與ML模型中參數的修正「方向」與「步長(「step size」)」概念。

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

「Optimization」
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- Introducing Loss Functions
- 「Gradient Descent」
  - 「Gradient Descent」
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

1. Gradient Descent

課程地圖

Optimization
- Gradient Descent
  - Gradient Descent

在昨天的章節中，我們介紹了「損失函數(loss function)」的計算方式，
然而「損失函數loss function」只能「告訴我們參數的好壞」，
我們仍需要一個「修改參數的方法」，

今天我們要介紹的「梯度下降法 (Gradient Descent)」，就是一種「修改參數的方法」。

自己的註1：

「損失函數(loss function)」是判斷誤差大小的計算方法，然而還需要一個「修改參數的方法」。像這邊介紹的「梯度下降法 (Gradient Descent)」就是一個基於「損失函數(loss function)」的值去「修改參數的方法」。

自己的註2：

現在機器學習可使用於「修改參數的方法」有非常多種，然而這邊只介紹最經典的「梯度下降法 (Gradient Descent)」，仍有其他好的「修改參數的方法」可以使用。

「梯度下降法 (Gradient Descent)」，是一種「搜尋參數的策略」，
他是在一個參數空間中的每個點所代表的loss上，沿著表面往下走的過程，如上圖。

自己的註：

我們從上一節可以知道一個點表示一組參數，而一組參數能算出一個loss值(代表誤差多少)，
我們可以將這個「loss值的計算結果」想像成「山的高度」，而對應位置就是參數的點，
就能夠畫出像上圖的等高線圖。

然而我們通常不可能把所有的loss都計算出來，我們頂多知道要評估哪個點時，
才會去計算那一個點的loss，例如說我們可能只知道像上圖的兩個點。

但即使如此，我們仍然要知道接下來我們要往哪裡移動，才能找到最小值。

自己的註：

還記得「最小化loss」是我們的訓練目標嗎?
另外我們所謂的「修正模型參數」，也就等同於「修正點的位置」，
那「最小的loss」會在這個像山的圖的哪邊呢?
當然是山谷的地方，所以上面才說「梯度下降法」像是「沿著表面往下走的過程」。

我們把這個問題稍微拆解成兩個不同卻同樣重要的問題。

我應該往哪個方向移動?
我應該要走多遠?

現在我們先做個簡單的假設，我們先「固定我們走一步的移動距離」，
「走一步的移動距離」又稱為，我們只討論我們「該往哪個方向移動」。

而這使得我們能得到上述的簡單演算法。

當 loss > 某一個很小的常數(epsilon)時，我們先計算方向，
然後對於模型中的參數(parameter)，
設定新的值為我們現在的點加上【往我們要的方向「走幾步」乘上「步長(「step size」)」】，
然後針對新的點計算新的loss。

我們可以用地形圖或等高線圖的概念去想，
等高線上的每一條線代表一定的深度。
線與線的距離越近，表示那段越陡峭。

就像上面這張圖的每一個點，我們可以從點與點之間看出點移動的方式。
這就是一個從頂部邊緣開始漸漸往下走，直到走到最終的最小值。

另外一個可以注意的點是：因為我們現在固定步長(「step size」)，所以每個點之間的距離是一樣的。
我們再來試著想一個問題，如果步長(「step size」)太小，我們的訓練會花很多時間。
但我們還是能夠保證能找到「可能的最小值」，
這裡會說是「可能的最小值」是因為「最小值可能不只一個」，後面我們會再討論。

自己的註1：

如果步長(「step size」)太小，我們的訓練會花很多時間。
這句話也可以想像為走一步的距離小，走道目標的時間就會長。

自己的註2：

另外「最小值可能不只一個」，是因為這張圖只有一個山谷。
但想想現實生活中的山谷也應該不是只有一個吧? 這裡也是一樣的。

(如上面這張圖，從開始點到走到山谷，步長(「step size」)越小，到山谷花的時間自然就要越長)

既然我們說步長(「step size」)越小，花的時間越長，
那我們走大步一點總會比較快了吧? 然而事情也沒有這麼順利。

如果步長(「step size」)太大，你有可能從loss表面的其中一面甚至直接跳到另外一面，
甚至有可能整個直接跳出這個山谷中，然後到了全新未知的地方，如上圖。

因為這個原因，步長(「step size」)太大，很有可能導致ML模型模辦法收斂。

自己的註1：

可以想像成，人走一個超級大步，連山谷都跨出去都有可能的那麼大步。(現實中可能有點扯啦XD)
可以想像成巨人之類的XDDD，總之太大步也不行，
有可能直接跨出山谷，或跨到山谷的另外一面。

自己的註2：

這裡突然提到「收斂」一詞，其實我們確實在找谷底的過程就是在做「收斂」的動作，
「當抵達谷底時」=「收斂完成」=「找到最小的loss」=「完成學習目標」
不能收斂的原因就是跟上面所說一樣，走太大步了! 谷底都被跨過了! 找不到谷底了!

從上面的例子我們就可以知道，我們應該要指定一個剛剛好的步長(「step size」)，
不可以太大、也不可以太小。
但想要找到這個剛剛好的值，似乎是沒那麼容易?

我們觀察左邊的圖與右邊的圖，
我們都給這兩張圖設定一樣的步長(「step size」)，

左邊的圖沒問題。
但在右邊的圖中，一開始的移動也許還可以，但我們看到在接近山谷時，
這個我們設定的步長卻讓他一腳跨過了山谷，造成了訓練失敗。

所以從上面例子我們知道一個固定的步長(「step size」)，
似乎沒辦法適用於所有的ML模型，那我們該怎麼改變步長(「step size」)呢?

我們這裡用一些斜率與曲線變化的速率，
使我們對步長(「step size」)與方向(「direction」)更有概念。

我們看上圖，圖下方表示圖上方圖曲線(此曲線就是loss的變化曲線)的各點斜率值，
我們發現值較大的地方通常比值較小的地方離底部更遠。

自己的註：

(這裡的值指的是絕對值之後的值，也就是說下圖負越多或正越多離底部越遠。)

如果「斜率值越小」，表示我們「快要到底部了」(「要走一小步」)

如果「斜率值越大」，表示我們「離底部還很遠」(「要走一大步」)

另外再注意：

如果「斜率是負」，表示我們的「「谷底在右手邊」(「向右找最小值」)
如果「斜率是正」，表示我們的「谷底在左手邊」(「向左找最小值」)

我們換一個點看，例如點B，
他有「「正的斜率」」，告訴我們要「「向左找最小值」」，
另外他的「「斜率值很大」」，告訴我們「「要走一大步」」。

我們再換另一個點看，例如點C，
他有「「正的斜率」」，告訴我們要「「向左找最小值」」，
另外他的「「斜率值很小」」，告訴我們「「要走一小步」」，以避免走過頭。

我們現在就將我們的一開始所說的「固定的步長(「step size」)」，
用一個新函數「computeDerivative」來取代掉，
同時這個函數也能夠同時替我們決定「要前進的方向(derivative)」
我們將原本的點減掉「loss值的偏微分」，以獲得新的點。

自己的註：

也就是說，我們對loss值偏微分，依照剛剛上面的概念，
我們能同時獲得「應該前進的方向」與「要走多遠」。
啊對了，這方法就叫做「梯度下降法 (Gradient Descent)」，
這邊就已經介紹完了XDD，梯度就是指「loss的偏微分」，下降就是「找谷底」。
「loss的偏微分」：y是「loss值」，偏微的對象x是所有模型內的參數(「parameter」)，
可以參考更上方的二維圖：「y反應loss值的大小，而x反應的是參數所在位置。」
而上圖中的點也可以注意他的變化：「該走快時走很快，該走慢時走很慢，且走的方向很正確。」

我們似乎找到了一個非常好的方法，
他能幫我們找到合適的步長(「step size」)與要前進的方向(direction)，
但這樣就沒有問題了嗎?

以經驗來說，ML的種種問題集之中，我們所能建的loss表面，
這個算法通常會花費較多的時間，可能會找到次小值而非最小值，甚至是沒有完成。

自己的註：

「「花費較多的時間」」：「梯度下降法 (Gradient Descent)」相對比較新的算法來說，確實較慢，但並非不能用(下面也有提到XD)
「「找到次小值而非最小值」」：這確實是常見問題，我們可以想像等高線上有很多山谷，我們從找到第一個點時，就會開始往一個山谷的谷底直直前進。然而，如果這個山谷不是全部山谷最深的，那我們就找不到最深的山谷。不過目前也已經有新方法能解決這個搜索的問題。
「「沒有完成」」：有時候花費時間太長，而且特別是在接近底部的時候，可以想像一個問題，我們在做「y = 1/x」的畫圖時，那種趨近x軸卻永遠碰不到x軸的感覺(y無限接近0, x無限增加)，收斂的感覺也很像這樣，一直無限接近，但遲遲沒有到。

但「梯度下降法 (Gradient Descent)」仍然是一個常被使用的方法，
這也表示像上述可能會出現問題的資料集，我們往往很少會碰到。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 21】 Google ML - Lesson 7 - 梯度下降法 (Gradient Descent)介紹,使用「梯度下降法」決定ML模型中參數修正的「方向」與「步長(step size)」

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】20 - Lesson 6 - 使用損失函數(Loss Functions)來評估ML模型的好壞吧! MSE, RMSE, Cross Entropy 的計算方法與特性

Sat, 21 Sep 2019 01:06:29 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

而今天的文章我們就要來介紹所謂的「損失函數(Loss Functions)」的概念。

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

「Optimization」
- Introduction to Optimization
  - Introduction
- Defining ML Models
  - Defining ML Models
  - Introducing the Natality Dataset
- 「Introducing Loss Functions」
- Gradient Descent
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

1. Introducing Loss Functions

課程地圖

Optimization
- Introducing Loss Functions

在前面的章節中，我們定義的ML模型內的參數「parameters」與「hyperparameters」，
並介紹了 linear models 裡面的「parameters」大概會做什麼運算。

然後我們就要討論如何去最佳化這些在ML模型中的「parameters」，

在【Day 19】中，我們曾經提過在數據集不大時，可以使用的統計方法。

後來我們提到可以在參數空間(parameter space)試著搜尋最佳參數，
但要「比較每個參數的好壞」，我們會需要一個「判定的準則」。

今天我們就是要來細講這個「判定的準則」，
我們稱這個準則為「損失函數(loss functions)」，
這個函數就是用來幫助依照現在ML模型(裡面參數「parameters」)的預測結果，
做好壞的評估，並且他會以「數值化」的方式告訴我們有多好/壞。

1.1 「regression problems(回歸問題)」的損失函數

我們將目前所預測的值(prediction)與真實數據(「label」)直接比較差多少，
我們稱之為「誤差(「error」)」，我們可參考上圖。

但在每次訓練中，我們有非常多組參考資料(「example」)，
我們會得到一堆誤差(「error」)，
我們需要去思考該怎麼組合這些數據。

最簡單的方法，就是直接加總，例如使用sum。 > 然而，我們想一個問題，如果直接加總的話，正值與負值會被抵銷， > 例如誤差組合：(+100,-100)與(0,0)，sum值相同，但代表意義相同?! > 顯然，這方法存在問題。

因此，為了解決上述問題，我們應該要找一個更具代表性的
能象徵我們預測的值(prediction)與真實數據(「label」)的算法，
而這算法不會使得「誤差(「error」)」之間相互抵消。

那「誤差(「error」)」的絕對值之和呢? google只有提到會有問題，沒關係我自己來補充註：

這方法稱作「MAE(Mean absolute error)」 - 平均絕對值誤差，這方法是合理的，
但會有「在等於0時」不可微分的問題(這個可以自己畫圖或看以下參考資料)
不可微分會有什麼問題? 簡單來說，我們會沒辦法透過微分決定ML模型的修正方向。
但完全不能使用嗎? 倒也不完全是不能用，他有它的長處，但這邊再談下去就太多了，
★就留個可參考的資料給有興趣的人：機器/深度學習: 基礎介紹-損失函數(loss function)

- 我們常用的方法：「MSE(Mean Squared Error)」

「MSE(Mean Squared Error)」的算法是從我們的所有數據中，

拿預測的值(predictd value)與真實數據(labeled value)相減
所有的相減值皆平方(避免誤差正負相消)，並取總和
再除以總數量平均

MSE方法計算結果是很值得參考的，確實很適合作為我們的 loss function。

但MSE方法仍然有個小問題，在「單位的解釋」上我們有點難以解釋數據。

例1：計算「體重」誤差，請問「公斤的平方」意義是?
例2：計算「金錢」誤差，請問「美元的平方」意義是?

因此，我們會採用「MSE(Mean Squared Error)的平方根」，

用「RMSE(Root Mean Squared Error)」以獲得我們能解釋的單位。

自己的註：

注意：「MSE(Mean Squared Error)」在「數值」上仍然具有誤差代表性，並非不能使用。
而使用「RMSE(Root Mean Squared Error)」只是更能解釋「數值」量的意義(因為有單位)。

(RMSE的算法，少做開根號的動作即為MSE。)
(圖中ŷ表示我們預測的值(predictd value)、y表示真實數據(「labeled value」))

當「RMSE(Root Mean Squared Error)」的數值越大，同時也能表示我們預測的表現越差。
所以訓練我們要做的事情就是「最小化「RMSE(Root Mean Squared Error)」」。

現在我們找到了一個方法，能幫助我們在參數空間(parameter space)中衡量參數(parameter)的好壞。

記得：參數(parameter)使用於我們的ML模型中，也就是我們線性模型(linear model)中的參數。

我們稍微比較上面的的兩張圖，這是兩張散佈圖(資料集為【Day 19】的嬰兒資料)，
我們只看39歲以上的母親並畫上回歸線，
視覺上我們非常難看出哪條線畫的比較好。
這就是為何我們要決定我們的「損失函數(loss functions)」，
他可以數值化且具體的指出哪一條線比較好，
於是我們使用我們剛剛決定的「損失函數(loss functions)」：「RMSE(Root Mean Squared Error)」

我們發現左邊的模型目前的RMSE值為145、右邊的模型目前的RMSE值為149，
因此，透過「損失函數(loss functions)」我們知道左側的「目前模型訓練的結果比較好」。

「目前模型訓練的結果比較好」：表示有較好的「weight」與「bias」。

1.2 「classification problems(分類問題)」的損失函數

(用「RMSE」預測分類問題的結果。下方內容有圖片解釋。)

但我們發現有個問題：「RMSE」作為「損失函數(loss functions)」，
在「線性回歸問題(linear regression problems」)的表現很好，
在「分類問題(classification problems」)似乎不行。

我們先回到分類問題的本身，還記得當初我們定義的分類問題，
他的結果是將目標分類。也就是我們的「label」會是一個「類別」而「非連續數」。
我們拿之前提到的「編碼(encode)」為例，
透過「編碼(encode)」，我們能將我們預測的類別「以「0或1」的方式」表示。

我們回來解釋上方的圖，

X軸表示我們的預測結果(prediction)
Y軸表示(loss)，表示預測值(prediction)與實際值(「label」)的RMSE誤差
藍色為預測結果是0所畫出來的線
綠色為預測結果是1所畫出來的線

這曲線出了什麼問題呢?

我們可以看見當目標target(「label」)為0時，預測結果1的比預測結果0.5的糟糕三倍

這邊比較難懂，自己稍微補充解釋一下：

例如明明是正確結果是0，我們預測1，loss自然就是全錯 = 1
明明是正確結果是0，我們預測0，loss自然就是全對 = 0
明明是正確結果是0，我們預測0.5，loss是「算誤差總共的RMSE」約等於 0.3
(很多的「0.5-0」然後平方、除總數、開根)
這也是為什麼明明是正確結果是1，我們預測0.5，loss是也等於 0.3
因為也是(很多的「0.5-1」然後平方、除總數、開根)，一樣吧！

這結果說明了什麼? 有些糟糕的預測應該有更強的懲罰，而且這預測完全不夠直覺。
所以證明我們會需要一個新的「損失函數(loss functions)」，
針對我們的「classification problems(分類問題)」能夠有更直覺的懲罰。

(自己的註：「直覺的懲罰」的概念要比較下圖比較好懂，下面會解釋。)

「交叉熵(Cross Entropy)」是最常使用於分類問題的損失函數(loss functions)。

「交叉熵(Cross Entropy)」又有個別名「log loss」

上圖我們做一個與用「RMSE預測分類問題」的結果類似的圖，
我們使用「交叉熵(Cross Entropy)」做為新的「損失函數(loss functions)」。

特別注意：圖中顯示「交叉熵(Cross Entropy)」會強烈處罰錯誤的預測。

這邊比較難懂，自己稍微補充解釋一下：

與上圖比較中，如果以藍線來說(真實label為1)，預測結果如果是0，
看藍色取線的左側，套一句【Day 17】的內容，有沒有一種預測錯就非常完蛋的感覺?
與上面「RMSE」相比，處罰嚴重太多了，分類問題正是需要在分類錯誤時有最嚴重的懲罰，
我之前所說的「分類正確沒事，分類錯誤非常完蛋!!! 只要有分錯邊，誤差瘋狂上升」，正是類似這樣的概念~。

我們再拿我之前【Day 17】做的表格看一下、順便複習一下吧：

★ 均方差(mean squared error) 與交叉熵(cross-entropy) 的比較★

常用的計算誤差方法	均方差(mean squared error)	交叉熵(cross-entropy)
使用問題種類	「regression problem」(回歸問題)	「classification problem」(分類問題)
訓練目標	最小化「均方差」	最小化「交叉熵」
一維畫線(解)依據	只要能使最小距離就好(平方最小)	線畫下去就是要分好兩類資料，不可以有人跑錯邊(誤差會指數成長)
我自己的理解方式(不完全正確)	計算距離，所以不管在線的哪邊沒差，離線平均都近一點就能最小惹	分類正確沒事，分類錯誤非常完蛋!!! 只要有分錯邊，誤差瘋狂上升

完整內容請參考：【Day 17】 Google ML - Lesson 3 - 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同

我們下面來舉一個實際的例子。

上面這個就是「交叉熵(Cross Entropy)」的公式，
簡單拆解一下我們可以說分成「兩大terms」，
有趣的是這個公式每次「只會有一個term」有反應。

自己的註：「反應」等於「會產生loss的值」

「Positive term」：當結果是1時有反應。
「Negative term」：當結果是0時有反應。

你問為什麼嗎? 自己的註：

因為「0乘任何東西都是0，在Positive term出現0相乘就沒反應了。」
然後也是因為「0乘任何東西都是0，在Negative term出現1相乘就沒反應了(因為「1-1=0」)。」

這裡我們有一張表，正是一個圖片分類的問題，它秀出兩種已經被encode的labels，

這裡的encode方法為「有人臉的為1，沒有人臉的為0」

並且有我們的預測結果(predictions)與實際結果(label)，看目前預測的結果似乎不錯。

我們先看上方的example，因為它真的是人臉，所以label=1，
而我們預測0.7，我們發現後面的「Negative term」消失了(因為「1-1=0」)，
而只剩下「Positive term」提供 loss。

我們在看下方的example，因為它不是人臉，所以label=0，
而我們預測0.7，我們發現前面的「Positive term」消失了(因為「0乘任何東西都0」)，
而只剩下「Negative term」提供 loss。

稍微計算一下結果，我們得到的Cross Entropy Loss = 0.13
似乎是不錯的數值，顯示我們的模型結果不錯，然而我們來做個比較會更明顯。

如果我們的模型沒有訓練好(做出好的預測)，結果會是多少?

我們將下方的預測結果改為 0.8，也表示著下方結果目前是被錯誤預測(分類)的，
我們計算Cross Entropy Loss = 0.42，Loss有增加，
別忘了我們的訓練目標是要將「最小化Loss」，
所以確實增加的Loss不是接近我們要的訓練結果。

因此，上面介紹的方法就是我們如何在參數空間(parameter space)中比較參數的好壞，

自己再註一下：參數(parameter)指的就是「weight」與「bias」

不論是使用「RMSE(Root Mean Squared Error)」作為回歸問題的Loss Functions，
或是使用「交叉熵(Cross Entropy)」作為分類問題的Loss Functions，
要記住我們的目標是找出最佳的參數，Loss Functions是我們參考好壞的依據，

但知道如何衡量好壞後，接下來我們要講的是如何去尋找這些點?
這個我們會在下一章「梯度下降法 (Gradient Descent)」提到。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 20】 Google ML - Lesson 6 - 使用損失函數(Loss Functions)來評估ML模型的好壞吧! MSE, RMSE, Cross Entropy的計算方法與特性

參考資料

coursera - Launching into Machine Learning 課程
medium - 機器/深度學習: 基礎介紹-損失函數(loss function)
medium - Understanding binary cross-entropy / log loss: a visual explanation
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】19 - Lesson 5 - 接下來幾天作為範例的「訓練資料集介紹」、範例「資料集訓練前分析」(順便補上整個ML訓練流程，作為系列文章中的訓練階段參考)

Fri, 20 Sep 2019 00:51:23 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

而今天的文章我們也會先介紹並且稍微分析一下，接下來我們要用來作為訓練範例的資料集。

今天我們會繼續 Launching into Machine Learning 的第三章節~

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- Introduction to Optimization
  - Introduction
- 「Defining ML Models」
  - Defining ML Models
  - 「Introducing the Natality Dataset」
- Introducing Loss Functions
- Gradient Descent
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

1. Introducing the Natality Dataset

課程地圖

Optimization
- Defining ML Models
  - Introducing the Natality Dataset

決定訓練資料集

簡單來說這邊就是要介紹接下來我們要作為示範訓練的資料集了，
資料集很重要的原因在於它可以直接影響我們要使用什麼「ML模型」。

我們這次要訓練的是一些關於新生兒的資料集。

問題情境：

有些嬰兒剛出生時會需要緊急護理，然而能提供這樣護理的醫生卻不多，
我們希望能夠妥善的分配醫生，使得真的有需求的嬰兒能得到需要的護理。

我們將這問題轉換為ML問題：

我們想預測的目標是，預測哪些嬰兒會需要醫生的照顧

再來我們來思考一下什麼東西能作為我們的參考的依據(「feature」)，
什麼東西能作為我們的訓練目標(「label」)，
假設這裡有三種資料：母親的年齡, 嬰兒的生日, 嬰兒的體重，哪些是能用的呢?

我們在這邊稍微題外話一下：

有些專業領域的知識，會告訴我們某些資料是不可能相關的，
例如(我任意舉例的)：能不能用一個人的身高、體重預測那個人的年齡?
我們應該都知道這個相關性是薄弱的，但在ML模型裡面我們就是想試著找看看關聯性。

但另外一個預測的重點，那就是這些資料要在我們想預測時，資料是「可取得的」。

回到剛剛上面問題的答案：

嬰兒的生日：我們必須要等嬰兒出生才能知道的資料，所以就是預測時還不可取得的資料。
嬰兒的體重：嬰兒的體重恰好就是嬰兒是否需要照護的重要指標之一。
母親的年齡：雖然不確定有沒有相關性，但母親的年齡確實是我們可以觀測的資料。

選擇好我們要使用的資料後，我們來想想我們剛剛所定義的問題：

我們想預測的目標是，預測哪些嬰兒會需要醫生的照顧，
也就是預測「寶寶的健康」，嬰兒的體重是「寶寶的健康」的參考指標之一
我們就先將我們想預測的目標(「label」)訂為實際數據的預測「嬰兒的體重」，
而「母親的年齡」可以做為我們參考的依據(「feature」)，
這個問題我們要預測的是「嬰兒的體重」，為連續值，
所以這是「「回歸問題(regression problem)」」。

再把資料丟進ML模型之前，我們通常還要先看一下這個資料是否可能存在某些特性，而非全部雜訊(noise)。
我們先觀察一下數據分布，我們將「母親的年齡」與「嬰兒的體重」做成了散佈圖。

而這個資料並不需要把全部的資料都拿來丟，我們只要「取樣(sample)」即可：

一方面是，全部的資料都丟，在計算上是不太合適的(太多資料)
另外一方面是，如果丟入大量資料，除了製圖困難，我們也很難解釋他

(這個資料來自BigQuery中的公開資料，為美國政府收集的natality data)

稍微注意一下，這些資料似乎有小的正相關性。
這邊我們還可以比較另外一張圖，我們一樣使用這兩種資料作為座標，
但這次我們不做散佈圖，我們將資料分成各個資料組的累積量。

先稍微比較一下兩者的特色：

圖的種類	「散佈圖(scatter plot)」	「資料組的累積圖」
介紹	使用一個個資料點呈現的方式，標記在圖上	使用資料累積的量所畫出的圖
資料取樣	需要「取樣(sample)」，所以不會用到全部的資料	使用全部的資料累積值，所以不需要取樣
代表性樣本	要擔心「非代表性樣本」的風險(指比較特殊的資料，不夠有代表性)
製圖結果	每次製圖結果可能不同(因為取樣)	每次製圖結果皆相同

這張圖是由一共22GB的資料所繪成，我們試著觀察一下裡面的關係，
這時我們就會發現，我們看見了一些散佈圖中看不出來的資訊。

我們發現，寶寶的體重似乎在母親年齡30歲左右達到最大值，
而隨著母親年齡的增長或減小，嬰兒體重逐漸減少。
這表示這組資料存在著「非線性」的關係，且在散佈圖中是觀察不出的關係。

但我們想基於昨天提到的線性模型(linear model)而分析他，似乎看起來不是那麼容易。
事實上，我們用線性模型(linear model)想去建立一個非線性函數(non-linear function)的模型，
這樣的例子有個名詞叫做「欠擬合(underfitting)」。

也許你可能會問為什麼不使用更複雜的模型來解這個問題? 這是因為這邊作為教學示範的原因。
而其他複雜的模型我們之後也會討論到，此外我們還會討論「過度擬合(overfitting)」的概念。
但簡單來說，隨著「模型的複雜度」增加，「訓練過程的失敗風險」也會增加。

我們回到原先題目的散佈圖，我們認為母親的年齡與嬰兒的體重成些微的正相關，
於是我們先將我們的直覺判斷，以「藍線」來模擬這個概念，
而決定藍線之後，我們再來想思考這條線是否應該要高還是更低? 斜率是否正確?
要怎麼樣去決定其他的線「紅、黃線」沒有比這條「藍線」好?

這邊先來個題外話一下：

有學過統計的人，可能會知道有個「least squares regression」的方法，他能夠幫助我們在線型模型(linear models)中決定最佳權重(weights)，這方法在這題目中也確實可行。
但問題在於這些解只能在「一定的數量規模」內使用，當數據量只要一大，為了解決問題使用統計方法的計算量就顯得不切實際。
那如果統計方法不行的話，這裡該怎麼辦?

我們可以使用「「gradient descent(梯度下降法)」」：

我們先考慮在空間中搜尋最佳化變數，
記得我們的線型模型(linear model)裡面有兩個變數，weight 和 bias。
因為這兩個數字都是實數，我們可以考慮將這兩個變數的每個組合想像成是2D空間中的一個點。

有這樣的想像後，我們要怎麼找到最佳解呢?

首先，我們要認知到，因為input是實數，所以基本上他有無限的輸入可能，
所以以上面的圖來說，沒辦法呈現出所有的結果，
也就是說，我們沒辦法考慮所有的組合。

(自己的註：他這邊指的是所有的weight 和 bias組合，在這張圖上)

所以，我們採取的是找到點後，先進行計算，然後與我們training data比較

自己的註：比較training data的「label」與「我們預測結果」與實際的差異。

而為了做到這件事，我們需要建立能對每個點評估「我們預測的結果」品質的方法，
換句話說就是計算「我們預測結果」的誤差值(error)的方式，
用一個數值來表示我們「我們預測結果」的品質，
而這個就是我們所說的「「損失函數(loss functions)」」，下章節我們將仔細介紹。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 19】 Google ML - Lesson 5 - 接下來幾天作為範例的「訓練資料集介紹」、範例「資料集訓練前分析」(順便補上整個ML訓練流程，作為系列文章中的訓練階段參考)

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】18 - Lesson 4 - 什麼是ML模型?訓練的目標? 回歸模型(Regression model), 分類模型(Classification model)的運算

Thu, 19 Sep 2019 00:47:47 +0800

前言

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以「監督式學習(Supervised Learning)」為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

今天我們會直接進 Launching into Machine Learning 的第三章節~
第二章節剩下的歷史部分，因為我稍微想了一下內容，真的要寫起來應該可以寫成七篇文章，
然而因為很多都是比較舊的算法，我自己因為有研究正在做，會比較想先看新的作法，
所以我先細寫新章節的內容，一樣的，有機會我會回去補完那部分XD
(一天都可以寫一整個算法了XD)

Course - Launching into Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Optimization
- 「Introduction to Optimization」
  - 「Introduction」
- 「Defining ML Models」
  - 「Defining ML Models」
  - Introducing the Natality Dataset
- Introducing Loss Functions
- Gradient Descent
  - Gradient Descent
  - Troubleshooting a Loss Curve
  - ML Model Pitfalls
- TensorFlow Playground
  - Lab: Introducing the TensorFlow Playground
  - Lab: TensorFlow Playground - Advanced
  - Lab: Practicing with Neural Networks
  - Loss Curve Troubleshooting
- Performance Metrics
  - Performance Metrics
  - Confusion Matrix
- Module Quiz

1. Introduction to Optimization

課程地圖

Optimization
- Introduction to Optimization
  - Introduction

這個章節的名稱為Optimization，也就是說我們如何在訓練過程中優化我們的結果。

對於如何優化，我們在這的學習目標是：

評價model的表現，利用「loss functions」
以loss functions作為基準的使用「Gradient Descent」演算法
最佳化「Gradient Descent」演算法，使它的效率達到最高
使用「Performance Metrics」作商業決策

(ML的整個過程，在Optimization這一章節，我們會先跑其中前半的流程。)

2. Defining ML Models

課程地圖

Optimization
- Defining ML Models
  - Defining ML Models

在介紹怎麼決定ML模型之前，我們先對整個ML的整個「訓練過程」有點概念：

註：我們在【Day 3】- 什麼是ML? 為什麼ML最近才紅起來? 有提過，整個ML過程會有兩個stage
Stage1 - training
Stage2 - inference(推理)(也有些人稱為prediction(預測))
所以這邊的「ML的整個訓練過程」，只有指Stage1的部分，
並不是訓練完整個ML的過程就結束了。

★ML的整個「訓練過程」：

定義 ML models -> 決定模型
介紹 Loss Functions -> 「訓練過程中」，我們評估「目前訓練當下」好壞的依據
梯度下降法 (Gradient Descent) -> 依據評估決定訓練的修正方向
使用 TensorFlow Playground -> 視覺化的看上述的變化過程
訓練結果的表現 Performance Metrics -> 「訓練結束後」，“外部"評估我們的訓練結果如何

那開始來介紹 ML模型吧！

2.0. ML模型是什麼? 訓練目標是什麼?

ML模型簡單說就是個數學函數，我們透過「修改參數」使等式盡量成立(接近目標)，

自己的註：y=Ax+B, 我們去努力試出A, B是什麼 (「修改參數」指的就是修改A, B)

而在ML模型裡面，參數也有分成「parameters」與「hyper-parameters」，

「parameters」 : 隨著模型訓練的過程中不斷變化的(實數)變數
「hyper-parameters」 : 開始訓練前就設定好的變數，之後開始訓練也不會變。

而依照歷史的變化，線性模型(linear models)是最早被使用的ML模型，
甚至到現在仍然是一種重要且被廣泛使用的模型。

我們在ML模型中所做的事情，就是不斷調整變數(parameters)，
使所有作為我們input的「feature」，都能透過這個模型，output吻合訓練目標「label」。

再來我們要講ML模型會有哪些種類，
我們前兩天的辛苦介紹 Regression and Classification 這兩種問題的定義就是為了這邊使用：

如果不清楚 Regression and Classification 問題是什麼與有什麼差別，
詳細介紹可以先參考前面兩天的文，我們這裡直接拿結論的表格，

問題種類	「regression problem」(回歸問題)	「classification problem」(分類問題)
答案(label)特性	預測的答案(label)為「連續」值	預測的答案(label)為「非連續」值
利用資料的方式	我們使用數學函數組合不同的「features」，預測出一個「連續函數」作為我們結果的「label」	我們用「features」創造一個決策邊界，這個邊界幫助我們區分(分類)出結果「label」
訓練目標	最小化「預測的結果」與「實際的結果(「label」)」的誤差	最小化「誤分類(misclassification)」的數量，也就是「預測的分類」與「實際上的分類(「label」)」的誤差要為最小。
常用的計算誤差方法	均方差(mean squared error)	交叉熵(cross-entropy)
學習類型	監督式學習(Supervised Learning)	監督式學習(Supervised Learning)
使用的ML模型	「Regression model」(回歸模型)	「Classification model」(分類模型)

我們這邊只看最後一行，回歸問題用回歸模型解，分類問題用分類模型解。(滿自然而然的吧XD)
這邊就是要來實際講我們做了什麼「數學運算」，來解決這兩類問題。

2.1. 「Regression model」回歸模型

我們將上述在ML模型中所做的事情數學化，可以簡單表示成 y = mx + b，

x是input，也就是我們參考的「feature」
y是output，也就是我們訓練的目標「label」
我們透過調整b(bias)、m(weight、權重)，使我們方程式能接近我們想要的結果

而這個概念示範雖然只有二維空間，但只要知道「labels」與「features」之前的關係，
我們可以將這概念任意拓展到更高的維度，
所有的inputs(「features」)經過我們的model，就會產生對應的outputs(「labels」)。

也就是說，我們可能可以建立一個模型，只要給他所有的inputs(「features」)，
他就會吐出所有你想知道的outputs(「labels」)。

當我們增加input的維度(也就是同時輸入更多「features」)，
我們上述所說的斜率m，也必須因此變成n維度，我們把這個m稱作「權重(weight)」

視覺上的表示，在原本的一條線變成n維度的同時，
這時原本我們所說的「斜率(m)」也變成了「超平面(ω, Omega)」，如上面的右圖。

同時我們也思考一下，原本的式子 y = mx + b，由於此處變多維空間，
我們改表示成 y = Xω + b，X 因為輸入變多了，所以變成多維值
所以 ω與b 應該也要變成更高維的值，才能繼續使等式成立。

自己的註：

X 代表所有inputs(「features」)
ω 為「權重(weight)」
y 依然是我們訓練的目標「labels」
b 「偏差值(bias)」，調整用的參數

我們稍微想一下，X如果變成二維向量(x1,x2)，
output也變成多維(y1,y2)，也就是同時預測多個項目，
先看b，b需要變成高維(b1,b2)才能維持計算等式，
而ω也是，至少也要變成二維矩陣才能算啊!

★ 自己的一些小結論：

線性回歸模型的例子看起來比較直觀，重點就是在解 y = Xω + b 中的 ω與b，
X(「features」)與 y(「labels」) 我們一開始都已經有了，只差解出ω與b，
而我們所說的訓練就是在調整模型裡面的所有參數。

2.2. 「Classification model」分類模型

分類模型相對比較沒有回歸模型那麼直覺，
回歸模型就是找出 y = Xω + b 中的 ω與b後，我們就能用X來預測y了，
但我們要怎麼樣用線性模型(linear model)做分類呢? 連續數字要怎麼做分類?

為了討論怎麼樣將我們模型output的連續數字轉換成分類，
我們需要將這些結果做「encode」，也就是將這些資料做成員編碼，
來看他是不是屬於這個class的成員。

最簡單的編碼方式就是二進位編碼，

自己的註：如果你有什麼特性一類、沒有那個特性一類，
(在【Day 17】多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同也有用過這樣的方法。)

當然有很多數據可能會需要分類成兩個以上，這方法依然有效，只要將每個類視為獨立的類即可。

自己的註：例如 (A,非A)，(B,非B)、 (C,非C)，
這邊有點小細節，獨立的類不是像之前分成 (~15%, 15%~~25%, 25%~~)，
應該後面會介紹，沒有我再自己補XD

使用二進位編碼還有個好處，我們能更容易的管理我們的任務，
但以下的討論我們先以分兩類為主，這樣比較容易解釋。

我們要找到一種方法，「依據二進位分類規則」找到我們的目標線，
一個簡單的方法就是單純依靠輸出的結果。

以圖來看，這條線就像是將我們的圖片分成兩大塊，在線上方的與線下方的各一區，
我們就稱這條線為決策邊界(decision boundary)，區隔出這兩類。
而且，決策邊界(decision boundary)不只是描述目前的資料，
他的目標是預測我們還沒看見的資料，

而這種可以擴展預測到還沒看見的資料的特徵，我們稱之為「泛化(generalization)」，
「泛化(generalization)」的過程對ML相當重要，我們後續也會有很多的討論。

★ 自己的一些小結論：
這段我真的看超級久……，我看完「Classification model」一直在想說，
所以你不是沒講到怎麼找到這條分類線嗎?
後來想了大概快三小時，我才想通

這個階段主要只在介紹怎麼生出一條線，就有點像我只是在「任意」決定 y=ax+b 的a,b而已，至於怎麼「找到」(或說是「修正出」)這條線，那是後面「修正階段」的事情
原來我自己的文章版本中(現在改掉了)，我自己寫的註是「自己的註：如果你有什麼特性就是0、沒有那個特性就是1」，這是根據前面章節使用的方法延伸過來的，但我就是被這例子誤導，我後來又看了無數遍影片內容才懂，原來他指的分類是，「如果你有什麼特性一類、沒有那個特性一類」，這個差別在哪? 也就是說當任意線被決定後(例如：y=3x+2好了)，我們可以直接將「y > 3x+2」與「y < 3x+2」分成兩類，而我一直在想是0、是1的問題才卡那麼久......真的是被誤導很久不過想出來的感覺也滿爽的啦XD (希望我想的真的是對的XD)

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 18】 Google ML - Lesson 4 - 什麼是ML模型？訓練的目標? 回歸模型(Regression model), 分類模型(Classification model)的運算

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】17 - Lesson 3 - 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同

Wed, 18 Sep 2019 00:44:34 +0800

今天的內容會很數學……不過我盡量試著用自己的方式講的比較簡單一點了，
裡面附帶一點我自己比較ㄎㄧㄤ的理解方式，但不一定完全正確就是XD，
希望大家能比較舒服的看完比較數學的這部分(?)

前言

我們繼續新課程 Launching into Machine Learning 的第二章~

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以監督式學習(Supervised Learning)為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

Course - Launching into Machine Learning

第二章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Practical ML
- Introduction to Practical ML
  - Introduction
- 「Supervised Learning」
  - Supervised Learning
  - 「Regression and Classification」
- ML History
  - Short History of ML: Linear Regression
  - Short History of ML: Perceptron
  - Short History of ML: Neural Networks
  - Short History of ML: Decision Trees
  - Short History of ML: Kernel Methods
  - Short History of ML: Random Forests
  - Short History of ML: Modern Neural Networks
  - 討論提示: Modern Neural Networks
- Module Quiz

Regression and Classification

課程地圖

Practical ML
- Supervised Learning
  - Regression and Classification

0. 一樣也先來個小整理，不過今天還有其他內容哦

★ 均方差(mean squared error) 與交叉熵(cross-entropy) 的比較

常用的計算誤差方法	均方差(mean squared error)	交叉熵(cross-entropy)
使用問題種類	「regression problem」(回歸問題)	「classification problem」(分類問題)
訓練目標	最小化「均方差」	最小化「交叉熵」
一維畫線(解)依據	只要能使最小距離就好(平方最小)	線畫下去就是要分好兩類資料，不可以有人跑錯邊(誤差會指數成長)
我自己的理解方式(不完全正確)	計算距離，所以不管在線的哪邊沒差，離線平均都近一點就能最小惹	分類正確沒事，分類錯誤非常完蛋!!! 只要有分錯邊，誤差瘋狂上升

1. 「結構化」資料與「非結構化」資料

今天我們先討論一下昨天來不及討論的「資料」部分，
我們之前所看到的表格資料我們都可以稱之為「結構化」的資料，
-> 自己的註：也就是「有行有列有數據的表格」都可以算。

「結構化」資料是最常見的ML資料類型。

對比「結構化」資料，自然就有「非結構化」資料，
-> 例如：圖片、音樂、影片…… 都屬於非結構化資料。

稍微想一下應該就會知道… 這些資料應該都沒有直接的「數據」好分析吧(?)

我們來看一下上圖，上圖是一個有關出生率的公開資料(BigQuery中找得到)
我們來思考一個問題：我們能不能預測嬰兒什麼時間會出生?
老樣子，我們還是把該確定的東西確定一下，

預測的目標「label」：嬰兒出生的時間(週)
參考的依據「features」：我們這邊可以選擇媽媽的年齡、體重的變化…
因為嬰兒出生的時間是連續值，所以這是個「regression problem」

接下來，我們可以很容易的對 BigQuery 下 SQL select 找出你要的資料，
這樣你的ML準備的資料就齊全了。

由「結構化」資料預測事情是非常平常且頻繁的，而且也比較容易完成。

我們再看一個例子，我們可以更清楚「結構化」資料的方便性。

我們當然也可以用這表格來預測其他事情。
例如，如果我們想預測嬰兒的體重呢?

預測的目標「label」：嬰兒的體重
參考的依據「features」：除了嬰兒體重之外的資料皆可以作為參考
因為嬰兒的體重是連續值，所以這是個「regression problem」

這樣的預測可以幫助醫院提早診斷新生兒會不會有體重過輕的可能，
可以提早替嬰兒準備恆溫箱等等相關的準備，因此能夠預測嬰兒的體重十分重要。

2. 思考問題

Q：對於這個資料集，你覺得他會適合用「linear regression(線性回歸)」還是「linear classification(線性分類)」分析?

答案是，兩個都很適合！

我們來思考一下為什麼，我們仔細觀察這個資料的分布，
如果我們先拿掉資料的顏色與類別(class)，沒有任何幫助我們理解數據的線，如下圖

這個資料感覺可以用兩條斜線可以貫穿其中，
而線旁上下的偏移點可以視為雜訊(noise)，
只要能這樣判斷，基本上他就是個很適合用linear regression分析的例子。

我們想預測的值是Y，我們替這張圖加了一些不同的顏色與形狀，
使這個數據的結果明顯的呈現兩條線的分佈，
兩條線有不同的斜率與截距、而這兩條線的noise又各自有不同的標準差。

我們將我們所預測的線真的加進圖中，我們可以更明顯感覺到他們的線性關係，即使有些小雜訊(noise)，這些線就是能使用「linear regression」作為分析的證明。

2.1 一維的線性回歸「linear regression」

我們先看一維「linear regression」的分析結果，我們添加一條綠線，
這條綠線表示我們剛剛所認定的藍線與紅線的「linear equation」(線性組合)

也就是「藍線」與「紅線」可以組合成「綠線」。 (經過一些數學運算)
例如： A(ax+b) + B(cx+d) = ex+f 的感覺 <- 我盡力表達線性組合的概念了XD

注意：這條綠線不管是離 class A 或 class B 皆有段距離。

這條綠線，換個角度說，我們也可以說他將整個空間分佈成兩等分。

原因是因為我們經由回歸計算，我們就是在做「最小化均方差」的損失，
假使我們計算正確，兩個類別(class)對於這條線應該會有相等的拉力，
也就是在這時我們可得到均方差(mean squared error)最小值，
大約會使他們的平均值等距。
註：前面的課程有提到「linear regression」的學習目標就是在做「最小化均方差」，如果忘記可以回前面章節看

因為每個類別(class)有不同的斜率與截距，比起對整體做「linear regression」，
我們對於個別兩個類別(class)做「linear regression」效果應該會更好，
也許就是我們這裡所繪製的藍線與紅線。

★ google講到這邊沒有做一個小結，我自己稍微做點小結論：

這邊自己稍微解釋一下，「linear regression」基本上是預測一條線，
使我們能依照「一個」「feature」(X)去做結果的預測「label」(Y)，
(這裡要特別強調「一個「feature」」，因為等等二維就不是一個了)
也就是遵照這條線的規則，因此我們能得到預測答案，
目前我們會依照我們所有可參考的東西，依照綠色線的預測說是我們預測的結果。
但很明顯的，如果可以用兩條線(藍線與紅線)來做預測，預測誤差一定會小更多。

2.2 二維的線性回歸「2D linear regression」

剛剛我們做了一維的線性回歸，現在我們來做看看二維的線性回歸：

二維的線性回歸，也就是說我們不再只依靠一個「feature」去預測「label」，
也就是不再只靠X去計算出Y，
這裡我們使用兩個「feature」，「X」與「資料所對應的class」，去預測「Y」

「資料所對應的class」，我們先下個他在圖上的定義：

如果該資料屬於A類別，他的特徵值就是1
如果該資料屬於B類別，他的特徵值就是0

所以我們就可以畫出下面這張圖：

二維的線性回歸(「2D linear regression」)結果，
不會再是一條「線」，而是由線變成了「平面」。

老樣子我們還是確認一下我們現在的資料：

我們想預測的目標「label」：Y
我們作為參考的依據「features」有兩個，X 和 class

兩組不同的數據之間形成了一個平面，
這兩組數據現在因為有多了一個類別(class)的維度而分開，
我們把最適合 A class 與 B class 的線加入圖中(紅藍線)，
我們也一併把一維的線性回歸結果線(綠線)也畫進圖中，

注意：這個平面並沒有包含上面所說的任何一條線，
因為資料的雜訊(noise)使這些線傾斜於這個平面，
反過來說，如果沒有這些雜訊(noise)，這三條線應該會完美的皆在這平面上。

★ google講到這邊沒有做一個小結，我自己稍微做點小結論：

二維的線性回歸(「2D linear regression」)解從「線」，變成了「平面」，
換句話說，我們提供兩種「features」(X 和 class)，能得到一個預測結果「label」(Y)，
數學上空間中的平面只要給其中兩點，就可以找到剩下一點，所以我們說解是「平面」。
.
這個解答比一維的線性回歸好非常多，還記得我們在一維線性回歸得到的答案「綠線」，
不管怎麼看都與所有的資料點有段距離嗎?
我們甚至還說，如果可以用「藍紅線的兩種線性解」分別表示答案，還能得到比「綠線」更好的預測
.
那為什麼這個二維的線性回歸解答比較好?
因為這個平面找得到的Y，離實際上真實資料點超近啊！(點到平面的直線距離)
你可能會問為什麼?
因為這題目需要參考兩個參數(X 和 class)能有更好的預測結果(Y)，
舉例子就是：a+b=c，但我今天只給a，要預測c多少…
不是不能預測(至少我們還掌握一半的關鍵a)，只是誤差很多而已嘛…..XD
.
當然很多情況當然可能參考更多的參數，也就是更多的「features」能做到更好的預測。
那就是更高維的線性回歸問題了。

2.3 線性分類「linear classification」

我們的思考問題還沒有討論完呢XD，
既然我們都說不管是「linear regression(線性回歸)」還是「linear classification(線性分類)」都很適合分析，那當然我們也要解釋為什麼「linear classification」線性分類也適合。

但說到這，相信讀者應該也知道答案了，在剛剛的分析中，我們可以看到「線性回歸」所畫出來的線，
也替我們做了一個非常好的資料分離，所以自然這問題使用「linear classification」(線性分類)也很合適。

但我們想討論的是，這條一維的線性回歸最佳解，
會恰好等於我們的「linear classification」(線性分類)問題的最佳決策邊界嗎?

自己的註：決策邊界昨天有提過，簡單來說就是可以區分兩類別(class)的決定線。

我們以一維線性分類器所計算出來的結果，劃出圖上的黃線。

-> 注意：我們可以發現黃線非常接近綠線，但不完全等於。

想想看為什麼會這樣呢?

答：因為計算誤差方式的不同，也可以說是最小化誤差的目標不同。

我們直接搬之前我做的表好了XD

問題種類	「regression problem」(回歸問題)	「classification problem」(分類問題)
答案(label)特性	預測的答案(label)為「連續」值	預測的答案(label)為「非連續」值
利用資料的方式	我們使用數學函數組合不同的「features」，預測出一個「連續函數」作為我們結果的「label」	我們用「features」創造一個抉擇邊界，這個邊界幫助我們區分(分類)出結果「label」
訓練目標	最小化「預測的結果」與「實際的結果(「label」)」的誤差	最小化「誤分類(misclassification)」的數量，也就是「預測的分類」與「實際上的分類(「label」)」的誤差要為最小。
常用的計算誤差方法	均方差(mean squared error)	交叉熵(cross-entropy)
學習類型	監督式學習(Supervised Learning)	監督式學習(Supervised Learning)

注意到「回歸問題」與「分類問題」學習目標是不同的嗎?

分類問題的訓練目標是「最小化交叉熵(cross-entropy)」
而回歸問題的訓練目標是「最小化均方差(mean squared error)」

而這兩個計算誤差的差別…先不講太深的數學，
但簡單的來說，均方差(mean squared error)存在兩次處罰(quadratic penalty)的計算，
他在算實際點(「label」)與我們預測點(「prediction」)的歐氏距離(euclidean distance)，
並試著將這距離最小化

就先簡單理解，他有平方嘛，平方不就誤差被放大(更小)了嗎? <- 至少我先這樣簡單理解XD

分類問題所使用的交叉熵(cross-entropy)，

實際分類(「label」)與我們預測分類(「prediction」)結果相同，處罰會線性的成長(等於幾乎沒差)
如果實際分類(「label」)與我們預測分類(「prediction」)是相反的，處罰會指數性的成長

我是理解成，才這麼簡單分成兩類而已?! 你對了就沒事，你錯了你就超級完蛋!!! <- 至少我是先這樣理解XD

所以我們可以仔細看看剛剛的圖，我們分類問題的決策邊界線感覺更在綠色的上面一點，
為什麼? 因為你看綠色線上有些紅點資料正在上面，
綠線上也有些紅點的雜訊(noise)分佈，甚至有些紅點還越線跑到綠色那邊?!?!
照我們剛剛上面的結論 (或者用我的理解也好XD)，

我大分類問題使用交叉熵(cross-entropy)，你對沒事，你錯你就超級完蛋!!!!
我怎麼可能允許你在我分界上? 還甚至是越界!!! 不可能!!!

數學一點的講法就是，這個越界造成了非常大的誤差!!!
會違背我們的學習目標「最小化交叉熵(cross-entropy)」

而對於線性回歸(「linear regression」)來說，雖然誤差是二次方的，
(二次方也表示，你在線的這側或對側，只要距離一樣對我來說意義都一樣(平方嘛)。)

只要「距離盡可能的小」，就可以滿足線性回歸的學習目標「最小化均方差(mean squared error)」

不過最後我們還是要提到，這個資料集，
不論使用linear regression或linear classification來分析皆非常適合，
不同於我們之前所預測的 tips 和 bills 的那個資料集(前面章節提過那個)，
這問題反而只適用linear regression，不然就是非線性的分類 non-linear classification。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 17】 Google ML - Lesson 3 - 多維度線性回歸解(N-D Regression), 交叉熵(cross-entropy)與均方差(MSE) 作為誤差函數計算所帶來的不同

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】16 - Lesson 2 - 監督式學習(Supervised Learning)中兩大問題 - Regression & Classification(回歸與分類)

Tue, 17 Sep 2019 00:42:42 +0800

前言

今天我們繼續新課程 Launching into Machine Learning 的第二章~

複習一下ML的整個訓練過程

因為ML模型的訓練階段章節內容會分很多部分，我們要先確認好自己在哪個階段，
以免吸收新內容卻不知道用在內容的什麼地方。

★ML的整個「訓練過程」：這裡以監督式學習(Supervised Learning)為例

階段	要做的事情	簡介
訓練前	決定資料集與分析資料	你想要預測的是什麼資料? 這邊需要先知道「example」、「label」、「features」的概念。介紹可參考：[【Day 15】](https://ithelp.ithome.com.tw/articles/10215499)，而我們這次作為範例的訓練資料集介紹在[【Day 19】](https://ithelp.ithome.com.tw/articles/10217666)。
訓練前	決定問題種類	依據資料，會知道是什麼類型的問題。「regression problem(回歸問題)」? 「classification problem(分類問題)」? 此處可參考：[【Day 16】](https://ithelp.ithome.com.tw/articles/10216585)、與進階內容：[【Day 17】](https://ithelp.ithome.com.tw/articles/10215946)
訓練前	決定ML模型(ML models)	依據問題的種類，會知道需要使用什麼對應的ML模型。「回歸模型(Regression model)」? 「分類模型(Classification model)」? 此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)，「神經網路(neural network)」? 簡介於：[【Day 25】](https://ithelp.ithome.com.tw/articles/10221227)
	(模型裡面的參數)	ML模型裡面的「參數(parameters)」與「超參數(hyper-parameters)」此處可參考：[【Day 18】](https://ithelp.ithome.com.tw/articles/10217431)
訓練中 - 調整模型	評估當前模型好壞	「損失函數(Loss Functions)」：使用損失函數評估目前模型的好與壞。以「MSE(Mean Squared Error)」, 「RMSE(Root Mean Squared Error)」, 「交叉熵(Cross Entropy)」為例。此處可參考：[【Day 20】](https://ithelp.ithome.com.tw/articles/10218158)
訓練中 - 調整模型	修正模型參數	以「梯度下降法 (Gradient Descent)」為例：決定模型中參數的修正「方向」與「「步長(step size)」」此處可參考：[【Day 21】](https://ithelp.ithome.com.tw/articles/10218980)
訓練中 - 調整腳步	調整學習腳步	透過「學習速率(learning rate)」來調整ML模型訓練的「步長(step size)」，調整學習腳步。(此參數在「訓練前」設定，為「hyper-parameter」)。此處可參考：[【Day 22】](https://ithelp.ithome.com.tw/articles/10219458)
訓練中 - 加快訓練	取樣與分堆	設定「batch size」，透過「batch」從訓練目標中取樣，來加快ML模型訓練的速度。(此參數在「訓練前」設定，為「hyper-parameter」)。與「迭代(iteration)」,「epoch」介紹。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 加快訓練	檢查loss的頻率	調整「檢查loss的頻率」，依據「時間(Time-based)」與「步驟(Step-based)」。此處可參考：[【Day 23】](https://ithelp.ithome.com.tw/articles/10219945/draft)
訓練中 - 完成訓練	(loop) -> 完成	重覆過程(評估當前模型好壞 -> 修正模型參數)，直到能「通過「驗證資料集(Validation)」的驗證」即可結束訓練。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
訓練後	訓練結果可能問題	「「不適當的最小loss?」」此處可參考：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)
訓練後	訓練結果可能問題	「欠擬合(underfitting)」?「過度擬合(overfitting)」? 此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 性能指標	「性能指標(performance metrics)」：以「混淆矩陣(confusion matrix)」分析，包含「「Accuracy」」、「「Precision」」、「「Recall」」三種評估指標。簡介於：[【Day 28】](https://ithelp.ithome.com.tw/articles/10222317)、詳細介紹於：[【Day 29】](https://ithelp.ithome.com.tw/articles/10222697)
訓練後	評估 - 新資料適用性	「泛化(Generalization)」：對於新資料、沒看過的資料的模型適用性。此處可參考：[【Day 26】](https://ithelp.ithome.com.tw/articles/10221245)
訓練後	評估 - 模型測試	使用「「獨立測試資料集(Test)」」測試? 使用「交叉驗證(cross-validation)」(又稱「bootstrapping」)測試? 此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)
	(資料分堆的方式)	訓練前 - 依據上方「模型測試」的方法，決定資料分堆的方式：訓練用(Training)、驗證用(Validation)、測試用(Test)。此處可參考：[【Day 27】](https://ithelp.ithome.com.tw/articles/10222043)

Course - Launching into Machine Learning

第二章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Practical ML
- Introduction to Practical ML
  - Introduction
- 「Supervised Learning」
  - Supervised Learning
  - 「Regression and Classification」
- ML History
  - Short History of ML: Linear Regression
  - Short History of ML: Perceptron
  - Short History of ML: Neural Networks
  - Short History of ML: Decision Trees
  - Short History of ML: Kernel Methods
  - Short History of ML: Random Forests
  - Short History of ML: Modern Neural Networks
  - 討論提示: Modern Neural Networks
- Module Quiz

Regression and Classification

課程地圖

Practical ML
- Supervised Learning
  - Regression and Classification

今天我們要來更細部的解說Regression與Classification的差別，昨天已經有先做簡單的比較了。

一樣先講結論，想看詳細說明或例子再往下拉吧~

不論是regression problem或classification problem，
皆是屬於監督式學習(Supervised Learning)的問題。

問題種類	「regression problem」(回歸問題)	「classification problem」(分類問題)
答案(label)特性	預測的答案(label)為「連續」值	預測的答案(label)為「非連續」值
利用資料的方式	我們使用數學函數組合不同的「features」，預測出一個「連續函數」作為我們結果的「label」	我們用「features」創造一個決策邊界，這個邊界幫助我們區分(分類)出結果「label」
訓練目標	最小化「預測的結果」與「實際的結果(「label」)」的誤差	最小化「誤分類(misclassification)」的數量，也就是「預測的分類」與「實際上的分類(「label」)」的誤差要為最小。
常用的計算誤差方法	均方差(mean squared error)	交叉熵(cross-entropy)
學習類型	監督式學習(Supervised Learning)	監督式學習(Supervised Learning)

一樣的我們再整理一下：

「Supervised Learning」(監督式學習)	「Unsupervised Learning」(非監督式學習)
有預設可能的答案(label)，用「資料」做label的預測(學習目標)	無預設可能的答案(label)，通常是將「資料」做分組(分群)，再來依據分佈的結果說明「發現(學習目標)」。
預測問題可能的答案(predict)	描述問題(資料)的分佈現象(description)

Regression problem

一樣我們先從昨天的例子來看，
我們想從其他資訊「features」預測tip的價格
tip是我們的預測的目標，也就是我們的「label」
也因為tip是「連續值」，所以這是個「regression problem」。

在regression problem中，我們的目標是使用數學函數去組合不同的「features」，
這樣我們就能預測出一個連續值作為我們結果的「label」。

我們先稍微把問題簡化一下，假設現在只考慮一個「feature」: 帳單(bill)
而這個問題的數學函數結果正是上圖中顯示的綠線，我們可以從綠線看出bill與tip的關係。
更近一步的我們就可以從bill去預測tip會有多少。

而現在這題目因為只考慮一種「feature」，只有二維的線性關係，線性也表示著連續的結果。
我們可以考慮更多的「features」，這個結果也會更多維度。

在regression problems中，我們的目標是最小化我們「預測的結果」與「實際的結果(「label」)」的誤差，
我們常用的計算誤差的方法叫做均方差(mean squared error)

Classification problem

一樣也是昨天的問題，另外一個我們提到的例子，
我們想從其他資訊「features」預測「顧客的性別」
「顧客的性別」是我們的預測的目標，也就是我們的「label」
也因為「顧客的性別」是「不連續值」，所以這是個「classification problem」。

我們看與上面一樣的圖，我們想用tip和bill去試著預測顧客的性別，
但我們會發現這是個不好的idea，我們的仔細看這張圖裡面，
男女的分佈非常的不明顯，所以結果一定也不太好。

這個例子就很好說明了當我們想預測的東西「不是連續」的差別，
性別是一個不連續的資料，當作為我們的預測的目標(「label」)時，
這就是一個「classification problem」

在classification problems中，我們使用「features」預測的結果不會是一個連續的值。
我們用「features」創造一個抉擇邊界，這個邊界幫助我們區分(分類)出結果「label」

在這個例子中，一樣我們也會畫出一條線，而這條線的兩側會代表著兩種不同的類別(class)，
例如隨便假設tip比0.18倍的bill值還大(紅線)，我們就預測這位顧客可能是為男性，
(當然在這個例子中我們可以看出這樣的預測結果明顯是錯誤的，我們可以看到有很多反例)

我們知道在這個例子中抉擇邊界(紅線)應該不會是線性的(non-linear)，
在這張圖中我們取黃線部分的結果會是更好的，問題是我們要怎麼要確定黃線比紅線好?

在classification problems，我們的目標是最小化「誤分類(misclassification)」的數量，
也就是我們「預測的分類」與「實際上的分類「label」」的誤差要為最小。
我們常用的計算誤差的方法叫做交叉熵(cross-entropy)。

另外，就算是預測tip，如果我們不用明確知道tip的值，
我們也可以用「classification problem」方式解，
假設我們可以將tip分成低中高三個等級：

高：高於total bill的25%
中：介於total bill的15%~25%之間
低：低於total bill的15%

換句話說，我們把價格用區間的方式「離散化」了，
現在「tip等級分類」的問題就是一個classification problem，
一般來說，原來的連續feature都可以被「離散化」成為分類特徵(categorical feature)

當然，反過來將分類特徵(categorical feature)嵌入至連續空間(continuous space)也是做得到的，
這我們會在後面的章節討論，
但不論如何，regression與classification問題皆是「預測問題」，
對比於unsupervised problems的「描述問題」，方向是截然不同的。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 16】 Google ML - Lesson 2 - 監督式學習(Supervised Learning)中兩大問題 - Regression & Classification(回歸與分類)

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】15 - Lesson 1 - Supervised Learning 與 Unsupervised Learning 監督式學習與非監督式學習的介紹和比較

Mon, 16 Sep 2019 00:36:06 +0800

前言

今天要來進新課程 Launching into Machine Learning ~

我們先來介紹一下這課程裡面有哪些章節，這次的課程一共有四章~

Launching into Machine Learning

第一章節：

Introduction
- Introduction to Launching into ML
  - Introduction
  - Intro to Qwiklabs

第二章節：

Practical ML
- Introduction to Practical ML
- Supervised Learning
- ML History
- Module Quiz

第三章節：

Optimization
- Introduction to Optimization
- Defining ML Models
- Introducing Loss Functions
- Gradient Descent
- TensorFlow Playground
- Performance Metrics
- Module Quiz

第四章節：

Generalization and Sampling
- Introduction to Generalization and Sampling
- Generalization
- Sampling
- Demo of Splitting Datasets in BigQuery
- Lab: Creating Repeatable Dataset Splits
- Lab: Exploring and Creating ML Datasets
- Module Quiz

比較歷史的部分我會先跳過~
或者先只帶到與最近的ML模型重疊的知識部分

由於第一章介紹比較實驗，我們先從第二章開始吧~

Course - Launching into Machine Learning

第二章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Practical ML
- 「Introduction to Practical ML」
  - 「Introduction」
- 「Supervised Learning」
  - 「Supervised Learning」
  - Regression and Classification
- ML History
  - Short History of ML: Linear Regression
  - Short History of ML: Perceptron
  - Short History of ML: Neural Networks
  - Short History of ML: Decision Trees
  - Short History of ML: Kernel Methods
  - Short History of ML: Random Forests
  - Short History of ML: Modern Neural Networks
  - 討論提示: Modern Neural Networks
- Module Quiz

1. Introduction to Practical ML

課程地圖

Practical ML
- Introduction to Practical ML
  - Introduction

這一章節要來介紹實際的ML內容與ML的歷史，
我們主要會講到以下重點：

區分ML問題的主要類別，以及學習如何實作
學習近幾年機器學習是如何進化的歷史，學習這段過程中運用到的技巧與技術
知道為何最近深度學習這領域會如此受歡迎，並參考google使用ML於自家產品中的例子

2. Supervised Learning

課程地圖

Practical ML
- Supervised Learning
  - Supervised Learning

Supervised Learning 與 Unsupervised Learning 是兩種最常見的ML模型，也是兩種不同的ML演算法，
這裡我們先比較一下這兩種的差別。

先講結論： Supervised Learning 與 Unsupervised Learning 比較

這表格我自己聽完這堂課做的，有興趣看課程內容筆記再往下拉，有很多例子：

「Supervised Learning」(監督式學習)	「Unsupervised Learning」(非監督式學習)
有預設可能的答案(label)，用「資料」做label的預測(學習目標)	無預設可能的答案(label)，通常是將「資料」做分組(分群)，再來依據分佈的結果說明「發現(學習目標)」。

然後 Supervised Learning 可再細分兩種不同的model：

「regression model」(回歸模型)	「classification model」(分類模型)
預測的答案(label)為「連續」值	預測的答案(label)為「非連續」值

這裡有些中文比較細膩的地方，是我自己找資料的心得：

Supervised Learning：做分類、回歸
Unsupervised Learning：做分群(分組)

特別注意「分類」與「分群(分組)」的不同：

分類	分群(分組)
你「會」知道那個「類」的名字，我們依照這個「類的準則」分類	你「不會」知道那個「群(組)」的名字，我們讓他們自己找相似的一組
例如：我有身高體重，我想預測是「男生女生」	例如：我有一堆人的資料，我想分看看這群人中有沒有哪一小群有相似的特性，可能都喜歡吃日式料理的一群、吃韓式料理的一群...... (注意這個「結果」是分完後才去解釋的，我們並不像男女分類一樣一開始就知道要「依照某個準則分類」)
「Supervised Learning」(監督式學習)	「Unsupervised Learning」(非監督式學習)

以下課程就是有很多很多的例子……

2.1 Unsupervised Learning 非監督式學習

例圖：Unsupervised Learning 的例子

我們想透過這圖片了解的是 income(薪水) 和 tenure(年資) 之間的關係，
並對員工進行分組(分群)，以了解是否有些人成長比較快速。

「unsupervised問題有個很重要的特性在於「沒有一個基本的答案(結果)」。」

以這個問題來說，對於所有的人而言，
我們不是一開始就知道他的薪水與年資是在比較快還是比較慢成長的，
我們是在分析結果後才發現所有人的分布呈現如上圖，「看到圖片時」才知道有兩大分佈。
特別留意順序：先看到圖片分佈，才知道有人屬於比較快的、有人屬於比較慢的(也是這時才定義結果)。

因此，unsupervised問題最主要是在解「發現」的問題，
我們想知道「所有的數據」能不能「被分出組別」來。

2.2 Supervised Learning 監督式學習

同樣的我們也來看一下 supervised問題，

「supervised問題重要的特性在於「我們有預設的答案(label)」。」

而 supervised Learning 能預測的問題答案有兩種模型：

「regression model」 : 預測的答案為「連續」值。
「classification model」 : 預測的答案為「不連續」值。

例圖：supervised Learning 的例子

我們想透過這圖片了解的是 Bill(帳單) 和 Tips(小費) 之間的關係，
來看看我們能不能從一些跡象預測 Tips(小費) 是多少?

我們先將上方的資料表格化一下：

※名詞解釋：

「example」 : 每一橫行各代表一個example。
「label」 : 任何一個直行，表示我們想預測的目標。
「features」 : 除了「label」外的其他直行，我們參考這些數據來預測label。

回到剛剛的問題，我們想要預測 Tips(小費) 是多少?

我們想「預測的目標(label)」就是「Tips(小費)」的那個直行
而「除了Tips(小費)之外的直行」，皆為我們的「features」
回到上面的兩種問題模型，從表格我們可以看出Tips(小費)為「連續值」，所以這會是一個「regression model」。

我們可以使用一行或多行的「features」試著去推測出「label」。
在 supervised Learning 中，要使用多少「features」去預測「label」並沒有數量上的限制。

我們以同樣的問題來看另外一個例子，如果今天我們想預測是「顧客的性別」呢?

我們想「預測的目標(label)」就是「顧客的性別(sex)」所在的直行
而「除了顧客的性別(sex)之外的直行」，皆為我們的「features」
回到上面的兩種問題模型，從表格我們可以看出顧客的性別(sex)為「不連續值」，所以這會是一個「classification model」。

同樣的，我們可以使用一行或多行的「features」試著去推測出「label」。
一樣要使用多少「features」去預測「label」並沒有數量上的限制。

這邊我們再練習個幾題，確認大家到目前的觀念是清楚的：

我們想要預測狗的品種，我們應該使用什麼 model? label是? features是?

狗的種類為非連續值，使用「classification model」
狗的品種是我們的預測目標，為「label」
其他狗的相關特徵都可以作為我們預測結果前的參考資料，為「features」

我們想要預測狗的體重，我們應該使用什麼 model? label是? features是?

狗的體重為連續值，使用「regression model」
狗的體重是我們的預測目標，為「label」
其他狗的相關特徵都可以作為我們預測結果前的參考資料，為「features」

另外我們舉個特別的例子，例如現在有間銀行想要預測交易是否是詐騙，我們可以怎麼做?
很直覺的我們應該會想，不就只是分成兩類? 「詐騙交易」與「非詐騙交易」嗎?
確實如此，但在現實中會有些問題，例如我們如何「絕對的」從我們的分析肯定一定是詐騙交易?
他可能符合某些「feature」與「example」相似，但也有些不相似，這樣就會有誤判的可能。
所以我們還是會發現有些特別的case會因為我們訓練的限制而陷入模稜兩可的狀況。

我們的模型會需要蒐集更多的資料來判斷這種目前可能會模稜兩可的問題，
因此在前面課程中的所提到的 human in the loop 的概念這時顯得十分重要，
更多資料就能夠幫助我們分辨更多這些介於模稜兩可之間的分類問題。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 15】 Google ML - Lesson 1 - Supervised Learning 與 Unsupervised Learning 監督式學習與非監督式學習的介紹和比較

參考資料

coursera - Launching into Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】14 - Lab 3 - Machine Learning APIs - (API實作篇) google圖片辨識, 語音辨識, 語言翻譯, 自然語言辨識(NL)

Sun, 15 Sep 2019 00:32:18 +0800

前言

我們來做 How Google does Machine Learning 的第二個lab~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

Chapter 1 - Introduction to specialization

【Day 2】- 讓你的ML在Google雲端平台運行的五大階段

Chapter 2 - What it means to be AI first

Chapter 3 - How Google does ML

Chapter 5 - Python notebooks in the cloud

Course - How Google does Machine Learning

第五章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Python notebooks in the cloud
- Module Introduction
- Cloud Datalab
  - Cloud Datalab
  - Demo: Cloud Datalab
  - Development process
  - Demo of rehosting Cloud Datalab
- Working with managed services
- Computation and storage
- Lab: Rent-a-VM
  - Intro to Qwiklabs
  - Intro to Renting-VM Lab
  - Lab: Rent-a-VM to process earthquake data
  - Lab debrief
- Cloud Shell
- Third wave of cloud
  - Third Wave of Cloud: Fully-Managed Services
  - Third Wave of Cloud: Serverless Data Analysis
  - Third Wave of Cloud: BigQuery and Cloud Datalab
- Datalab and BigQuery
  - Lab Intro: Analyzing data using Datalab and BigQuery
  - Lab: Analyzing data using Datalab and BigQuery
  - Lab Debrief: Analyzing Data using Datalab and BigQuery
- Machine Learning with Sara Robinson
  - ML, not rules
- Pre-trained ML APIs
  - Vision API in action
  - Video intelligence API
  - Cloud Speech API
  - Translation and NL
- 「Lab: Machine Learning APIs」
  - 「Lab: Pretrained ML APIs Intro」
  - 「Lab: Invoking Machine Learning APIs」
  - 「Lab Solution」

Lab: Machine Learning APIs

課程地圖

Python notebooks in the cloud
- Lab: Machine Learning APIs
  - Lab: Pretrained ML APIs Intro
  - Lab: Invoking Machine Learning APIs
  - Lab Solution

在這個lab中，我們將實作之前【Day 12】- google圖片辨識(Vision), 影片辨識(Video), 語音辨識, 語言翻譯, 自然語言辨識(NL) API功能總整理的API應用

我們會示範如何進行API串接，讓我們能直接使用google已訓練好的ML API來直接實現功能。

part 0 : (事前準備) 開啟 GCP console

請先參考【Day 9】- 每次在google雲端上開始lab前都要的事前準備與注意事項的內容，完成到運行中階段。

part 1 : (建立機器) 建立並執行 Cloud Datalab VM

Step 0 : 打開 Cloud Shell

如果不清楚 Cloud Shell 如何開啟，請參考【Day 11】- Cloud Shell 的介紹與 google雲的三代變化, 使用ML與一般演算法的比較與優勢

Step 1 : 首先我們要先知道我們的 compute zones 在哪，我們可以透過以下指令知道我們所有的 compute zones 位置，我們會在其中一個 compute zones 運行我們的 Datalab。

gcloud compute zones list

註：影片中的範例使用的是 U.S. Central。

Step 2 : 我們透過以下指令創建我們的 datalab VM。

datalab create mydatalabvm --zone <ZONE>

「」: 這個必須更改為Step 2中，我們所找到compute zones的名字。
依照影片中的範例，我們填入：「datalab create mydatalabvm –zone us-central1-b」

創建過程約需稍等五分鐘。

Step 3 : 創建過程中，可能會碰到如紅框處的問題(詢問ssh passphrase)。

第一個問題回答 “Y”
第二三個問題直接按 “Enter” return即可。

Step 4 : 直到看到下方處出現請你開啟 “Web Preview” 的訊息才算建立完成，
這時按 Cloud Shell 的右上角，點選 Change Port，
並更換我們的 port 至 8081，完成後點選 CHANGE AND PREVIEW。

part 2 : (啟用Cloud API) 開啟 Cloud Source Repositories API

Step 1 : 確定 Cloud Source Repositories API 是被開啟的:

點選一下網址，記得要切換至"Qwiklabs所提供的帳號“開啟API應用。

https://console.cloud.google.com/apis/library/sourcerepo.googleapis.com/?q=Repositories

part 3 : (複製專案) 在 Cloud Datalab 將專案複製下來

Step 0 : 接下來會直接使用 Cloud Datalab 跑 pyhton 程式

如果不清楚 Cloud Datalab 的基本指令與運作，請先複習【Day 8】- 先來初步認識一下google雲端上執行 python notebook (Cloud Datalab) 的環境

Step 1 : 我們回到 part 1 所開啟的 Datalab，按左上角開啟一個新的 notebook。

Step 2 : 我們可以點選紅框處更改notebook的名字，例如我們更改成：“checkout”。

Step 3 : 我們在第一格中貼上這段code，這段code主要是幫我們從github複製檔案下來。

%bash
git clone https://github.com/GoogleCloudPlatform/training-data-analyst
rm -rf training-data-analyst/.git

※解釋：

　「%bash」:此指令打在開頭，表示這整格cell之後皆執行Bash指令。

Step 4 : 我們確認是否檔案有被成功的複製下來，我們輸入「!ls」，只要有看到"training-data-analyst"資料夾就是成功了。

!ls

結果如下圖：

※解釋：

　「!ls」:!表示執行單行Bash指令，後面接指令內容，例如這段我們執行ls。

Step 5 : 現在我們可以回到上一頁，點進"training-data-analyst"資料夾，裡面有我們這次會使用到的code。
(點擊左上角的Cloud Datalab即可回到索引頁。)

Step 6 : 開啟 mlapis.ipynb。

檔案路徑為：「training-data-analyst > courses > machine_learning > deepdive > 01_googleml > mlapis.ipynb」

part 4 : (取得API key) 取得圖片辨識, 語音辨識…相關的ML API key

再來我們要先去啟用我們的API服務，這樣才能執行Vision API, Translate API, Speech API…

Step 1 : 在「APIs & services」找到「Library」

Step 2 : 我們搜尋「Vision API」

Step 3 : 確認「Vision API」已經被開啟

Step 4 : 我們重複Step 2, 3，依序確認「Translate API」, 「Speech API」…等要用的API，確認這些都是已經被開啟的。

Step 5 : 我們需要去取得 credentials(類似金鑰的證明文件)，我們在「APIs & services」找到「credentials」

Step 6 : 我們點選「Create Credentials」找到「API key」

Step 7 : 我們就會得到我們的API key了，我們將他複製下來。

part 5 : (實作API) 實作各種 API

我們要回到 part 3 的 mlapis.ipynb檔案。

Step 1 : 將我們剛剛所複製的API key取代原本key的地方。

Step 2 : 執行第二格cell的pip程式碼，我們要安裝Python client的服務。

翻譯語言「Translate API」

Step 3 : 執行第三格cell的程式碼，這行是「Translate API」的測試。

# running Translate API
from googleapiclient.discovery import build
service = build('translate', 'v2', developerKey=APIKEY)

# use the service
inputs = ['is it really this easy?', 'amazing technology', 'wow']
outputs = service.translations().list(source='en', target='fr', q=inputs).execute()
# print outputs
for input, output in zip(inputs, outputs['translations']):
  print("{0} -> {1}".format(input, output['translatedText']))

我們可以在紅框處看到執行結果，我們也可以在綠框處更改想要翻譯的語言。
註：fr:French

※解釋：

我們先輸入了input字串，再拿這些inputs向伺服器請求此內容的翻譯，
而伺服器會回傳給我們outputs，這些outputs就是翻譯的結果。

圖像辨識「Vision API」

Step 4 : 我們執行第四格cell的程式碼，這行是「Vision API」的測試。
我們會需要一張圖做為input，而此處已經有一個路標作為我們的範例使用。

# Running Vision API
import base64
IMAGE="gs://cloud-training-demos/vision/sign2.jpg"
vservice = build('vision', 'v1', developerKey=APIKEY)
request = vservice.images().annotate(body={
        'requests': [{
                'image': {
                    'source': {
                        'gcs_image_uri': IMAGE
                    }
                },
                'features': [{
                    'type': 'TEXT_DETECTION',
                    'maxResults': 3,
                }]
            }],
        })
responses = request.execute(num_retries=3)
print(responses)

※解釋：

我們可以注意到紅框處，他是一個雲端的圖片位置，就是我們的input圖片
綠框處與籃框處，代表的是我們運行的「Vision API」是v1版本
橘框處代表的是我們透過「gcs_image_uri」這個參數擺放我們的圖片內容(此處為變數「IMAGE」)，傳送至雲端
(這裡直接使用雲端圖片位置會更快，因為我們不需要再次上傳圖片。)
「GCS」就是Google Cloud Storage的簡稱
紫框處代表我們要求作「TEXT_DETECTION」，代表文字偵測。

我們請求 Vision API 幫我們分析這張圖的內容，他會回傳 JSON 格式給我們。
我來看回傳的所有內容，

※解釋：

開頭的zh指的是中文
「boundingPoly」 : 指的是bounding polygon，表示偵測這個文字邊界範圍所圍成的多邊形。

Step 5 : 因為回傳的結果很多，我們往下一格cell看，這格cell能幫我們只先取得第一個文字片段。

foreigntext = responses['responses'][0]['textAnnotations'][0]['description']
foreignlang = responses['responses'][0]['textAnnotations'][0]['locale']
print(foreignlang, foreigntext)

※解釋：

第一行「description」: 幫我們取得文字內容 (可以看到剩下的中文內容)
第二行「locale」: 幫我們取得語言種類 (得到zh，表示中文)

Step 6 : 再往下一格cell看，這裡我們再使用一下「Translate API」幫我們翻譯內容變成英文。

inputs=[foreigntext]
outputs = service.translations().list(source=foreignlang, target='en', q=inputs).execute()
# print(outputs)
for input, output in zip(inputs, outputs['translations']):
  print("{0} -> {1}".format(input, output['translatedText']))

※解釋：

可以看到紅框處分別表示翻譯的目標語言，以及翻譯的結果。

自然語言辨識「Language API」

Step 7 : 往下一格cell看，我們接下來要實作自然語言辨識的功能，我們已經預先準備好一些引文。
我們直接來看這些內容的情緒如何。

lservice = build('language', 'v1beta1', developerKey=APIKEY)
quotes = [
  'To succeed, you must have tremendous perseverance, tremendous will.',
  'It’s not that I’m so smart, it’s just that I stay with problems longer.',
  'Love is quivering happiness.',
  'Love is of all passions the strongest, for it attacks simultaneously the head, the heart, and the senses.',
  'What difference does it make to the dead, the orphans and the homeless, whether the mad destruction is wrought under the name of totalitarianism or in the holy name of liberty or democracy?',
  'When someone you love dies, and you’re not expecting it, you don’t lose her all at once; you lose her in pieces over a long time — the way the mail stops coming, and her scent fades from the pillows and even from the clothes in her closet and drawers. '
]
for quote in quotes:
  response = lservice.documents().analyzeSentiment(
    body={
      'document': {
         'type': 'PLAIN_TEXT',
         'content': quote
      }
    }).execute()
  polarity = response['documentSentiment']['polarity']
  magnitude = response['documentSentiment']['magnitude']
  print('POLARITY=%s MAGNITUDE=%s for %s' % (polarity, magnitude, quote))

※解釋：

可以看到紅框處的「polarity」: 如果為正，表示情緒正面；如果為負，表示情緒負面
紅框處的另一個「magnitude」: 表示這段文字中的情緒詞有多強烈 (非常強烈的正面詞彙或負面詞彙)
可以以綠框處的結果作為參考。

語音辨識「Speech API」

Step 8 : 往下一格cell看，我們接下來要實作語音辨識功能，我們一樣已經先準備好了一段語音。
這段語音被存放在雲端中，我們只要下指令請求他幫我們將這段語音轉成文字稿即可得到回傳的JSON檔案。

sservice = build('speech', 'v1', developerKey=APIKEY)
response = sservice.speech().recognize(
    body={
        'config': {
            'languageCode' : 'en-US',
            'encoding': 'LINEAR16',
            'sampleRateHertz': 16000
        },
        'audio': {
            'uri': 'gs://cloud-training-demos/vision/audio.raw'
            }
        }).execute()
print(response)

※解釋：

圖中紅框處 : 語音檔的雲端連結。
綠框處「confidence」 : 指的是他對這個語音轉換文字稿的結果有多少的信心水準。
從圖片中可以看見，信心水準非常高。

這個lab中我們利用了一些已經訓練好的ML模型，
透過API的串接我們能直接運算出結果。
我們想讓讀者知道的是，「並不是所有的ML訓練皆要從0開始建立模型」，
很多已經訓練好的結果，例如圖片辨識或語音辨識，
是可以直接使用而無需從頭開始建的。

而之後的課程，我們就要開始學習「從0開始建立屬於自己的ML模型」。

(Course - How Google does Machine Learning 完)

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 14】 Google ML - Lab 3 - Machine Learning APIs - (API實作篇) google圖片辨識, 語音辨識, 語言翻譯, 自然語言辨識(NL)

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】13 - Lab 2 - Analyzing Data using Datalab and BigQuery - 使用 BigQuery與Datalab視覺化分析資料

Sat, 14 Sep 2019 00:29:51 +0800

前言

我們來做 How Google does Machine Learning 的第二個lab~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

Chapter 1 - Introduction to specialization

【Day 2】- 讓你的ML在Google雲端平台運行的五大階段

Chapter 2 - What it means to be AI first

Chapter 3 - How Google does ML

Chapter 5 - Python notebooks in the cloud

Course - How Google does Machine Learning

第五章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Python notebooks in the cloud
- Module Introduction
- Cloud Datalab
  - Cloud Datalab
  - Demo: Cloud Datalab
  - Development process
  - Demo of rehosting Cloud Datalab
- Working with managed services
- Computation and storage
- Lab: Rent-a-VM
  - Intro to Qwiklabs
  - Intro to Renting-VM Lab
  - Lab: Rent-a-VM to process earthquake data
  - Lab debrief
- Cloud Shell
- Third wave of cloud
  - Third Wave of Cloud: Fully-Managed Services
  - Third Wave of Cloud: Serverless Data Analysis
  - Third Wave of Cloud: BigQuery and Cloud Datalab
- 「Datalab and BigQuery」
  - 「Lab Intro: Analyzing data using Datalab and BigQuery」
  - 「Lab: Analyzing data using Datalab and BigQuery」
  - 「Lab Debrief: Analyzing Data using Datalab and BigQuery」
- Machine Learning with Sara Robinson
  - ML, not rules
- Pre-trained ML APIs
  - Vision API in action
  - Video intelligence API
  - Cloud Speech API
  - Translation and NL
- Lab: Machine Learning APIs
  - Lab: Pretrained ML APIs Intro
  - Lab: Invoking Machine Learning APIs
  - Lab Solution

Lab: Analyzing Data using Datalab and BigQuery

課程地圖

Python notebooks in the cloud
- Datalab and BigQuery
  - Lab Intro: Analyzing data using Datalab and BigQuery
  - Lab: Analyzing data using Datalab and BigQuery
  - Lab Debrief: Analyzing Data using Datalab and BigQuery

在這個lab中，我們將使用BigQuery去分析7000萬行左右的資料，
並將結果以幾十行的Pandas DataFrame輸出。
再來我們可以直接使用Pandas DataFrame的結果作資料視覺化。

註：「BigQuery」 = 大量資料分析工具

在這裡我們只需要數秒鐘就可以創建圖形，這是使用其他方法可能做不到的。
然而，在互動式的開發流程中我們會很需要即時的分析，
對於大量資料的處理來說，這樣的速度是重要的，

你可能會想說，那就不要處理這麼多資料就好了啊?
問題是，如果我們處理的資料量小，這就不會是個好的 machine learning practice的範例了。

統計方法與 machine learning 的關鍵差別?

另外一件事情是，我們想順便討論 統計方法 與 machine learning 的關鍵差別，
關於我們如何處理離群值。

在統計方法中，我們會傾向移除離群值。
但在 machine learning 中，離群值也會是我們學習的內容。
而且如果要學習離群值，我們也必須要有足夠的離群值資料，
我們還需要確保這些離群值在資料集中被分配，做好管理完整dataset的工作就顯得重要。

在這個實驗中我們提供了BigQuery能幫助你管理大量的dataset，
然後能替我們帶來更習慣的資料結構(例如：Pandas)，
我們也可以使用python的繪圖工具製圖，就是我們這個lab的主要內容。

part 0 : (事前準備) 開啟 GCP console

請先參考【Day 9】- 每次在google雲端上開始lab前都要的事前準備與注意事項的內容，完成到運行中階段。

part 1 : (建立機器) 建立 Datalab VM

Step 0 : 打開 Cloud Shell

如果不清楚 Cloud Shell 如何開啟，請參考【Day 11】- Cloud Shell 的介紹與 google雲的三代變化, 使用ML與一般演算法的比較與優勢

gcloud compute zones list

註：影片中的範例使用的是 U.S. Central。

Step 2 : 我們透過以下指令創建我們的 datalab VM。

datalab create mydatalabvm --zone <ZONE>

「」: 這個必須更改為Step 2中，我們所找到compute zones的名字。
依照影片中的範例，我們必須填入：「datalab create mydatalabvm –zone us-central1-b」

創建過程約需稍等五分鐘。

Step 3 : 創建過程中，可能會碰到如紅框處的問題(詢問ssh passphrase)。

第一個問題回答 “Y”
第二三個問題直接按 “Enter” return即可。

Step 4 : 直到看到下方處出現請你開啟 “Web Preview” 的訊息才算建立完成，這時按 Cloud Shell 的右上角，
點選 Change Port，並更換我們的 port 至 8081，完成後點選 CHANGE AND PREVIEW。

part 2 : (啟用API) 開啟 Cloud Source Repositories API

Step 1 : 確定 Cloud Source Repositories API 是被開啟的:

點選一下網址，記得要切換至"Qwiklabs所提供的帳號“開啟API應用。

https://console.cloud.google.com/apis/library/sourcerepo.googleapis.com/?q=Repositories

part 3 : (分析資料) 使用 BigQuery 分析資料

Step 1 : 我們先從 Google Console開啟 BigQuery (紅框處)，一樣透過”Qwiklabs所提供的帳號密碼“來進行登入

稍微確認一下 Project名稱是否與 Qwiklabs的名稱相同。

Step 2 : 我們可以按 COMPOSE QUERY 開始執行QUERY的視窗。(紅框處，實際介面可能稍有不同。)

Step 3 : 在執行QUERY的視窗輸入以下指令，並執行。

#standardSQL
SELECT
  departure_delay,
  COUNT(1) AS num_flights,
  APPROX_QUANTILES(arrival_delay, 5) AS arrival_delay_quantiles
FROM
  `bigquery-samples.airline_ontime_data.flights`
GROUP BY
  departure_delay
HAVING
  num_flights > 100
ORDER BY
  departure_delay ASC

這是 standard SQL的語法。
但同樣的我們也可以不使用standard SQL的語法，我們點選 Show Options。
我們可以看到更多選項，並取消勾選 Legacy SQL。

我們在稍微注意一下語法中From的部分，我們會發現這個dataset來自 bigquery-samples 中的 airline_ontime_data，而 table 的名字是 flights。

Step 4 : (練習題) 試從以下的結果判斷：35分前離開的班機延遲抵達時間的中位數是多少?

說明：我們先看Step 3中例子的圖來解釋，「departure_dalay」:表示班機離開的時間，-37也表示37分鐘前離開。
我們可以看到在「num_flights」中找到107個班機35分前離開，這些格子細分成五格表示五個級距，
-66 表示80%飛機抵達時提前66分鐘或更早，-41~-66 表示 60%~80% 飛機在這個區間抵達。

解答: 所以如果我們問你35分前離開的班機延遲抵達時間的中位數是多少? 答案就是提早28分鐘到達。

Step 5 : (練習題2) 試著寫一個Query找出：擁有最大的航班數的airport pair (departure and arrival airport)。(指的是兩機場間的航班數最多)

參考解答：

#standardSQL
SELECT
  departure_airport,
  arrival_airport,
  COUNT(1) AS num_flights
FROM
  `bigquery-samples.airline_ontime_data.flights`
GROUP BY
  departure_airport,
  arrival_airport
ORDER BY
  num_flights DESC
LIMIT
  10

解釋：

我們先用「GROUP BY」，將 departure_airport, arrival_airport選定
並在 departure_airport, arrival_airport 用「COUNT(1) AS num_flights」，計算兩機場的總航班數
「ORDER BY」可以幫助我們排序，「num_flights DESC」，表示 num_flights的降序排列，因為透過降序我們就可以找到最多數量的位於最上方。
「LIMIT」限制10，因為我們只要找最多，所以也不需要顯示太多結果。

結果：LAX(起飛) 與 SAN(降落) 一共有 133394 航班數。

我們約花2.3秒搜尋了7000萬筆的資料。看似不可思議，但其實這就是數以千計的電腦一起搜尋的結果。
這就是我們所說的 run at scale，也是雲端運行服務，我們不必自己負擔運算過程，達到serverless的效果。

part 4 : (視覺化結果) 使用 Datalab 建立視覺化結果

BigQuery分析東西很方便，但他沒辦法幫我們視覺化的分析結果，
我們現在用Datalab來幫助我們建立視覺化結果。

Step 0 : 接下來會直接使用 Cloud Datalab 跑 pyhton 程式

如果不清楚 Cloud Datalab 的基本指令與運作，請先複習【Day 8】- 先來初步認識一下google雲端上執行 python notebook (Cloud Datalab) 的環境

Step 1 : 我們回到 part 1 所開啟的 Datalab，按左上角開啟一個新的 notebook。

Step 2 : 我們在第一格cell中貼上這段code，這段code是呼叫BigQuery幫我們執行的，我們只是透過API串接過來使Datalab能夠使用。

query="""
SELECT
  departure_delay,
  COUNT(1) AS num_flights,
  APPROX_QUANTILES(arrival_delay, 10) AS arrival_delay_deciles
FROM
  `bigquery-samples.airline_ontime_data.flights`
GROUP BY
  departure_delay
HAVING
  num_flights > 100
ORDER BY
  departure_delay ASC
"""

import google.datalab.bigquery as bq
df = bq.Query(query).execute().result().to_dataframe()
df.head()

而在code的最後幾行.to_dataframe()，將我們回傳的資料轉成 Pandas Dataframes。
我們也可以透過.head()，從結果中先偷看前幾行的內容。
也正如同我們之前在BigQuery所執行的一樣，有departure_delay, number of flights…，
但這例子中我們有10分位數，因為我們在「APPROX_QUANTILES(arrival_delay, 10)」中下了數字10，所以我們可以得到10個數字。

Step 3 : 我們在第二格cell中貼上這段code。

import pandas as pd
percentiles = df['arrival_delay_deciles'].apply(pd.Series)
percentiles = percentiles.rename(columns = lambda x : str(x*10) + "%")
df = pd.concat([df['departure_delay'], percentiles], axis=1)
df.head()

這段code能幫助我們把十分位數的部分整個分開整理清楚，如下圖。
分開的原因與下步驟的製圖有關係。

Step 4 : 我們在第三格cell中貼上這段code。

without_extremes = df.drop(['0%', '100%'], 1)
without_extremes.plot(x='departure_delay', xlim=(-30,50), ylim=(-50,50));

在第一行.drop(['0%', '100%'], 1)，我們先將0%, 100%的結果移除，不畫入圖中，
我們在最後的結果只使用10%~90%的資料。

我們試著閱讀這張圖，departure_delay如果是10，表示10分鐘delay，
我們可以看見10%的班機仍然可以提前到達，但90%的班機會晚21分鐘以上到達。
另外一方面中位數(50%)的 departure_delay 所對應到的 arrival_delay 約提早3~4分鐘。

我們看結果會發現，除了一些 -20 以下的結果，這些結果的呈現滿線性的，
我們的結果只要在中間不在邊緣，基本上可以做一個線性模型。

現在我們可以回來想，我們分析了多大的資料才能得到這樣的結果，
這樣的insight，正是一種很難透過其他方式能獲得的結果。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 13】 Google ML - Lab 2 - Analyzing Data using Datalab and BigQuery - 使用 BigQuery與Datalab視覺化分析資料

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】12 - Lesson 9 - google圖片辨識(Vision), 影片辨識(Video), 語音辨識, 語言翻譯, 自然語言辨識(NL) API功能總整理

Fri, 13 Sep 2019 00:26:36 +0800

前言

開頭先整理一下今天的內容

我們今天一共會整理google的5種Cloud API，以下針對類型先做個簡單整理：

Google雲端上的API名稱	類型	用途
「Cloud Vision API」	(image -> text)	圖片辨識API
「Cloud Video intelligence API」	(video -> text)	影片辨識API
「Cloud Speech API」	(audio -> text)	語音辨識API
「Cloud Translation API」	(text -> text)	語言翻譯API
「Cloud Natural Language API」	(text -> text)	自然語言處理API

Course - How Google does Machine Learning

第五章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Python notebooks in the cloud
- Module Introduction
- Cloud Datalab
  - Cloud Datalab
  - Demo: Cloud Datalab
  - Development process
  - Demo of rehosting Cloud Datalab
- Working with managed services
- Computation and storage
- Lab: Rent-a-VM
  - Intro to Qwiklabs
  - Intro to Renting-VM Lab
  - Lab: Rent-a-VM to process earthquake data
  - Lab debrief <– (昨天到這邊)
- Cloud Shell
- Third wave of cloud
  - Third Wave of Cloud: Fully-Managed Services
  - Third Wave of Cloud: Serverless Data Analysis
  - Third Wave of Cloud: BigQuery and Cloud Datalab
- Datalab and BigQuery
  - Lab Intro: Analyzing data using Datalab and BigQuery
  - Lab: Analyzing data using Datalab and BigQuery
  - Lab Debrief: Analyzing Data using Datalab and BigQuery
- Machine Learning with Sara Robinson
  - ML, not rules
- 「Pre-trained ML APIs」
  - 「Vision API in action」
  - 「Video intelligence API」
  - 「Cloud Speech API」
  - 「Translation and NL」
- Lab: Machine Learning APIs
  - Lab: Pretrained ML APIs Intro
  - Lab: Invoking Machine Learning APIs
  - Lab Solution

1. Vision API in action

課程地圖

Python notebooks in the cloud
- Pre-trained ML APIs
  - Vision API in action

Cloud Vision API是google的圖片辨識的API，
可以讓我們使用單個REST API request就能得到圖片的各種檢測結果。

part 1 : case: 先看目前商業上使用Vision API的範例

Giphy：Giphy是一個app，我們能在上面搜尋GIF，並在也可以分享這些動圖。
gif的裡面有可能包含文字，而它們可透過Vision API解釋gif裡面的內容，
並藉此改進搜尋結果。

他們使用的是Vision API裡面的「OCR(Optical Character Recognition)功能」，
這個功能讓它們可以從gif中提取出文字內容，用於幫助增進他們的搜尋體驗。

想要更了解Giphy怎麼做的，可以參考：https://engineering.giphy.com

part 2 : 我們來看Vision API裡面有哪些功能

Vision API 功能名稱	用途
「label detection」	可以告訴你這圖片是什麼
「web detection」	在網路上搜尋相似圖片，並從這些搜尋結果中提取內容，回傳圖片更多相關資訊。
「OCR (Optical Character Recognition)」	解析你圖片中的文字內容，告訴你圖片中哪裡有文字，甚至可以告訴你這是什麼語言。
「Logo detection」	專門辨識公司logo用的
「Landmark detection」	如果這圖片包含著常見的地標，他可以告訴你是什麼地標。同時提供對應地標的經度、緯度
「Crop hints」	可以幫助你裁剪照片，以符合你想要做的主題。
「Explicit Content Detection」	檢測圖片中是否有不適當的內容。

※補充：

「label detection」

例如：你給他看大象的圖片，他會告訴你這是大象

以整體來說，Cloud Vision API可以提供上述所有功能的圖片內容檢測。
這些功能在任何地方皆很實用，而且特別像是社群網站檢測不適當圖片內容，
我們很難人工一張一張的檢測，這時候Vision API能夠幫助我們做初步的分類，
我們只需要簡單所有圖片的子集合即可。

自己的註：這邊講到的做法個人認為非常聰明，
他們並不是直接將Vision API認定不適宜的結果，
直接進行刪除的動作，而是先取這些圖片的子集合在"人工檢查"。
這樣兩階段的作法，
對於社群上的人：大幅的減少誤判機率
對於自己訓練的ML：如果我們認為這些圖片是適合的，
我們可以直接更改label，再次強化我們的ML判定。

又能減少使用者不滿又能強化自己的ML模型，採用兩階段判定確實非常聰明。

part 3 : 我們直接來demo Vision API的功能

Vision API有提供網頁版，在開始寫code串Vision API的功能前，
我們可以先到這網站測試自己想要偵測的圖片：https://cloud.google.com/vision/
可以先偷看串完Vision API會得到什麼結果。

(這邊也是先使用影片中的範例，有興趣的朋友可以自己嘗試。)

Step 1 : 首先我們先到網址中的紅框處，可以上傳自己的圖片。

Step 2 : 得到我們圖片分析的結果。

我們來看看我們可以得到什麼結果：

「Landmarks」: 顯示了這圖中的地標在哪(71%表示信心指數，有多肯定這答案的意思)，我們還可以看到下方標出了實際上地圖的位置與衛星雲圖。

「Faces」: 顯示了這張圖中哪裡有臉；還有辨識表情，像這張圖他認為圖片中的人很開心。

「Labels」: 告訴你這張圖可能的組成元素，與這張圖的標籤。

「Web」: 如果拿這張圖到網路上搜尋類似圖片，會得到什麼結果的分析整理。

「Properties」: 告訴你這張圖片的主色調組成。

「Safe Search」: 告訴我們這張圖片是否有不適當內容，主要分成四種判定標準

Adult: 圖片內容是否色情

Spoof: 圖片內容是否像是meme類型的(可能有些網站要防止meme類型的內容不斷散播)

Medical: 圖片內容是否像是做外科手術

Violence: 圖片內容是否暴力血腥的

很明顯的，這張圖片都沒有包含以上的分類要素。

「JSON」: 將上面所有結果的內容包成JSON給你，也就是實際上串好API會拿到的東西。

2. Video intelligence API

課程地圖

Python notebooks in the cloud
- Pre-trained ML APIs
  - Video intelligence API

Video intelligence API是google的影片辨識的API，
可以讓我們分析一個影片內容，從一瞬間、一幀到一整個影片的分析都可以做到。

part 1 : Video intelligence API裡面有哪些功能

Video intelligence API 功能名稱	用途
「label detection」	他會告訴你這影片中可能有什麼(代表著他的label)
「Video & scene-level annotations」	從各個場景或整個影片"解釋"影片的內容，算上面功能的進階版
「Shot Change Detection」	告訴你這個影片哪裡有(突然的)場景變化。
「Explicit Content Detection」	檢測影片中是否有不適當的內容。
「Regionalization」	使我們可以指定這個影片可以執行Video intelligence API的區域

※補充：

「Video & scene-level annotations」

自己的註：要"解釋"影片可以從很多個角度切入，
例如說一個場景可以解釋出一個意義，
scene等級的功能就是在做這樣的分析，而video等級的分析就是做整部影片的解釋。
與label detection不同的是，label只會告訴你有什麼，但不會告訴你意義(沒有"解釋")

「Shot Change Detection」 > 例如：如果你的影片從一個風景突然特寫到一個人，他會告訴你變化的時間點。

part 2 : demo Video intelligence API的功能

Video intelligence API一樣有提供網頁版，在開始串Video intelligence API前，
我們可以先到這網站測試自己影片的結果：https://cloud.google.com/video-intelligence/

(這邊也是先使用影片中的範例，有興趣的朋友可以自己嘗試。)

example 1 : 一部影片的分析

我們先示範上傳一個影片，上傳後我們可以看到google已經為這個影片做了許多標籤：

我們觀察結果，我們可以發現紅框處顯示了這影片中的label，
也就是Video intelligence API在這影片中找到的東西。
右側綠框處為這個label對應影片中的位置(秒數)。

以圖片中的上方影片正好有一隻狗出現，往下方找第一行DOG的label，
對應的紅色分布正是Video intelligence API偵測到有出現狗的片段。

以人工看影片的方式找出狗不是做不到，
但是會非常耗時且沒辦法大量快速的處理內容。
而且我們要完全確定答案的話，我們必須將整個影片都看過才行。
更何況如果我們不是要找狗而已，我們要找整個影片有哪些內容並記錄下來的話。
那人工處理這件事情的速度會非常慢。

我們可以用單一個REST API取得一個JSON格式的回覆結果，
這個畫面也是將JSON格式視覺化呈現，讓我們知道會拿到什麼東西。

example 2 : 多部影片的分析

這邊要提到的是對多部影片的分析，適用的情境例如：
我們是一家體育新聞公司，我們想要找尋棒球賽事的精采片段。
手動看手邊的每一部影片是一件耗時的工作，
我們如果使用Video API就可以很輕鬆地得到JSON結果。

我們從上方紅框處搜尋baseball，我們就可以找到baseball的影片。
而下方會自動過濾出含有baseball的影片內容，以及baseball有出現的秒數。
而且我們只要對紅點處點擊一下，我們立刻可以看到那一段影片內容。

我們可以看見使用了Video Intelligence API，
只需要幾分鐘就能幫我們處理了人工觀看影片可能需要的數小時的工作時間。

3. Cloud Speech API

課程地圖

Python notebooks in the cloud
- Pre-trained ML APIs
  - Cloud Speech API

Cloud Speech API是google的語音辨識的API，
他可以幫助我們從語音轉換成"超過100種語言"的文字稿。

part 1 : Cloud Speech API裡面有哪些功能

Speech API 功能名稱	用途
「Speech to text transcription」	只要丟語音給Cloud Speech，就可以回傳語音的文字稿。
「Speech timestamps」	可以讓你的文字稿具有能回查演講時間的功能(點文字就能跳到該語音段落)。
「Profanity filtering」	過濾不適當的語音內容。
「Batch & streaming transcription」	允許傳送一個完整的語音文件，或者也可以發送連續的語音串流。最後我們將會回傳一個完整的對應文字稿。

※補充：

「Speech timestamps」

也就是說，我們可以知道每一個字在speech中的開始與結束時間。

part 2 : demo Cloud Speech API的功能

Cloud Speech API一樣有提供網頁版，
我們可以先到這網站測試自己語音的分析結果：https://cloud.google.com/speech

(這邊也是先使用影片中的範例，有興趣的朋友可以自己嘗試。)

而這裡我們著重在展示「Speech timestamps」的功能，我們先稍微解釋一下其運作的原理：

step1 : 從一個影片中提取出語音。
step2 : 將語音送進 Cloud Speech API 並得到文字稿與時間標記。
step3 : 我們將結果視覺化，在我們視覺化的UI中，我們可以直接搜尋文字稿對應影片的段落。

example 1 : 一部影片的分析

這個就是網頁顯示的結果，下方文字稿就是從上面影片內容擷取出的。
我們可以在下方任意點擊一段文字，就會直接跳到影片的該段落(如圖所示)。

example 2 : 多部影片的分析

再來我們想要實現的功能是，在大量的演說影片中找到我們要的關鍵字。
我們回到主目錄，我們以搜尋Firebase作為示範，
我們可以先在上方藍框處搜尋，他會幫我們從我們所有的影片中找到符合我們的結果，
然後只要點擊對應的藍點處(如圖中的紅框處)，就可以直接跳到該段影片有提到Firebase的內容。

part 3 : Cloud Translation裡面有哪些功能與demo

當我們從語音得到文字之後，我們可能會想開始嘗試分析。
有一件可能必須做的事情就是我們得先試著翻譯他，Cloud Translation可以快速地幫助您完成。

Translation API 功能名稱	用途
「Translate text」	可以翻譯100多種不同的語言
「Detect language」	可以偵測100多種不同的語言

※補充：

「Detect language」

也就是當你看不懂是哪個國家的語言的時候，他可以幫助你找到是哪個國家的。

Cloud Translation 最有名的應用就是 Google Translate，相信大家都不陌生，
Cloud Translation API能翻譯100多種不同的語言，
也就是說，如果我們現在想要提供多國語言服務，
自動偵測語言與翻譯語言能幫助你輕鬆地找到這是什麼國家的語言，並翻譯內容。

Cloud Translation API一樣有提供網頁版，
我們可以到這網站測試：https://cloud.google.com/translation

4. Translation and NL

課程地圖

Python notebooks in the cloud
- Pre-trained ML APIs
  - Translation and NL

(Translation的課程內容應該在上一節，但這裡是依照google課程的名稱命名的，可能命名有誤。)

Cloud Natural Language是google提供的自然語言辨識API，
我們一樣可以利用單一的REST API request得到一段文字內容的理解。

part 1 : Cloud Natural Language API裡面有哪些功能

Natural Language API 功能名稱	用途
「Extract entities」	可以從文章內容中提取entities(實體)
「Detect sentiment」	偵測這篇文章內容中或是句子的情緒，會告訴你情緒是正面還是負面。
「Analyze syntax」	可以分析語法，了解更多文章的語言細節，或是提取文章中的部分內容。
「Classify content」	可以將文章內容分類到不同類別。

part 2 : 「Analyze syntax」的demo與更詳細介紹

以下，我們將先針對「Analyze syntax」做更多的介紹，
我們使用一個例句 “The natural language API helps us understand text.”

我們做了一個視覺化的圖片來使我們能更了解透過API回覆的JSON內容，

「Dependency parse tree(紅色部分)」，這個的功能是將所有有關係的詞彙做相互關聯，像是那些單詞可能與其他的單詞有關係。

「Parse label(綠色部分)」，他會告訴我們每個詞在句子中的作用

例如，在這句話裡面 helps 是 root verb(主要的動詞)，API是nominal subject(主要的主詞)

- 「Part of speech(黃色部分)」，他會告訴我們每個詞在句子中的詞性(形容詞、名詞、動詞...)

「Lemma(黑色部分)」，代表這個詞的canonical form(標準形式)

例如，在這句話裡面 helps 的 canonical form(lemma) 是 help
這個對於計算特定單詞用於描述某些內容，在文章中所出現的次數非常有用
你可能不希望在分析的過程中，helps 與 help 被當成兩個詞來分別計算，
這時Lemma就可以幫助你完成這件事情。

「Morphology (灰色部分)」，可以分析這個詞的Morphology(詞法)

例如：名詞有可數、不可數的特性…，動詞有是不是第三人稱單數之類的特性…
這個結果也會根據語言而有所不同。

part 3 : 「Content classification」的demo與更詳細介紹

以下，我們將針對「Content classification」做更多的介紹，
我們拿一篇新聞文章來做分析，我們將這篇新聞的標題與第一句話丟進Natural Language API進行分類。

我們可以看到他返回的類別是baseball(上方紅框處)，
我們再注意另外一件事，文章裡面並沒有提到過baseball這個詞，
但google告訴我們他有99%的肯定(下方紅框處)這篇文與baseball有關。

這個API的方法總共提供了700多種可用的類別可以使用。

part 4 : case: 使用Cloud Natural Language API的企業例子

這邊我們會提到一間公司使用各種不同的Natural Language API方法在他產品中的例子。

Wootric：一個客戶反饋的平台，他透過圖中紅框處幫助客戶收集使用者的回饋，

他們在自己應用中的各處放置這個方框，
並且要求用戶提供一個分數代表著它們的使用體驗與覺得這個應用最特別的地方。
0-10的分數很容易理解，但是如果是開放式的回饋(自己填文字的)就比較難快速理解(需要時間消化內容)。

而這個就正是他們使用natural language API的地方，
它們使用「sentiment analysis」來分析這個人的文字回覆情緒是否與他們提供的數字分數吻合，
然後他們使用「entities」與「syntax analysis」取解析出最關鍵的內容(entities)，
並直接反饋給適當的對象，就可以做即時的處理，而不用派一個人手動的逐條閱讀回饋內容才反饋。

例如：他們可能遇到對可用性感到憤怒的使用者，他們可以及時反應給適當的人，請他做即時的處理。
而如果沒有這樣做，我們會需要一個人手動的閱讀每一條回饋內容，並一個個反饋給適當的對象。

part 5 : demo Cloud Natural Language API的功能

Cloud Natural Language API一樣有提供網頁版，
我們可以先到這網站測試自己文字分析結果：https://cloud.google.com/natural-language/

紅框處可以打入自己想要的句子，
我們以影片中句子作為例子：“I liked the sushi but the service was bad.”

這是從某個餐廳的評論找下來的，假設我們是經營餐廳的人，每天我們可能會收集很多評論，
我們不會想一句句的分析每個評論，我們可能只想找最正面與最負面的評論。

我們來看看Cloud Natural Language API分析的結果：

「Entities」：從這個句子的結果中，我們看到他從我們的句子中分析出了兩個entities(實體)，service與sushi，並且還能夠從這兩個實體中分別分析情緒。我們除了可以理解整個句子的情感之外，還能分別針對兩個實體(service與sushi)查看情感。

natural language API 返回的情緒值介於-1到1，表示情緒的負面與正面。
我們可以看到service的得分為-0.9，幾乎完全是負的，表示顧客認為服務很差。
我們再來看sushi的得分為0.9，幾乎完全是正的，表示顧客非常滿意壽司。
這樣的個別實體分析是非常有價值的，整句話的情緒分析做不到這樣的細節分析。

「Sentiment」：我們再來看到整句話的情感分析，也能同樣看到上方的單個實體分析結果。

不過這個例子特別的地方在於，我們針對單個實體分析情緒，
比起分析整句話的情緒，能得到更多有用的資訊。
(sushi好而service不好，整句話只能知道是不好的。)

「Syntax」：可以幫我們分析這句子的結構，因為上面已經有詳細demo過了，這邊只展示結果。
「Categories」：可以看到這句話是屬於哪一種分類。影片中沒有展示。

但我有自己試了，原來是找不到結果XD (是因為這樣才沒放在影片中嗎XD)
回傳的結果會是 “No categories found. Try a longer text input.”
照這句話的意思看來，可能是資訊量不足，還沒辦法做分類，
上方的例子畢竟是用一篇新聞的句子才能找到結果，也許是因為這句話能提供的資訊還太少吧。

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 12】 Google ML - Lesson 9 - google圖片辨識(Vision), 影片辨識(Video), 語音辨識, 語言翻譯, 自然語言辨識(NL) API功能總整理

【Google ML】11 - Lesson 8 - Cloud Shell 的介紹與 google雲的三代變化, 使用ML與一般演算法的比較與優勢

Thu, 12 Sep 2019 00:23:19 +0800

前言

我們繼續 How Google does Machine Learning 的第五章節~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第五章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Python notebooks in the cloud
- Module Introduction
- Cloud Datalab
  - Cloud Datalab
  - Demo: Cloud Datalab
  - Development process
  - Demo of rehosting Cloud Datalab
- Working with managed services
- Computation and storage
- Lab: Rent-a-VM
  - Intro to Qwiklabs
  - Intro to Renting-VM Lab
  - Lab: Rent-a-VM to process earthquake data
  - Lab debrief <– (昨天到這邊)
- 「Cloud Shell」
- 「Third wave of cloud」
  - 「Third Wave of Cloud: Fully-Managed Services」
  - 「Third Wave of Cloud: Serverless Data Analysis」
  - 「Third Wave of Cloud: BigQuery and Cloud Datalab」
- Datalab and BigQuery
  - Lab Intro: Analyzing data using Datalab and BigQuery
  - Lab: Analyzing data using Datalab and BigQuery
  - Lab Debrief: Analyzing Data using Datalab and BigQuery
- 「Machine Learning with Sara Robinson」
  - 「ML, not rules」
- Pre-trained ML APIs
  - Vision API in action
  - Video intelligence API
  - Cloud Speech API
  - Translation and NL
- Lab: Machine Learning APIs
  - Lab: Pretrained ML APIs Intro
  - Lab: Invoking Machine Learning APIs
  - Lab Solution

1. Cloud Shell

課程地圖

Python notebooks in the cloud
- Cloud Shell

我們之前所做的事情是建立一個 Compute Engine VM，他幫我們實現了一些功能。
但其實以這樣的需求來說，這樣做是有點浪費的。

現在我們將來介紹 Google Cloud Shell，
想要執行 Cloud Shell 只需要點選 GCP console 右上角的「Activate Google Cloud Shell」，即可開始執行。

我們所開啟的視窗，稱為 Cloud Shell，他是一種小型的VM，
雖然小，但當我們的目的只是嘗試些小事情(跑幾行code、複製東西…)，Cloud Shell絕對夠用。

我們看到Cloud Shell的視窗，基本上我們可以做與Compute Engine VM幾乎相同的事情，
此外，Cloud Shell更適合給developers使用，
在Compute Engine VM中，我們可能還需要安裝一些軟體(因為是全新的環境)，
但這些在Cloud Shell幾乎都不用，已經都裝好了。

這邊以「git」,「git clone」作為示範，可以看到我們能直接使用。

但要注意的事情就是 Cloud Shell 是一個很短暫的 VM，
也就是說大概一陣子(可能大約一小時)沒使用，這VM的內容會被自動回收。
但我們也能隨時重新在啟動新的 Cloud Shell，
或者我們也可以按新的tab啟動另外一個 Cloud Shell (下圖"+“號)，這仍是相同的VM。
當有兩個tab的時候，你可以執行其他指令在另外一個tab，
讓每個 Cloud Shell 所做的事情更清楚。

注意：仍是在同個VM下執行指令。

2. Third Wave of Cloud: Fully-Managed Services

課程地圖

Python notebooks in the cloud
- Third wave of cloud
  - Third Wave of Cloud: Fully-Managed Services

這邊講一點歷史，三波google雲的變化：

原先的 Data lab 是由本機電腦拓展到雲端處理服務，
google從MapReduce，後來意識到困難(也可能是因應時代變化)。
改為開發了Dremel和Colossus，Dremel是做SQL查詢用的，
Colossus是一個允許大量資料讀取的文件系統，
Dremel和Colossus作為BigQuery和Google Cloud Storage，
在Google Cloud Platform上提供，這就是指google的第二波雲。
當然，這樣的事情不只google在做，所以就會有第三波雲。
最大的差別就是在，第二波雲主要在做的是租用基礎設施(之前lab在做的事情)。
第三波雲重點放在完全彈性的服務。
如果要處理比較新的項目，請使用第三波雲的Managed Services，
這個服務能提供open source軟體的標準使用方法，而且也不須擔心基礎結構。

3. Third Wave of Cloud: Serverless Data Analysis

課程地圖

Python notebooks in the cloud
- Third wave of cloud
  - Third Wave of Cloud: Serverless Data Analysis

而上面這些內容實際上對應到的是什麼，這邊我們提供範例，
我們開啟BigQuery console，BigQuery是一個存放data的倉庫。

我們現在想查詢醫療保險索賠的public dataset，我想要查2014年的Medicare索賠。
而我們想做一個ad hoc(臨時的)query查詢，
所以我們也沒有創建indices，也沒有準備database使這查詢更有效率。

我們只花了3秒左右查詢了276MB的資料，BigQuery是一個columnar database，
我們可以注意一下結果，它們在Medicare的公共數據中。

這個數據大約有2400萬行，因此我們能在幾秒鐘對一個大約2400萬行的數據集進行查詢，
而且在不建立任何VM、不安裝任何軟體下完成這樣的查詢操作。

當我們說第三波雲時，就是這件事，我們想做到完全的managed services，
到時我們只需要寫一些code，並交由他執行即可。

4. Third Wave of Cloud: BigQuery and Cloud Datalab

課程地圖

Python notebooks in the cloud
- Third wave of cloud
  - Third Wave of Cloud: BigQuery and Cloud Datalab

在上面的小實驗中，我們看到了BigQuery的一些優點

能快速地進行大量資料的查詢。

而想將資料傳入BigQuery也非常簡單，直接上傳檔案，或透過web GUI存到雲端中，再將它們的資料流向BigQuery。
另外匯出BigQuery的資料也非常簡單，google有提供非常多的APIs，運行SQL query並保存成任何你想要的格式結果。
最重要的目的是，因為有了BigQuery， Datalab可以與BigQuery有良好的整合，所以我們可以探索數據、運行query，並將結果以Pandas DataFrame的方式匯出，還能用Python來製圖。

5. ML, not rules

課程地圖

Python notebooks in the cloud
- Machine Learning with Sara Robinson
  - ML, not rules

這邊我們要稍微討論一下機器學習比起一般方法更強大的地方，
但要比較，我們就必須要先思考，「如果沒有機器學習，我們要怎麼解一樣的問題?」

問題1：請說明一個方法(rule)，能分辨出下面的蘋果與橘子。

你可能會想說，我們只要分辨顏色就好了。這是正確的方向。
如果我們的程式分辨出大多像素是紅色，就輸出apple；大多像素是橘色，就輸出orange。

但一樣的問題，如果我們今天拿到的是灰階的圖片呢?

問題2：請說明一個方法(rule)，能分辨出下面的蘋果與橘子。

這時候我們可能就需要開始尋找表面的紋理或梗的形狀之類的。

但你會發現，我們會因此而要開始改寫我們的演算法，才能夠達到這題目正確的分類結果。
但正當你寫完的時候，如果我們突然想要分辨出三種水果呢?

你到那時才會知道，你整個的算法又會需要再重寫了，
但這些圖片是如此的相似、都是接近一個橢圓形的立體、都是水果，
如果我們的任務改成相差很多的，或許就會變簡單了吧?
這裡就有一個例子，我們來分辨狗與拖把的圖片：

狗有生命且會呼吸，掃把沒眼睛、鼻子、嘴巴，
正當你想這個問題看來能夠輕易地被解決的時候，
突然有人請你分辨sheep dogs(羊狗)與拖把的差別時，你又崩潰了，
況且這是一個連人由自己的眼睛分辨都很難的題目，

我們就不要再寫code(寫rules)解決這樣的問題了吧，
我們沒有必要特別針對特定的圖片多寫幾行code，只為了能多識別出那個圖像，
而且就算寫出來了，還有可能在別的情況下，這份code又沒有用了。

所以我們應該要改寫能自動幫助我們找到這些規則的code，
這時候我們就需要依靠ML。

Google Cloud Platform提供了兩種簡單的方式讓ML能加在我們自己的project中，
而且我們可以自己定義ML的功能，如圖的左邊，

「Tensorflow」: Google Brain團隊提供的open source library，能讓我們使用自己的數據建構並訓練自己的ML模型。
「Cloud Machine Learning Engine」: Tensorflow模型除了在自己的電腦跑之外，也能直接在google提供的架構下直接執行。

圖的右側指的是一些google已經訓練好的ML所提供的API，
google又稱之為"友善的機器學習”，可以透過REST API取得資料，
下個章節中，我們會把所有的API的應用做介紹並且demo每一個功能。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 11】 Google ML - Lesson 8 - Cloud Shell 的介紹與 google雲的三代變化, 使用ML與一般演算法的比較與優勢

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】10 - Lab 1 - Rent-a-VM to process earthquake data - 在google雲端上分析地震資料與製圖，並儲存在雲端

Wed, 11 Sep 2019 02:50:07 +0800

前言

今天的內容一開始的幾個part會跟昨天重複(步驟上的相同)，
原因是今天整理完之後，覺得把昨天的步驟整理到今天放在一起會比較像一個完整的lab。

而昨天的lab內容我也會把這次lab 1的內容拿掉，
剩下的內容改成lab 0，代表運行lab前的準備，
這樣也有個好處，之後每個的lab開始前，
都會有跟lab 0差不多的步驟，這樣之後也就不用再贅述這部分了。
所以在今天的lab開始前，還是一樣需要先做lab 0的部分才能開始哦~
(雖然下面步驟也會貼心的再提醒就是了XD)

我們就繼續 How Google does Machine Learning 的第五章節~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第五章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Python notebooks in the cloud
- Module Introduction
- Cloud Datalab
  - Cloud Datalab
  - Demo: Cloud Datalab
  - Development process
  - Demo of rehosting Cloud Datalab
- Working with managed services
- Computation and storage
- 「Lab: Rent-a-VM」
  - Intro to Qwiklabs <– (昨天到這邊)
  - 「Intro to Renting-VM Lab」
  - 「Lab: Rent-a-VM to process earthquake data」
  - 「Lab debrief」
- Cloud Shell
- Third wave of cloud
  - Third Wave of Cloud: Fully-Managed Services
  - Third Wave of Cloud: Serverless Data Analysis
  - Third Wave of Cloud: BigQuery and Cloud Datalab
- Datalab and BigQuery
  - Lab Intro: Analyzing data using Datalab and BigQuery
  - Lab: Analyzing data using Datalab and BigQuery
  - Lab Debrief: Analyzing Data using Datalab and BigQuery
- Machine Learning with Sara Robinson
  - ML, not rules
- Pre-trained ML APIs
  - Vision API in action
  - Video intelligence API
  - Cloud Speech API
  - Translation and NL
- Lab: Machine Learning APIs
  - Lab: Pretrained ML APIs Intro
  - Lab: Invoking Machine Learning APIs
  - Lab Solution

Lab: Rent-a-VM to process earthquake data

課程地圖

Python notebooks in the cloud
- Lab: Rent-a-VM
  - Lab: Rent-a-VM to process earthquake data
  - Lab debrief

在這裡，我們將建立一個 Compute Engine，並使用一些位於Cloud Storage的data，
並完成一個簡單的任務：使我們的網頁顯示現在的地震資料圖，並把這些資料儲存下來。

part 0 : (事前準備) 開啟 GCP console

請先參考【Day 9】- 每次在google雲端上開始lab前都要的事前準備與注意事項的內容，完成到運行中階段。

part 1 : (準備機器) 在 GCP console 中建立一台VM，並執行 SSH

Step 1 : 在GCP console中，我們找到 MENU -> Compute Engine -> VM instances

Step 2 : 按下Create新的VM後，

設定名字
設定zone(可選擇靠近自己的地區的，或任意也沒關係，影片中示範：US Central 1-b)
設定CPU(影片中示範：1 vCPU，已經很足夠使用)
下方選擇"Allow full access to all the Cloud APIs"
按下最下方的Create

Step 3 : 稍微等一下VM被建立，按下SSH，(這邊可能需要允許pop-ups)

Step 4 : 我們可以看到SSH的畫面顯示如下。

part 2 : (準備資料) 在 SSH 中下載必要資料

Step 1 : 在SSH中，我們會需要使用git，如果還沒有安裝，
我們輸入以下指令即可安裝git，

sudo apt-get install git

如果是安裝完成的，我們直接輸入「git」，會看到他的使用說明(如何下參數)。

Step 2 : 再來我們要使用git來下載我們想要的資料，
我們輸入

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

下載完我們輸入ls顯示當前資料夾，
如果有看到顯示「training-data-analyst」，那表示下載成功了。

我們接下來要來取用來自USGS的地震資料，
而這段script，google在剛剛clone的資料夾內已經幫我們寫好了。

Step 3 : 首先我們需要先切換資料夾：

cd training-data-analyst/courses/machine_learning/deepdive/01_googleml/earthquakes

小技巧：使用「tab」，可以自動完成，不用完整的輸入資料夾名稱(如果資料夾存在)。

Step 4 : 接下來我們輸入這段程式碼，less可以幫助我們預覽這份script檔案。

less ingest.sh

使用方式為：
「space」:往下捲動
b:備份這個page
q:離開(quit)

讓我們稍微解析一下這份scripts：
rm行：強制移除現有的"earthquakes.csv"檔案(如果存在的話)
「wget」行：從USGS下載最近的資料，並命名為"earthquakes.csv"

Step 5 : 執行這份script檔案，將我們要的檔案下載下來。

bash ingest.sh

Step 6 : 我們可以用「head」偷看一下這個下載檔案的前幾行。

head earthquakes.csv

我們可以看到有顯示時間、經緯度，與所有這幾週發生的地震資料。

part 3 : (跑程式) 轉換資料部分

Step 0 : 我們可以先在以下網址看結果與code的解釋：

基本上是取得地震資料，然後使用matplotlib製圖而成。

https://github.com/GoogleCloudPlatform/datalab-samples/blob/master/basemap/earthquakes.ipynb

Step 1 : 換我們自己動動手，首先先把我們所缺的python package都安裝起來：

「basemap」：可以畫製地理位置地圖
「numpy」：數字處理library
「matplotlib」：基礎圖形繪製library

bash install_missing.sh

Step 2 : 執行transform.py，這份code會執行與剛剛Step 0相同的內容：

python transform.py

Step 3 : 執行「ls -lrt」，這會照時間順序顯示我們最近所建立的新東西：

ls -lrt

Step 4 : 我們會發現有個「earthquakes.png」被建立，到這邊這階段就完成了。

part 4 : (儲存結果) 建立bucket(雲端儲存資料的地方)，並儲存資料。

現在我們想將這個生成的結果存在GCP的雲端上。

Step 1 : 我們先按一下Menu，選擇storage，並按下Create bucket。

Step 2 : 這是關於bucket的設定介面，我們一共需要設定的東西如下，
準備好就可以按Create了!

`名字`：注意這名字一定要**全球唯一**!!!

我們可以直接使用之前的part 0階段產生的 Projcet ID，我們能確保這是全球唯一的，
除非真的是極度的不幸，不然這名字基本上不太可能被其他人使用過XD

「storage class」：可選multi-regional或regional

看想不想要跨地區儲存(全球化的應用會需要)，這邊我們先選regional

「location」：選地區

基本上建議跟當初part 1所建立的 Compute Engine(VM) 在同一個位置，會比較快(減少資料取得時間)。
所以這邊我們一樣選 us-central1

Step 3 : 現在我們該來把我們結果的圖片存進去剛剛建的bucket了，
我們回到我們的 SSH 中，我們直接使用GCP的「gsutil」工具來儲存資料。

gsutil cp earthquakes.* gs://<這邊填上你bucket的名字>/earthquakes/

稍微解析一下這段：
「gsutil」：GCP提供的指令工具
cp：copy
「earthquakes.」：任何符合「earthquakes.」格式的資料，*代表任意值
「gs://<這邊填上你bucket的名字>/earthquakes/」：目標路徑

part 5 : (顯示結果) 找到剛剛儲存的資料，並顯示結果。

Step 1 : 我們回到我們剛剛的bucket，重新整理後，應該會看到檔案已經被儲存了。
會看到三個檔案「earthquakes.htm」, 「earthquakes.png」, 「earthquakes.cs」。

這表示這三個檔案已經透過剛剛的指令被複製進我們的bucket了。

Step 2 : 再來我們要將我們在雲端所儲存的東西，製作成一個連結分享出去。
先在左方紅框處的地方打勾，然後再打勾右方紅框處(才會看到顯示Public link)。

※新版的介面UI改了，我們改在 SSH 中執行以下指令，以達到一樣的效果：

gsutil acl ch -u AllUsers:R gs://<這邊填上你bucket的名字>/earthquakes/*

Step 3 : 點一下Public link，就會顯示剛剛結果圖了，我們也可將這結果分享給別人(公開的情況下)。

可以稍微注意網址：「storage.googleapis.com/<我們bucket的名稱>/earthquake/earthquake.htm」
這就像是一般我們常見的資料夾結構

到這邊我們就算完成我們這次的lab了，
這次的lab我們主要學習的目標有：

Compute Engine (VM) 的租用，並在上面運作程式碼
使用 Cloud Storage 儲存資料

不過在之後的lab中，就不會再使用這個VM了。

這個lab主要的目的是在建立所有GCP上內容的基礎以及知識。
之後自己想做 Side Project 也必須用到這些觀念。

在之後大部分的課程中，我們將改使用 Managed Services。
Managed Services 允許我們直接在上面跑程式，而不需要再自己配置VM、安裝軟體了。

Managed Services 是一種更高階的方式運用 Cloud Services。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 10】 Google ML - Lab 1 - Rent-a-VM to process earthquake data - 在google雲端上分析地震資料與製圖，並儲存在雲端

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】9 - Lab 0 - Intro to Qwiklabs - 每次在google雲端上開始lab前都要的事前準備與注意事項

Tue, 10 Sep 2019 02:48:08 +0800

前言

今天我們繼續 How Google does Machine Learning 的第五章節~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第五章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Python notebooks in the cloud
- Module Introduction
- Cloud Datalab
  - Cloud Datalab
  - Demo: Cloud Datalab
  - Development process
  - Demo of rehosting Cloud Datalab
- Working with managed services
- Computation and storage <– (昨天到這邊)
- 「Lab: Rent-a-VM」
  - 「Intro to Qwiklabs」
  - Intro to Renting-VM Lab
  - Lab: Rent-a-VM to process earthquake data
  - Lab debrief
- Cloud Shell
- Third wave of cloud
  - Third Wave of Cloud: Fully-Managed Services
  - Third Wave of Cloud: Serverless Data Analysis
  - Third Wave of Cloud: BigQuery and Cloud Datalab
- Datalab and BigQuery
  - Lab Intro: Analyzing data using Datalab and BigQuery
  - Lab: Analyzing data using Datalab and BigQuery
  - Lab Debrief: Analyzing Data using Datalab and BigQuery
- Machine Learning with Sara Robinson
  - ML, not rules
- Pre-trained ML APIs
  - Vision API in action
  - Video intelligence API
  - Cloud Speech API
  - Translation and NL
- Lab: Machine Learning APIs
  - Lab: Pretrained ML APIs Intro
  - Lab: Invoking Machine Learning APIs
  - Lab Solution

Lab: Intro to Qwiklabs

課程地圖

Python notebooks in the cloud
- Lab: Rent-a-VM
  - Intro to Qwiklabs
  - Intro to Renting-VM Lab

這邊會進入我們第一個lab，我們可以從Coursera直接執行我們的應用，
我們可以參考下圖的使用說明：

Step1: 在Coursera點選一個Lab
Step2: 按下藍色的Open Tool(藍色按鈕)，進入Qwiklabs
Step3: 在Qwiklabs按下START LAB(綠色按鈕)，開始一個lab
Step4: 在開始lab的同時，會有一些credentials被同時生成(對應各個帳號)
Step5: 在Qwiklabs可以點選Open Google Console(黃色按鈕)
Step6: 他會要求你登入Google Home platform，這個帳號密碼在Step4找得到(並非個人google帳號)

再來我們來實際執行一次吧！(這裡的截圖取用影片中的範例，帳號密碼也只是影片中的範例)

part 1 : 開始執行階段

Step 1: 按下藍色的Open Tool按鈕

Step 2: 可以在右邊閱讀這個lab的詳細內容與注意事項，
按下綠色的START LAB(綠色按鈕)就會進入Qwiklabs，
這個視窗在開始Qwiklabs後可以不用關閉，繼續查詢lab的內容。

Step 3: 開始lab之後，右上角時間會開始倒數，
不過這個不用擔心，時間基本上一定夠做得完lab。
(如果真的做不完，還可以再重啟lab，使他重新倒數計時。)

我們也可以看到左側產生的各種帳號、密碼與 Project ID，作為之後的步驟使用
(這裡的帳號、密碼與 Project ID都是臨時且唯一的，在lab結束後就會消失。)
下一步我們就按上方的 Open Google Console。

Step 4: 這裡會要求登入google，請務必輸入「Step3中的「帳號密碼」」，而不是自己的帳號。
並同意使用條款，手機認證不用管沒關係。

Step 5: 這邊也要同意GCP的使用條款。

Step 6: 看到這個畫面，基本上準備程序已經完成了。

注意事項 1：注意上方的project名稱是否有對應Step3中的lab名稱
(不過這邊親測基本上除非名字差太多，不然基本上應該是都沒問題的。)

如果真的不同的話，按上方的project名稱，點選正確的名稱打勾即可。

part 2 : 運行中階段

左上角有Menu可以找到全部的功能

右上角(紅框處)有可以開始執行 Google Cloud Shell 的功能 (terminal for Google Cloud Platform)

part 3 : 結束運行階段 (重要)

結束運行的階段非常重要，不可以直接關閉(可能會造成其他lab有使用上的問題)

Step 1 : 我們回到這個畫面按下紅色的END LAB按鈕，並確認關閉。

沒有正常關閉可能會造成下次執行同lab出問題，或是執行其他lab出問題。
「另外一個重要的注意事項」：只要關閉lab，裡面的 datasets 或 working 皆會全部清除。
記得要先做好儲存的動作，不論是儲存在 GCP的帳號中(不等於lab的這個帳號) 或自己的電腦裡皆可。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 9】 Google ML - Lab 0 - Intro to Qwiklabs - 每次在google雲端上開始lab前都要的事前準備與注意事項

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】8 - Lesson 7 - 先來初步認識一下google雲端上執行 python notebook (Cloud Datalab) 的環境

Mon, 09 Sep 2019 02:45:51 +0800

前言

今天我們先進入 How Google does Machine Learning 的第五章節，之後再回到第四章~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第五章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

Python notebooks in the cloud
- 「Module Introduction」
- 「Cloud Datalab」
  - 「Cloud Datalab」
  - 「Demo: Cloud Datalab」
  - 「Development process」
  - 「Demo of rehosting Cloud Datalab」
- 「Working with managed services」
- 「Computation and storage」
- Lab: Rent-a-VM
  - Intro to Qwiklabs
  - Intro to Renting-VM Lab
  - Lab: Rent-a-VM to process earthquake data
  - Lab debrief
- Cloud Shell
- Third wave of cloud
  - Third Wave of Cloud: Fully-Managed Services
  - Third Wave of Cloud: Serverless Data Analysis
  - Third Wave of Cloud: BigQuery and Cloud Datalab
- Datalab and BigQuery
  - Lab Intro: Analyzing data using Datalab and BigQuery
  - Lab: Analyzing data using Datalab and BigQuery
  - Lab Debrief: Analyzing Data using Datalab and BigQuery
- Machine Learning with Sara Robinson
  - ML, not rules
- Pre-trained ML APIs
  - Vision API in action
  - Video intelligence API
  - Cloud Speech API
  - Translation and NL
- Lab: Machine Learning APIs
  - Lab: Pretrained ML APIs Intro
  - Lab: Invoking Machine Learning APIs
  - Lab Solution

1. Module Introduction

課程地圖

Python notebooks in the cloud
- Module Introduction

這章基本的用文字介紹了一下雲端的環境，
我們會用python notebook做機器學習的開發，
而notebook的服務在google雲端上。

Cloud Datalab基本上是本章節使用的開發環境，
而此服務在VM上運行，包含python notebook，
我們同時也會教學Compute Engine的原理與Cloud Storage的知識。
既然是VM就必須提調VM的兩個特性：

可以實際控制與更改notebook的機器內容，且無須重寫 > 例如：添加GPU或增加更多memory
VM是短暫的，如果想保存內容須保存在VM外 > 而這點最方便的方法就是使用Cloud Storage。 > 我們將notebook的內容保存在Cloud Storage中， > 同時還能達到版本控制的效果。

而這個章節的學習目標，我們可以參考如下：

Module Learning Objectives(這個module的學習目標)

Carry out data science tasks in notebooks

練習使用notebooks完成資料科學的任務

Rehost notebooks on the cloud
在雲上使用notebooks，並更改硬體規格

Execute ad-hoc queries at scale
我們將將Cloud Datalab與BigQuery一起使用，BigQuery是雲上的數據分析服務，可以讓超越傳統數據庫的執行速度與規模進行queries的查詢

Invoke pre-trained ML models from Datalab
能使用一些pre-trained ML models(前面的章節有介紹到)，並在Cloud Datalab中運行。

2. Cloud Datalab

課程地圖

Python notebooks in the cloud
- Cloud Datalab
  - Cloud Datalab
  - Demo: Cloud Datalab
  - Development process

這章稍微介紹了一下Datalab的環境，以jupyter作為基礎的open source平台。
下面為Datalab的介面展示：

可以看到主要有三個部分：code, output, markup sections彼此交錯
也因為這樣的交錯才能使notebook如此實用，

code:

在此打你的python code
執行code的方式: 按「shift+enter」或按上方的「Run botton」

output:

注意output可以為圖形，不像command line一樣。

markup:

可以寫一些markup(markdown語法)，可以解釋你這個部分在做什麼。

最後是綠色部分:

有可以將notebook匯出的按鈕，可以將此notebook下載下來。
可以commit code至Google Cloud Platform至code repository的按鈕。
「Clear all」: 清除所有output
「Run all Cells」: 執行所有Cells

所以整個Datalab的使用流程大概可以表示成下圖：

另外要特別強調的是，Datalab的一大特色是可以線上協同合作
傳統的notebook要線上合作有個基本的問題，誰當host?
一但host只要關機，任何人都無法繼續工作。
而Datalab解決了這個問題，而我們只要給一個URL就可以了。

另外一種Share的方式可以利用版本控制系統，例如Git，
而且只要我們想改動硬體的規格，任何人都可以直接改好後，
重新啟動VM，就直接以新的硬體規格來執行程式。

簡單來說，Datalab架於雲端的VM上，任何人只要連線即可開始工作。
而只要工作結束了，隨時也能將此VM刪除。

3. Demo of rehosting Cloud Datalab

課程地圖

Python notebooks in the cloud
- Cloud Datalab
  - Demo of rehosting Cloud Datalab

這個章節主要來介紹如何在Datalab中更換VM的硬體規格。

Step1. 先將想更改規格的VM打勾，上方按下暫停VM

Step2. 點選Edit，在方框處更改想要的硬體規格，記得在下方按"Save"

Step3. 點選要重啟的VM，按上方Start，確認重新Start

小提示：在未來的lab中，我們只需要用到"n1-standard-1 VM"(basic plain vanilla virtual machine)的硬體規格，就已經非常足夠執行我們所要的程式。

4. Working with managed services

課程地圖

Python notebooks in the cloud
- Working with managed services

這個章節會介紹透過雲端執行ML時的大致流程。

以讀取CSV file作舉例，如果是一般的處理方式，
首先我們將CSV file可以透過Pandas and Apache Beam進行資料前置處理，
再丟入至Tensorflow進行訓練，透過訓練使其不斷的進步。

如果同樣的例子透過GCP的方式處理，
首先用Google Cloud Storage儲存資料，用Cloud Dataflow進行資料前置處理，
再用Cloud Machine Learning進行訓練，透過Cloud ML Engine進行參數最佳化。

使用GCP就能產生與其他GCP產品一樣的效果，
而且數千台機器同時探索並分析數據，
而且就算已經習慣使用如Pandas, Seaborn 或 Plotly之類的工具，
也能夠直接在GCP使用，透過API直接串連起來。

Compute Engine
先去Cloud Shell並輸入"datalab create"，並設定一些參數，
例如compute zone, machine type，這些都屬於Compute Engine。

Compute Engine是一種向雲端租借的機器(VM)，所以也代表不用永久擁有。
當VM消失時，在此機器上的工作也會消失，
因此我們還會在下一個章節中介紹Cloud Storage的知識，
Cloud Storage就是透過雲端來幫助我們儲存這些資料的地方，避免資料遺失。

5. Computation and storage

課程地圖

Python notebooks in the cloud
- Computation and storage

這個章節會介紹Compute Engine的原理與Cloud Storage的知識，
了解Compute Engine可以清楚我們是怎麼在雲端運算的，
了解Cloud Storage則可以清楚資料是怎麼儲存的。

Compute Engine基本上可以想像成是分散在世界各地的CPU，
而Cloud Storage則是分散在世界各地的儲存裝置(硬碟)。

Compute Engine
Datalab雖然是一個Compute Engine所執行的，
但我們可以客製化我們的Compute Engine，

例如：幾核心電腦、有多少memory、硬碟有多少容量、作業系統
而這些設定皆可以修改，不用太擔心一開始的設定值。
VM上的disk速度非常快，但當VM消失時，disk也會消失。

Cloud Storage
而Cloud Storage是持久的，也就是說放在Cloud Storage的資料會被複製存儲在多個位置。
我們可以透過任何電腦取得這些資料，並直接讀取內容。
而Google Center的網路以petabit bisectional bandwidth速度在通信，
這也代表著十萬台機器可以以每秒10 gigabits的速度在相互通信。

我們來談一下資料在雲上的形式，
一個典型的Cloud Storage URL可能看起來像gs:acme-sales/data/sales003.csv，
我們稱這樣的資料存儲為"bucket"，bucket的名稱是全球唯一的，
就像是domain name或internet URL一樣，
基本上除非真的非常不幸，否則bucket的名稱很難已經被使用。

Compute Engine與Cloud Storage的連結方式：
gs URL 就像是一個資料結結構一樣，一個gs URL對應一個在Cloud Storage的物件
我們可以使用gsutil來取用他，這是一個給command line用的工具，
我們可以透過Google Cloud SDK下載到他，
雲端上的Compute Engine已經內建好gsutil了。

如果是想在自己的電腦使用，可以去下載Google Cloud SDK，裡面包含gsutil的功能。
Gsutil 也使用大家所熟悉的 Unix command line的表示方式：

像是 MB 與 RB 代表著"建立bucket"與"移除bucket" (這個真的滿有熟悉感的)
或 CP 代表著"copy"

如果不使用command line，也可以使用GCP console 或 programming API, REST API
我們示範一個複製大量檔案作為例子，我們將sales*.csv複製到一個特別的Cloud Storage位置
(註：我們前面提到Cloud Storage buckets是耐久的，也就表示這資料會被重複儲存至多個位置。)

不過這裡要提醒的是，雖然資料被儲存在多個位置，但不代表不用在意"網路延遲問題"，
可以的話還是盡量把資料儲存在計算的位置附近。

另外一個情況是可能有時會有區域的伺服器故障，
我們應該要分散apps與data至多個zones以保護這樣的情況，
一個zone故障了，可以即時調用附近的zone來接續服務。
zone是分散在一個regions的不同位置，被命名為「region name-a zone, letter」，

而當我們建立一個全球可用的app，
我們就可以考慮分散apps與data在不同的regions，來為全球的客戶提供服務。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 8】 Google ML - Lesson 7 - 先來初步認識一下google雲端上執行 python notebook (Cloud Datalab) 的環境

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】7 - Lesson 6 - How Google does ML (下) - 讓ML在企業運行的五大階段與注意事項

Sun, 08 Sep 2019 02:43:55 +0800

前言

今天來完成 How Google does Machine Learning 第三章節的最後部分~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

How Google does ML
- Introduction
- ML Surprise
- The secret sauce <- (昨天到這邊)
- 「ML and Business Processes」
- 「The Path to ML」
- 「End of phases deep dive」
- Module 3 Quiz

1. ML and Business Processes

課程地圖

How Google does ML
- ML and Business Processes

(from “No ML” to “ML”)在目前的組織中加入ML的方式，我們可以先原先的業務流程來看，
我們先觀察客戶與公司之間的活動，這裡以call center作為例子：

現在有個call center

call center員工接聽客戶問題，回答客戶問題
詢問顧客滿意度調查
依據調查結果，整理調整回答問題的方式與內容(訓練機構)
將調整後的內容給員工訓練

而這樣的例子我們用一個較一般化的表示方法如下圖：

這樣就是一般的 General Feedback Loop，我們試著在其中加入ML，
這裡我們必須先提到有五點 Path to ML 的方法

Individual contributor

一個人負責這件事情
Delegation

開始多人負責這件事情，有組織化，或有組織平行的在運作相同任務
(通常到這階段會開始制定一些rules)
Digitalization

開始將一些"重複性高"的動作(rules)，透過電腦來自動化幫人處理
一個容易理解的例子：ATM
Big Data and Analytics

使用大量的data去更符合使用者的需求(insights)
Machine Learning

再將前面的所有資料，去進化我們的電腦處理流程(使完全自動化處理)
(自己的註：這邊的自動化，指的是連"符合使用者的需求“這件事也自動化了)
例子：youtube推薦，要先讓使用者有回饋給youtube喜好，youtube才能主動推薦影片

而回到我們該如何加入進去我們的 General Feedback Loop，

- Individual contributor - Delegation - Digitalization

前三個步驟裡面可以影響到process本身，
這三個步驟主要是再處理使用者面臨到我們產品的階段。

- Big Data and Analytics - Machine Learning

Big Data and Analytics主要影響到的是我們如何找尋使用者的insights，
簡單換句話說就是知道(或更加清楚)使用者想到的是什麼，

Machine Learning，我們原本藉由調查來知道使用者需求(上一個階段)，
並依這件事情訓練員工，使顧客能享受到更好的服務，
但現在我們可以用ML處理掉這階段，使得訓練員工(員工現在已經是我們的電腦)，
自動化的讓顧客能享受到更好的服務。

2. The Path to ML

課程地圖

How Google does ML
- The Path to ML

這個章節我們要接續講上章的Path to ML，
但我們要來更詳細分析這幾個階段，
如果需要定義的話可以往上一章節看。

而在這個章節中，我們也可以拿這五個步驟來檢視一間企業目前可能碰到的問題。

Path to ML的五大步驟如下圖：

Step1. Individual contributor

由個別的人去應對一件需求。

如果skip這步驟會怎麼樣?

- 可能很難擴展規模。
沒有一個人先嘗試過，或先提早失敗過，直接建立一個很大的團體，如果問題發現後，很難能夠整個組織大幅度的調整。

如果這步驟太久會怎麼樣?

一個人掌握了所有的技術，當他離開時也將所有技術帶走，公司直接沒有了這樣的技術，嚴重可能公司因為沒有會此技術的人而停止運作。
- 很難去擴大規模去應對使用者的需求。

Step2. Delegation

開始由個別的人擴展變多人去應對一件需求，能同時處理需求的量也提升。

如果skip這步驟會怎麼樣?

不知道怎麼建立process，很多rules都是再規模化的這階段被建立起來的。如果沒有rules，也很難在下一個步驟交由電腦自動完成。

可以再這階段累積大量不同的使用者需求，藉由不同人不同個性能得到不同的回饋經驗，例子：call center，每個人回覆的個性不同，也能幫助我們收集需求考慮得更全面。 (反過來說skip就沒有)

也是藉由大量客戶的反應回饋，造成**human in the loop**的良性循環。 (使客戶能反覆地提供我們改進的地方。)

如果這步驟太久會怎麼樣?

付出很高的成本在服務每一個客戶 (試想一個人一直待在銀行，只為了等待客戶來處理事情的成本，與ATM比較)
- 有太多的人，就會有太多種聲音，可能導致服務標準不一致。 - 甚至最後可能會讓組織發展停留在這階段。

Step3. Digitalization

開始讓電腦來代替人力去自動化處理一些反覆的事情。

如果skip這步驟會怎麼樣?

- 就算是ML，也需要一些基礎的設備
沒有先做一些基本的IT project(software)，沒辦法提早在這階段先測試一些簡單的case能否成功，直接跳到ML階段，導致ML失敗，整個project也失敗了。

如果這步驟太久會怎麼樣?

你的競爭者更快速的收集資料，並搶先找到新的insights，別人的**General Feedback Loop**先被良好的建立後，你可能就會被打敗。

Step4. Big Data and Analytics

藉由自動化的服務，收集大量使用者的數據，並找到新的使用者需求(痛點)。

如果skip這步驟會怎麼樣?

- 不夠乾淨與組織化的資料，你也不知道做ML訓練的最終目的是為了什麼。
沒有大量數據的證明，很難預估自己會成功。 ML是拿來**improving**成功的，也就是要先有一定的基礎才能透過ML強化，我們先自己反覆的做這樣的分析，再交由ML替我們分析，這樣ML訓練能順水推舟。

如果這步驟太久會怎麼樣?

基本上，在這裡待很久並不會產生太大的問題， google也很常在這個階段停留非常久、甚至數年。

但是透過ML能分析得更快，甚至讓結果更好，停留在此有可能會限制能解決問題的複雜性。

Step5. Machine Learning

這個步驟就是將前面的步驟(Step4. Big Data and Analytics)自動化，
透過ML能處理的訊息量遠遠超過一個人能應付的極限，
而且我們能用更快的速度處理前面所有的需求，
甚至是更細緻的細節處理，帶來整體更好的效率與體驗。

3. End of phases deep dive

課程地圖

How Google does ML
- End of phases deep dive

這章節是Path to ML的總結論，另外我們也會在此試著用另外的角度來看這五個流程。

我們一樣先回到五個步驟，我們換個圖來表示：

觀點1：誰是執行者?

從第一列我們可以看出，> 階段從
一個人(階段1.)->
很多人(階段2.)->
電腦處理(階段3.4.5.)」

觀點2：我們怎麼選擇調整的參數? (我們從哪裡知道如何調整以符合使用者需求?)

從第二列我們可以看出，階段從
一個個的調查結果(階段1.2.3.)->
調查結果整體分析(階段4.)->
調查結果分析並找出公式(階段5.)

觀點3：誰來幫助我們進步? (我們自己如何調整以符合使用者需求?)

從第三列我們可以看出，階段從
員工手冊或有人帶領新員工學習新的應對方式(階段1.2.) ->
工程師找到規則，並對機器coding符合使用者需求(階段3.4.) ->
machine learning(階段5.)

最後的提醒：

從沒有到直接"完全的使用ML"來解決問題是很危險的(對企業來說) 依照上面所說的Path to ML做可以減少很多不確定性，是比較安全的做法
- Path to ML的終極目標就是將整個**General Feedback Loop**的過程自動化。 - 使用GCP平台的協助，能使這段Path to ML過程更加順利。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 7】 Google ML - Lesson 6 - How Google does ML (下) - 讓ML在企業運行的五大階段與注意事項

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】6 - Lesson 5 - ML會失敗的最常見十大陷阱與企業運行ML時，在ML各階段應該放的比重與心力

Sat, 07 Sep 2019 02:43:12 +0800

前言

今天來閱讀 How Google does Machine Learning 的第三章節~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第三章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

How Google does ML
- 「Introduction」
- 「ML Surprise」
- 「The secret sauce」
- ML and Business Processes
- The Path to ML
- End of phases deep dive
- Module 3 Quiz

1. ML Surprise

課程地圖

How Google does ML
- ML Surprise

ML是什麼?

ML是一種透過讓電腦寫程式去完成一項任務。
而這個電腦只需要看一大堆"例子"，就可以自動想到最好的"程式"。

傳統的軟體工程

軟體工程師寫一大堆code(描述rules)，
使我們能達成目標(inputs能產生對應Outputs)

ML會自己想出這些rules該怎麼完成

一樣能使我們能達成目標(inputs能產生對應Outputs)

ML Surprise

defining the KPIs -> 想要達成的目標
collecting the data
building the infrastructure
optimizing the ML algorithm
integration -> 整合組織內部之前的所有系統

上圖我們會發現一件事情是，很多公司會期待如上方的時間分布，
但我們真實的時間分布應該如下圖，
有許多公司花太多時間在優化演算法上，
甚至會想要不斷的使用最新最強的演算法，
但就結果而言這樣並不會比較好，我們甚至更應該花時間在找資料上。

另外還有一點是，我們也應該花少一點時間去訂KPIs，
ML的影響力有可能短期對於KPI並不會有很大的影響，
但就長期來看，ML的預測準確性會不斷提升，影響力是非常長遠的。

2. The secret sauce

課程地圖

How Google does ML
- The secret sauce

這個章節講到ML失敗的最常見10大陷阱，也算是google自己對客戶的經驗談，
(配合前一章節提到的五個階段)

(最常見的第一名)認為訓練自己的ML演算法會比寫軟體還快

只依靠演算法建ML系統，實現演算法的過程仍需要一堆透過軟體才能實現的事，
而這件事情往往只會使整個過程更加複雜。
所以我們更推薦先從簡單的軟體開始先寫。
你想做ML，但你"沒準備好data"

就請先停止別做ML，去蒐集資料吧，沒有資料你是做不了ML的。
你以為data已經準備好了

這裡還有一種的經驗是，很多企業說自己擁有資料，
但那些資料是已過時，甚至沒有人整理過的，
沒有整理過的資料，甚至都不清楚資料裡面有什麼，
公司內也沒有人最近有去查看這些資料並提出新的想法，
這些都算是"沒準備好data"(還沒有"價值"的data)。

相信我，等到要開始訓練ML時，你會花更多的心力在處理資料上，
甚至是為了乾淨的資料還要重新收集，這才會是更大的挫折。
將人員保留在循環中

當有人開始在系統中訓練ML的系統時，那些人會變得相當重要。

這段個人的理解是，以google來說，
使用者通常能夠提供ML的結果反饋，
我們需要想辦法讓人能持續地給系統的反饋，
(因為沒有這些人，我們就沒有資料，他們非常的重要)
太過專注於研究最好的ML演算法

以使用者的角度來說，不論他們得到的是不是ML的結果，
他們會更在乎的是有沒有得到好的建議或很酷的觀點。
一開始，從我們ML系統得到的結果也許不是最好的，
但我們要使使用者能喜歡我們的產品，使他們不斷持續地投入。
這樣我們的結果就能不斷的更加優化。
ML往不好的方向最佳化

提到這裡也還有另外一個可能的問題，
我們也要避免不正當的得到回饋，
例如像是讓使用者一定要定期回饋使用心得，
或者我們採取了不好的方式取得資料，像是一定要點擊某個結果，
這部分是需要思考的，因為這有可能使我們的ML學習到不良的內容。
你的ML對真實世界是有幫助的嗎?

要記得去思考你的ML結果對世界有沒有幫助，
你訓練了他，把他放在那裡為用戶服務，
但無法說他有多好，或沒辦法分辨他有辦法讓客戶能終身參與，
或是使他具有終身價值，這樣沒辦法向人說明這個ML是有用的。
到底要自己訓練一個model還是使用pre-train model?

使用pre-train model在初期能夠省下不少時間，
初期使用也能幫助功能快速完成，而且也較容易使用。
ML演算法需要訓練多過一次

事實證明，一個好的ML演算法需要訓練非常非常多次，
很多人會只訓練一次，並拿結果來說很好，
但事實上可能只完成了10%左右，
一個好的ML演算法，他需要被訓練很多很多次。
想要設計自己的知覺偵測模型或使用自己的NLP演算法

這是一種特殊的陷阱，事實上以NLP來舉例，
google解決這些問題都是經過數十年的研究而得到很好的調整，
而以商用來說，你幾乎只需要一個現成的、已經製作好的或已經定義好的，
先不要嘗試在這部分試圖做自己的研究，這會非常的貴。

聽到這你可能會覺得，天啊，ML怎麼會有這麼多的陷阱，
但好消息是，ML的價值是長遠的，
而且ML能達成幾乎比任何已經有的產品還要更好的結果。
同時，當你覺得ML難時，你的競爭者也會覺得ML很難。
但當你有ML產品釋出時，你能給顧客帶來更好的使用者體驗，
而且不斷的使用者回饋能使你的ML開始一直一直不斷的精進。

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 6】 Google ML - Lesson 5 - ML會失敗的最常見十大陷阱與企業運行ML時，在ML各階段應該放的比重與心力

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】5 - Lesson 4 - What it means to be AI first (下) - ML要成功的秘訣與策略

Fri, 06 Sep 2019 02:37:32 +0800

前言

今天繼續完成 How Google does Machine Learning 的第二章節最後一部分~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第二章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

What it means to be AI first
- What it means to be AI first
- Two stages of ML
- ML in Google products
- Demo: ML in Google products
  - Demo: ML in Google Photos
  - Google Translate and Gmail
- Replacing heuristics
- It’s all about data
- Framing an ML problem
  - Lab Intro - Framing an ML Problem
  - Framing an ML problem
  - Lab debrief
- ML in applications
  - Demo: ML in applications
- Pre-trained models
- The ML marketplace is evolving <— (昨天到這邊)
- 「A data strategy」
- 「Training and serving skew」
- 「An ML strategy」
- 「Transform your business」
  - 「Transform your business」
  - 「Lab Intro - ML use case」
  - 「Non-traditional ML use case」
- Module 2 Quiz

11. A data strategy (接續昨天的編號)

課程地圖

What it means to be AI first
- A data strategy

這邊講到google map的一些應用

左圖：依照rule"搜尋最快路徑"

需要參考的東西：交通堵塞? 橋未開放?
怎麼蒐集上述的資料?
最後使用 A* algorithm 解決問題 (最短路徑演算法)
以結果來說，終究只是在設定rule

中間：另外一個例子，如何知道使用者在二樓?

wi-fi points, barometric pressure, typical walking speed 之類的資料
你有了這些數據，嘗試使用ML來避免寫rule

右邊：google地圖還能夠推薦使用者?

連接使用者過去的歷史，清楚使用者偏好，並進行推薦
我們希望google map能成為使用者的虛擬助手，
這問題只有ML能夠實現地圖服務的"個人化"

因此，ML就是能超越手寫規則的方法，
手寫規則有太多有可能無法實現的事情了。

從上例中左圖(通用)到右圖(個人化)，
越個人化的事情越只能靠ML來實現，
(前面章節也有提到，這就是local data的問題)

但不管需不需要ML，要完成這些事情我們都需要大量大量的data，
對我們而言，寫rules或models相對來說只是小case。

比喻：ML是火箭引擎，data就是燃料

If machine learning is a rocket engine, data is the fuel.

不論任何的階段，Data永遠是勝利的關鍵，
收集data除了要求量之外，也需要多樣化，

以認識下圖為例子，如果資料太少，你可能用再複雜的規則也不知其形，
隨著資料夠多，整理的樣子就會更加得清楚。

因此，ML最重要最首先的事情，就是收集數據的策略。

ML strategy is first and foremost a data strategy.

12. Training and serving skew

課程地圖

What it means to be AI first
- Training and serving skew

在ML之前，我們還是必須要先分析一下數據

分析數據也代表著要收集資料，掌握數據是最耗時又最難的部分
收集好數據還需要去rating data(finding labels)，有先分析過再進入ML階段可以避免做白工
要建立一個好的ML模型，就要夠清楚你的資料，先分析數據也是為了這點
ML會將產品走向自動與規畫化，也就是ML是數據分析的延伸與擴展。

換句話說，如果不會數據分析，也不能做ML。

有一個常見ML產品的fail原因: training-serving skew

簡單說是兩個單位收集資料的方式不同，造成資料訓練與服務時沒有對應

The problem is that the result of stream processing and the result of batch processing have to be the same.

解決(減少問題發生的機會)方法：
用一樣的方法蒐集資料，一個同時處理batch與stream的階段
所以較好的架構應該如下圖：

13. An ML strategy

課程地圖

What it means to be AI first
- An ML strategy

ML要注意的事情："ML的重點在量而不是在複雜度"

即使是小的ML model有有它的價值。

另外一個心態是，多盡快失敗並反覆重試

The idea is that if you’re failing fast, you get the ability to iterate. This ability to experiment is critical in the realm of machine learning.

從上圖我們可以看到，多嘗試，多快速的失敗，更能夠達到成功。
(慢慢嘗試後得到的慢速失敗(採取比較穩紮穩打的作法)，反而成功的機會會小一些。)

另外提到資料，90%的企業資料皆是沒有被結構化的

試想 emails, video footage, texts, reports, catalogs, fashion shoots, events, news, you name it. All unstructured data.>

不過幸運的是，我們現在處理這些未結構化的資料，
因為有了google的各種pre-trained model已經變很簡單了，
我們就把這些unstructured data丟進這些ML APIs，
我們就能得到一些像entities, places, labels, people… 之類的資料，

因此我們不必在花時間去處理unstructured data，
丟進這些ML APIs，拿結果再丟進我們的 custom ML model 訓練即可。

14. Transform your business

課程地圖

What it means to be AI first
- Transform your business
  - Transform your business
  - Lab Intro - ML use case
  - Non-traditional ML use case

這章節在講ML在商業上怎麼應用
使用ML訓練的方向是什麼? 記住一個字："delight"
如何使你的使用者開心就是訓練的目標。

影片中的舉例：

Did the card get canceled?
Did the flight get delayed, etc.?
Or did they just walk into your store and see an empty shelf?
Why are they contacting you?
Did your system automatically find the right action to take for this customer?
Did it offer to rebook them?

只要是需要想辦法讓使用者開心的問題，都可以是我們訓練的目標。

另一個例子：既然你喜歡的音樂可能有版權問題，
何不自己用ML生一個音樂? 一定會是你最喜歡的。

商業上能受惠於ML的三種方式：

infuse your applications with machine learning

簡化使用者輸入、更適應用戶

use machine learning to fine-tune your business
簡化業務的流程、創造新的商業機會

use machine learning to delight your users
用ML讓你的使用者開心。預測需求，並為他們量身打造

而這裡又有份學習單：

試著去思考公司內一個已經存在的應用，去想哪個部分能夠用ML取代呢?

What are some of the benefits to doing so? > 這樣做的優點是什麼?

What kinds of data would you collect if you wanted to do this? > 你想要這樣做需要收集什麼資料?

Are you collecting that data today? If no, why not? > 你現在能取得這樣的資料嗎?

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 5】 Google ML - Lesson 4 - What it means to be AI first (下) - ML要成功的秘訣與策略

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】4 - Lesson 3 - 我們要怎麼樣設計一個ML問題? 與google提供的一些已訓練好能直接使用的ML模型

Thu, 05 Sep 2019 02:35:58 +0800

前言

今天繼續 How Google does Machine Learning 的第二章節吧~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

第二章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

What it means to be AI first
- What it means to be AI first
- Two stages of ML
- ML in Google products
- Demo: ML in Google products
  - Demo: ML in Google Photos
  - Google Translate and Gmail
- Replacing heuristics <— (昨天到這邊)
- 「It’s all about data」
- 「Framing an ML problem」
  - 「Lab Intro - Framing an ML Problem」
  - 「Framing an ML problem」
  - 「Lab debrief」
- 「ML in applications」
  - 「Demo: ML in applications」
- 「Pre-trained models」
- 「The ML marketplace is evolving」
- A data strategy
- Training and serving skew
- An ML strategy
- Transform your business
  - Transform your business
  - Lab Intro - ML use case
  - Non-traditional ML use case
- Module 2 Quiz

6. It’s all about data (接續昨天的編號)

課程地圖

What it means to be AI first

It’s all about data

這章節就開始再講有關於資料的事情了，
首先我們要知道，很多資料是很難搞的，
例如下圖的例子：

你可能會想…這些資料有什麼特別的?
這些資料很多都是"在地的店名"，
我們稱之為"hard queries, local queries"
而且人們搜尋這個並不是在找網站，而是在找地圖上的商家，
這時你會想一個個的替每家店寫一行新的code rule，
好讓你的搜尋找的到這家店嗎? 聽起來就很"笨拙"吧!

那我們來看看ML怎麼解決問題吧!
現在有個人對著google搜尋"coffee near me"
你看到了兩家店，你該怎麼推薦給他呢?

我們先來想想怎麼收集數據，使它成為ML問題，
ML背後的想法就是"蒐集一大堆例子，使這些變為知識並做未來的預測"

這問題中未來的預測是什麼?

很簡單，就是這兩家咖啡店的其中一家。

可是這問題的例子呢?

比較喜歡去比較近的店?
比較喜歡評價比較高的店?
比較喜歡服務時間較快速的店?
咖啡的品質呢?
咖啡的價格符合CP值嗎?
會不會剛好沒有供應咖啡?
搞不好你更喜歡其中一家店的附餐三明治?
能不能坐下好好喝一杯咖啡?

…… 太多種可能要考慮的點了
那你說我們如果要coding，你要將上述的問題全部變成一個個if的判斷條件式嗎?

所以google寧願讓用戶告訴我們，而不是google自己猜測並寫了一大堆rule，
我們用大量數據做權衡評估結果，而現在我們先將問題簡化成只考慮距離，
但資料怎麼來?

一開始還是以heuristics的方式為主，但google的心態是，
等到資料足夠時(有夠多的例子)，就會拋棄heuristics的方法。

這裡的例子，就是我們前面所說的labeled data，

input：到商店的距離
label：用戶喜歡/不喜歡

然後就開始蒐集資料，能整理出如下圖的結果，

很明顯的我們就能看出，當咖啡店離我們越遠，越沒有人想去。

所以，ML就是關於收集適當data，
然後在良好學習與取得能信任的例子之間取得平衡。

7. Framing an ML problem

課程地圖

What it means to be AI first
- Framing an ML problem
  - Lab Intro - Framing an ML Problem
  - Framing an ML problem
  - Lab debrief

這邊有個ML學習單(可以算是要做ML問題之前要想的心法了吧)：

The first framing (maching learning problem)
-> If the use case was an ML problem….

What is being predicted?
你將預測的東西是什麼，也就是你的答案"X"(label)

What data is needed?
你需要什麼數據呢? <- 非常多種data都有可能會有影響(大量各種的inputs)

The second framing (software probelm)
-> Now imagine the ML problem is a question of software

What is the API for the problem during prediction?
我們需要透過API取得什麼樣的資料?

Who will use this service? How are they doing it today?
誰會使用這樣的服務? 這使用者今天在做什麼?

The third framing (data problem)
-> Lastly, cast it in the framework of a data problem. What are some key actions to collect, analyze, predict, and react to the data/predictions (different input features might require different actions)

What data are we analyzing?
我們要分析什麼資料?

What data are we predicting?
我們要預測什麼?

What data are we reacting to?
當預測結果出來時，我們要做什麼反應?

8. Demo: ML in applications

課程地圖

What it means to be AI first
- ML in applications
  - Demo: ML in applications

舉例：Aucnet - 日本最大的實時汽車拍賣服務
以前是拍下多張照片上傳，
經銷商還要一一比對並指定汽車的型號與部分，非常耗時。

現在只要照著網站上的所說的上傳車子不同角度的照片，
資料只要足夠，透過ML就可以做到即時分析車子的各種資訊，
甚至還能估計出車子目前的售價範圍。

9. Pre-trained models

課程地圖

What it means to be AI first
- Pre-trained models

上章所提到的Aucnet，就是使用在GCP使用Tensorflow服務做成的。

最簡單的在我們的作品中使用ML的方法，就是使用Pre-trained models，

我們可以看見一般的訓練ML方法在左邊，
但右邊的Pre-trained ML models，
就是google都已經幫你訓練好了，可以直接拿這些ML模型使用。

舉例：Ocado - 網路最大線上雜貨店

以往的方式，寫email，慢慢看慢慢分析
後來使用了NLP(自然語言處理)，提取email中的各種資料，
幫助它們能分析email的內容，還可以確認優先級。

但是越來越多客戶不想寫信，它們更希望的是直接交談。

以前的方法，可能要一個個回答他們的電話
現在的方法，使用Dialogflow (google的對話代理工具)，
直接分析對話，拆解使用者需求，能達到一樣的效果。

(影片後面為Dialogflow的演示，以前打黑客松有稍微玩過一下，
也許之後有做這30天的Side Project可以再來玩一下這個?)

10. The ML marketplace is evolving

課程地圖

What it means to be AI first
- The ML marketplace
  這張主要在介紹一些有名的品牌或企業，
  使用google的Pre-trained ML models與他們的用法

以下只說明技術部分：

AUCNET
- custom models - 傳統的土法煉鋼，自己從頭建啦! (膜拜)
Ocado
- NLP API - 自然語言，辨識情緒與文章entities(實體)
Giphy
- vision API - 尋找文字、(另外的例子：拒絕不適當的上傳)
- OCR - 光學文字識別
Uniqlo
- Dialogflow - google更高階的應用 (裡面一堆功能都先幫你內建好呢!)

他們提出的觀點是，現在ML這個領域也有分high level(高階)與low level(低階)，
我們想構建應用，以現在科技的成熟，也不一定要從low level(低階)出發。

雖然像上述一樣許多已經成熟的API可以直接使用非常方便，
不過不見得所有的應用都有像上述的API，
所以我們將從custom models開始教學，
畢竟市場上也必須有人為一些尚未有的功能建構出API，
而或許建構出那個API的人就會是你。 (感受到期待與壓力XD)

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 4】 Google ML - Lesson 3 - 我們要怎麼樣設計一個ML問題? 與google提供的一些已訓練好能直接使用的ML模型

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】3 - Lesson 2 - What it means to be AI first (上) - 什麼是ML? 為什麼ML最近才紅起來?

Wed, 04 Sep 2019 02:34:16 +0800

前言

今天就來進入 How Google does Machine Learning 的第二章節吧~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

【Day 2】 Chapter 1 - 讓你的ML在Google雲端平台運行的五大階段

Course - How Google does Machine Learning

第二章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

What it means to be AI first
- 「What it means to be AI first」
- 「Two stages of ML」
- 「ML in Google products」
- 「Demo: ML in Google products」
  - 「Demo: ML in Google Photos」
  - 「Google Translate and Gmail」
- 「Replacing heuristics」
- It’s all about data
- Framing an ML problem
  - Lab Intro - Framing an ML Problem
  - Framing an ML problem
  - Lab debrief
- ML in applications
  - Demo: ML in applications
- Pre-trained models
- The ML marketplace is evolving
- A data strategy
- Training and serving skew
- An ML strategy
- Transform your business
  - Transform your business
  - Lab Intro - ML use case
  - Non-traditional ML use case
- Module 2 Quiz

1. What it means to be AI first

課程地圖

What it means to be AI first

What it means to be AI first

什麼是AI(Artificial Intelligence)? 與ML(machine learning)差在哪?

AI是一種discipline(學科)，有許多的theory and methods

什麼是ML(machine learning)?

ML是一種toolset(工具集)，ML就是拿來解AI問題的
(ML是讓machine訓練與學習用的，他們沒有intelligent，但會become intelligent)

2. Two stages of ML

課程地圖

What it means to be AI first
- Two stages of ML

ML的兩個stages

Stage1 - training
Stage2 - inference(推理)(也有些人稱為prediction(預測))

Stage1 : training

這邊以 Supervised Learning (監督式學習)作為舉例：

input： input資料本身
label： input資料的所對應的答案 (見下圖左邊)

ML model的本身就是一種數學函數(math functions)
我們的目標 = 讓input經過我們的數學函數(math functions)後產生label
ML 需要的就是 labeled examples = input + label(ture anwser)

Stage2 : inference

經過這樣的學習之後，即使是沒看過的貓，我們的模型也能夠正確的判斷他是貓。
但要達成這樣的事情，關鍵是我們會需要非常非常多的資料。

所以一整個ML模型的產生(two stages)的流程如下圖：

一個好的ML模型，不能單單只有在Stage 1上面下非常多的功夫，
很多研究數據的人員，甚至是書本、教科書都過度強調Stage 1的training重要性，
但這裡就會掉入一個陷阱，過度強調Stage 1模型訓練，
而不進入Stage 2的生產階段，往往實際上所訓練出來的ML模型都是沒有實際用途的。

3. ML in Google products

課程地圖

What it means to be AI first
- ML in Google products

每層layer都是一個function，
一整個model = functions，也稱之為Neural Network

然而Neural Network(NN)也只是一種數學模型而已

其他還有常用在ML的數學模型像是： linear methods, decision trees, radial basis functions, ensembles of trees, radial basis functions

最早的NN沒有這麼多層layer，只有一層，
然而這也代表著為何最近ML才紅起來的幾個關鍵原因：

原因1在於電腦運算能力

越多層(deep NNs)自然需要更強大的電腦運算能力

原因2在於資料的數量

越多層(deep NNs)需要更多的資料來調整參數

原因3在於計算技巧

越多層(deep NNs)需要更佳的計算技巧，否則會花非常大量的時間運算，甚至有大量沒幫助的參數

總和以上原因，這些都是在近幾年才被解決的問題，
所以google才能在近幾年有近4000個deep learning的應用。

Google的產品中到處充滿了ML models，
而且通常一個產品可能充滿了無數個ML models，而非只有"一個"

一個產品中會碰到許多複雜的問題，而我們必須還要去拆解問題，
拆解一個小問題之後，才能針對一個小問題去想出一個ML model去解決它。

One solution needs many ML models.

舉例：how to forecast rather an item will go out of stock?
這不會是只靠一個ML model能解決的問題，
光這個問題我們就能拆成三個小問題，
但三個小問題之中又不見得只靠一個ML model就能解決，
也因此我們才會說一個產品可能充滿了無數個ML models，
而且可能才解決了一個複雜的問題。

4. Google Translate and Gmail

課程地圖

What it means to be AI first
- Demo: ML in Google products
  - Google Translate and Gmail

這個章節大概介紹了 Google Translate 與 Gmail 裡面是怎麼使用 ML的

光是 Google Translate 裡面大概就有這六種不同的ML在使用

Gmail 裡面提到的是跟 Smart Reply (自動回覆)有關的功能，
用到 sequence to sequence model，

不過這樣也表示我們收到的信內容其實有被拿去丟進模型分析了，
雖然不是直接被人拿去閱讀就是(微妙)…… 科技進步與個人資料保護的兩個難題啊。

5. Replacing heuristics

課程地圖

What it means to be AI first
- Replacing heuristics

引用自 Eric Schmidt, the Executive Chairman of the Board at Google 的一段話

“Machine learning,” says Eric, “This is the next transformation. The programming paradigm is changing. It’s not programming a computer. You teach a computer to learn something and then it does what you want.”

這句話非常有趣，裡面沒有提到任何有關於data的事情，
許多人都認為ML只是在做資料結果的預測，
他認為ML是一種可以取代programming的方式，
ML是一種logic，而並非只是在處理data。

舉一個例子，例如我們今天想搜尋"Giants"，
google要怎麼知道我們想搜尋的是 San Francisco Giants 還是 New York Giants 呢?

之前google的作法，會在搜尋時先記錄使用者的位置，
依據不同的位置給予不同的搜尋結果(如下圖)，
我們可以看到有一堆rules，來決定顯示什麼結果給使用者

很明顯的，這樣的做法是非常"笨重"的，
這種做法，每當我們想加入一個新的結果，
我們必須再為了多那結果去coding一行判斷式，只為了判斷新的東西，
而且這種做法通常會導致非常難維護。

然而，我們怎麼不嘗試用使用者的搜尋熱度去自動決定結果呢?
因此，依據此概念產生的deep ML model, RankBrain就出現了，
除了依照使用者的搜尋熱度可以自動的動態調整顯示結果，
而且這樣的模型還能夠靠自己就能不斷的進步。

透過 ML 取代 heuristic rules 就是在講像這樣的事情，

ML還能夠替我們解決什麼問題? 如果提到 ML 未來的可能性，
google認為，只要任何是能夠被寫下rules的東西，ML都可以完成，
而且不只侷限於統計分析的這類事情。

Notice that saying that machine learning is a way to replace rules, notice that this is a far more expansive answer to what kinds of problems can machine learning solve.

所以 Google 說自己是 “AI-first” company，
他們認為 ML 在未來可以取代任何 coding 中所寫的 rules，
只要能收集正確的資料，都可以透過 ML 去完成同樣的問題。

我們可以開始用新的角度來思考問題，

我們不用再去想該如何替問題的改變去 coding rules，
我們只需要想怎麼根據資料去訓練模型。

我們不用再去想要為了修bug，去替它增加一個新的 rules，
我們只需要想怎麼根據新資料去繼續訓練模型。

至於處理那些特別的inputs與特別的rules，
我們只需要想怎麼建立更大規模的模型，來應對這些需要的預測。

(這段真的太猛了…，如果真的實現了等於不用再慢慢地針對情況一一對應coding了，
未來的工程都是在訓練模型，只是將我們coding所實現的rule，皆轉換成訓練的目標)

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 3】 Google ML - Lesson 2 - What it means to be AI first (上) - 什麼是ML? 為什麼ML最近才紅起來?

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】2 - Lesson 1 - Introduction to specialization - 讓你的ML在Google雲端平台運行的五大階段

Tue, 03 Sep 2019 02:31:55 +0800

前言

今天就廢話不多說直接來進入 How Google does Machine Learning 的課程吧~

這次鐵人賽的30天中，我目前所寫文章的所有課程目錄如下：

【Day 1】準備日 - 註冊coursera與訂閱課程

Course - How Google does Machine Learning

裡面又有五大章節，今天就先從第一章節開始看吧
第一章節的課程地圖：「(紅字標記為本篇文章中會介紹到的章節)」

「Introduction to specialization」
- 「Introduction」
  - 「Intro to ML on GCP Specialization」
  - 「Specialization Agenda」
- 「Why Google?」
  - 「Why Google?」
  - 「Why Google Cloud?」
  - 「Latest from Google」
- 「Module 1 Quiz」

1. Intro to ML on GCP Specialization

課程地圖

Introduction to specialization

Introduction

Intro to ML on GCP Specialization

此章節有一個影片，介紹了 Google Cloud Platform (GCP)的服務，
另外有提到未來會使用於機器學習的程式語言是python(在GCP上)，
以及提到 Google BigQuery 的服務與 Open Source 的 Tensorflow 的整合，
替整個數據研究與機器學習對於公司組織應用上更加的便利了

(以自己的經驗來說，將整個機器學習的服務移至雲端，
這樣確實能在買硬體的成本應該能省下不少錢，
而且需要時再訂閱也不擔心買了硬體擱置不用的問題。)

2. Specialization Agenda

課程地圖

Introduction to specialization
- Introduction
  - Specialization Agenda

這章提到了 GCP 上的 ML 整體的運作流程，
主要分別五大步驟，影片中提到的圖片如下
(不確定有沒有版權問題，有的話我再將圖拿掉)

2.1. Why ML?

影片中提到這章節也許單純的介紹會無聊會讓你想直接跳下章學習(笑，真懂XDD)
但有一句話提到這張的重點，我們還是必須清楚整個 GCP上的ML的架構，
這樣未來在使用時你才能夠在大方向的掌握使用上的進程。

The big picture is very important for you to be able to get buy-in from the rest of the organization.

2.2. ML with Tensorflow

想藉由完成TensorFlow完成Machine Learning，至少需要兩件事情，

準備"好的"資料集
使用TensorFlow建立你的機器學習模型

影片中有特別提到準備"好的"資料集是一個不能忽略的重點，
有許多訓練好的模型結果最後的產品失敗(甚至是某些企業都會失敗)，
這時候通常原因都是需要回來檢查我們的資料集。

2.3. Improving ML Accuracy

這個章節會灌輸你一大堆能精進ML模型結果準確度的想法與觀念，
然而不同的情況自然會使用不同的想法與對應方式，
所以這章節更多是教觀念，幫助我們在之後面對更多 Machine Learning 上面的問題，
而且還提到需要花時間去消化觀念並能運用到code中，不可只知其觀念名。

2.4. ML at scale

這個章節主要會提到如何讓訓練完成的ML模型進入產品化的階段，
這個部分可能又比前面還要更加的困難，許多企業級的ML projects也經常失敗在此處。

Operationalizing a Machine Learning model 大概又可以分成以下幾步驟

training it at scale in a distributed way
serving out the predictions
building a Machine Learning model end to end

而在此章節將依照以下順序講解：

how to train, deploy
predict with ML models in a way that they’re production ready
delve back into Machine Learning theory

最後會回到 Machine Learning的理論講解，
不過ML理論本身是多屬於heuristic(啟發式)的，
也就是我們幾乎只能仰賴一些工具與技巧。

因此我們將介紹一些工具跟技巧，提供的範例主要是在訓練圖片時有效，
但這些也有助於在處理時間序列數據或文本數據更佳有效。

2.5. Specialized ML models

最後這章節會介紹一些能建立 powerful recommendation systems 的方法，
Recommendation systems是一種ML model，
指的是你怎麼建立你個人化的演算法的方式，
大多數ML工程師也會在職涯的某些階段中會逐漸建立起來這樣的個人化演算法。

事實上這部影片認為，也許最後只會有一種ML system被大家所建，
但在建立powerful recommendation engines之前，
我們都會反覆碰到前四章所學的東西，不論是對工具與技巧的理解等等，

我們可能在各種不同的地方學習ML，但儘管如此，細節也有可能完全不同，
所以當你在碰到的新的ML教材時，也不要完全跳過他，將他視為有用的複習課程，
並在一次確定自己還記得這些部分中提出的想法。

3. Why Google?

課程地圖

Introduction to specialization
- Why Google?
  - Why Google?

影片中提到了一些machine learning與我們日常的關係，
特別是以下的圖片中的應用大家應該都不陌生。

此外一個驚人的事實是，近幾年使用machine learning逐漸上升，
就連google已推出了突破4000個有關於machine learning應用的產品。
(近幾年的飆升真的滿驚人的)

4. Why Google Cloud?

課程地圖

Introduction to specialization
- Why Google?
  - Why Google Cloud?

影片中提到一般人認為的ML服務(ML serving, not just ML training)可能像下圖，
很多人可能花了非常大量的時間再處理圖片的左半部，
然而，ML service最主要的核心應用的卻是在圖片的右半部

Google有提到，training data(batch data)與streaming data的相容性，
會是一個影響訓練模型成功機率的關鍵因素，
他們嘗試能在batch data與streaming data的進行相同的處理方式以減少失敗的機會。

ML的簡圖，基本上也代表著訓練的每個階段，
而這部分透過GCP的服務，很多東西都已經先準備好了，
我們可以用GCP的系統，具有彈性、可靠，且非常好的工程能力

5. Module 1 Quiz

不知道是不是因為英文的關係…我覺得有點難，
有幾題考得滿細的，不過忘記答案的話可以回去課程找答案，
這章應該幾乎都考很介紹的東西，所以感覺超級像背科(背他介紹的東西XDDD

不過都幾乎快把整個影片翻譯完的我，當然就直接交了

耶依~ Module 1 Quiz結束囉~

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 2】 Google ML - Lesson 1 - Introduction to specialization - 讓你的ML在Google雲端平台運行的五大階段

參考資料

coursera - How Google does Machine Learning 課程
若圖片有版權問題請告知我，我會將圖撤掉

【Google ML】1 - Google ML - 參賽原因與就先從認識 coursera 與訂閱課程開始第一天吧

Mon, 02 Sep 2019 02:24:26 +0800

前言

會有這次作筆記的原因主要是因為 Google Developers Groups Taiwan (以下簡稱 GDG Taiwan)
有推廣他們的課程，其中像是這次的「Google 機器學習培訓計劃」也是他們舉辦的活動，

而在 GDG Taiwan 的計畫之下有舉辦一個「ML Study Jam」的讀書會，
我是透過這個讀書會知道這活動的消息的。

此外，由於今年 ML Study Jam 與 iT 邦幫忙的鐵人賽合作，
並且推出「如果同時完成了這次的學習課程且完成鐵人賽，就加碼送 TensorFlow 背包！」的活動
背包與那篇貼文長這樣：

~~(題外話：這貼文的照片與文字真的超陽春可愛的XD)~~

總之為了包包還是努力寫一下30天的文章XD，
~~雖然不知道拿到包包後會不會真的把這個包包背出去就是了~~

對他們的計畫有興趣也可以追蹤 GDG Taiwan 的粉專： https://www.facebook.com/gdgtaiwan/

0. 先來說說這次的30天學習筆記預計會有的內容

由google提供的免費課程有預先指定其中兩個，
我將在會在30天中優先完成這兩門課程：

至於剩下的天數，規劃大概有兩種：

繼續完成其他非指定的課程

畢竟難得有免費又高級的課程，當然要多學一點啊！

試著用從這課程中學習到的東西試著做點小應用

只是照著教學做，感覺就沒有實作感，所以可以的話當然會希望能作些實際的應用，
不過目前要做什麼還沒決定XD (看學到什麼東西或許就會有靈感了XD)

今天是開始做 Google machine learning 學習筆記的第一天，
通常第一天就來先認識一下環境與做一些基本設定吧~

1. 開始註冊帳號

有報名此活動的應該都會在自己的信件夾收到一封啟用信，
我們 需要透過信中的連結(重要) 開始我們的課程

點信中連結會看到以下畫面：

點選左下角的 Machine Learning with TensorFlow on Google Cloud Platform，並註冊課程

註冊帳號成功後會顯示訂閱美金49元的提示，
這裡我們就先按訂閱(第一個月是免費的，稍後會取消續訂)

註冊時coursera會需要你的信用卡資料
(如果學生沒有信用卡，可能就需要先跟家人借，
不過放心這次的學習課程不需要付費，但需要綁定卡片)

看到這樣的畫面就表示完成囉！

按開始回到課程頁面會看到以下的畫面：

2. 取消第二個月繼續訂閱(第二個月之後就要付費囉~)

再來我們可以透過個人購買設定或這個網址，去取消續訂第二個月的課程

按下方的取消訂閱即可

看到這個畫面就表示取消續訂成功囉！

3. 開始上課

最後我們回到課程頁面，或點選以下兩個課程連結，就可以開始上課囉~

由於剛剛已經註冊了第一個，這邊示範註冊第二個課程( Launching to Machine Learning)
(注意：註冊課程後會有完成課程的期限(目前看上面寫的)，
如果沒有把握在時間內完成兩門課程，建議等有空再註冊第二門課)

註冊課程成功囉！

4. 繼續完成課程

完成今天的課程後，如果之後想要繼續課程，
可以回到coursera的網頁，或點以下連結直接看課程網頁

本文同步發佈在: 第 11 屆 iT 邦幫忙鐵人賽
【Day 1】 Google ML - 參賽原因與就先從認識 coursera 與訂閱課程開始第一天吧

參考資料

官方所提供的操作手冊 (裡面部分內容需要有報名活動才能使用)

035 - 11th 鐵人賽 - 《Google Machine Learning 學習筆記》 on 嗡嗡的隨手筆記

【Google ML】30 - 30天內容回顧與課程索引, 參賽心得, 未來計畫與感謝

30天內容回顧與課程索引

訂閱課程

基礎知識

ML的應用策略

GCP認識篇

GCP上的 lab 實作

ML中的不同學習種類

訓練「一個」ML模型

從所有ML模型的訓練結果中，找到「最好的」ML模型：【Day 27】

訓練ML模型的小實驗

參賽心得

未來計畫

感謝

【Google ML】29 - Lesson 13 – 以混淆矩陣(confusion matrix)分析ML模型好壞,可評估的三種指標Accuracy, Precision, Recal

前言

複習一下ML的整個訓練過程

Course - Launching into Machine Learning

0. 先整理今天重點

1. Confusion Matrix

1.1. 「混淆矩陣(confusion matrix)」

1.2. Precision

1.3. Recall

★ Precision 與 Recall 自己的小總結

1.4. 來看另外一個例子：比較「accuracy」、「precision」、「Recall」

1.5. 段落小整理

參考資料

【Google ML】28 - Lesson 12 - 不適當的最小loss, 完美損失函數(loss function)存在嗎?ML模型的性能指標(performance metrics)

前言

複習一下ML的整個訓練過程

Course - Launching into Machine Learning

0. 先整理今天重點

1. Performance Metrics

1.1. 不適當的最小值 (最小loss)

1.2. 完美的「損失函數(loss function)」存在嗎?

1.3. 新的指標：「性能指標(performance metrics)」

參考資料

【Google ML】27 - Lesson 11 - 我們應該何時停止ML模型的訓練? 利用驗證資料集, 測試資料集, 交叉驗證(cross-validation) 評估模型訓練結果的好壞

前言

複習一下ML的整個訓練過程

Course - Launching into Machine Learning

0. 先整理今天重點

1. When to Stop Model Training

1.1. 「驗證用」資料集(validation dataset)

1.2. 獨立的「測試用」資料集(test dataset) 評估法

1.3. 「交叉驗證(cross-validation)」與「bootstrapping」 評估法

1.4. 評估方法小結論

參考資料

【Google ML】26 - Lesson 10 - 泛化(Generalization)-檢查ML模型對於未知資料集的預測能力, underfitting與overfitting的問題

前言

複習一下ML的整個訓練過程

Course - Launching into Machine Learning

0. 一樣先來整理今天重點

1. Introduction to Generalization and Sampling

2. Generalization and ML Models

2.1. 觀察「過度擬合(overfitting)」的現象

2.2. 泛化(Generalization)

2.3. 泛化(Generalization)問題的解法

2.4. 欠擬合(underfitting) 與 過度擬合(overfitting)

欠擬合(underfitting)

過度擬合(overfitting)

參考資料

【Google ML】25 - Lab 5 - 在視覺化的網頁中觀察神經網路(neural network)如何分類資料, 並比較batch size如何影響gradient descent

前言

複習一下ML的整個訓練過程

Course - Launching into Machine Learning

1. Lab: Practicing with Neural Networks

1.1. 實驗介面介紹

1.2. 小實驗 - 使用「神經網路(neural network)」分類資料

1.3. 小實驗 - 觀察「batch size」如何影響「gradient descent」

1.4. 「過度擬合(over-fitting)」

參考資料

【Google ML】24 - Lab 4 - TensorFlow Playground - 讓我們在視覺化的網頁中體驗一下訓練ML模型吧！learning rate 改變對訓練過程的影響

前言

複習一下ML的整個訓練過程

Course - Launching into Machine Learning

1. Lab: Introducing the TensorFlow Playground

1.1. 介面介紹

1.2. 開始訓練

1.3. 「交叉驗證(cross-validation)」與「bootstrapping」評估法

2.4. 欠擬合(underfitting) 與過度擬合(overfitting)

1.1 「regression problems(回歸問題)」的損失函數

1.2 「classification problems(分類問題)」的損失函數

2.1. 「Regression model」回歸模型

2.2. 「Classification model」分類模型

1. 「結構化」資料與「非結構化」資料

2.1 一維的線性回歸「linear regression」

2.2 二維的線性回歸「2D linear regression」

2.3 線性分類「linear classification」