KoKo 的 2021 技術創作年鑑:一起學習 Azure Machine Learning

整理 KoKo 2021 年第一次參加 iThome 鐵人賽的 30 篇 Azure Machine Learning 文章,依環境、低程式碼、SDK、部署與 MLOps 分組導讀。

2021 年是我第一次參加 iThome 鐵人賽。當時選的題目是 Azure Machine Learning,從建立 Workspace、準備資料與運算資源,一路寫到模型部署、監控與 MLOps。

如果直接從 30 篇文章的標題往下看,很容易把它當成一份功能清單。這份年度導覽重新按照學習路徑分組,先找到自己目前卡住的階段,再回到原始文章操作。

先確認這份目錄的範圍

這份導覽收錄 2021 年實際公開的完整 30 篇系列。原始內容仍保留在 iThome 原始系列頁,這裡不複製全文,而是整理閱讀順序、每一段的責任,以及現在回頭閱讀時要注意的版本邊界。

這些文章保留 2021 年的 Azure Machine Learning 介面、SDK 與產品狀態。它們適合用來理解完整工作流程;若要照著建立現行環境,仍應先核對現在的官方文件與計費方式。

系列目錄與閱讀路線

先把工作區、資料與運算環境準備好

前六天先回答「Azure Machine Learning 是什麼」,接著建立 Workspace、Datastore、Dataset 與運算資源,最後分別進入 Notebook 與開發環境。這一段是後面所有訓練與部署操作的共同前置。

  1. [DAY01] Azure Machine Learning 是什麼?
  2. [DAY02] 建立 Azure Machine Learning Workspace
  3. [DAY03] 建立 Datastore 和 Dataset (上)
  4. [DAY04] 建立 Datastore 和 Dataset (下)
  5. [DAY05] 在 Azure Machine Learning 上建立運算資源
  6. [DAY06] 開始用 Notebook 在 Azure Machine Learing 上寫程式

用 Designer 與 Automated ML 完成第一輪部署

這一段先用 Designer 組出可執行的 Pipeline,再比較 Web API 與 Batch 兩種部署情境,最後補上 Automated ML。重點不是少寫幾行程式,而是先看懂資料、訓練與推論如何接起來。

  1. [DAY07] 開始用 Designer 在 Azure Machine Learning 做 AI
  2. [DAY08] 部署用 Designer 做好的 Pipiline 到 Web API
  3. [DAY09] 部署用 Designer 做好的 Pipeline 到 Batch
  4. [DAY10] 用 Automated ML 快速開發
  5. [DAY11] 部署 Automated ML

資料標註與多人協作

模型開發不只包含訓練。Day 12~14 處理資料標註,Day 15~16 則把 RBAC 帶進多人協作,避免所有成員都拿到相同權限。

  1. [DAY12] 在 Azure Machine Learning 裡 Label data(上)
  2. [DAY13] 在 Azure Machine Learning 裡 Label data(中)
  3. [DAY14] 在 Azure Machine Learning 裡 Label data(下)
  4. [DAY15] Azure Machine Learning 裡的多人協作—談 RBAC
  5. [DAY16] 實戰 Azure Machine Learning RBAC

用 Python SDK 重走一次完整流程

後半段改用 SDK 建立 Workspace、資料、運算環境與 Experiment,接著處理模型註冊、部署、Pipeline、AutoML 與 HyperDrive。介面操作能幫助入門;要重複執行、版本控制與自動化,最後仍會回到程式碼。

  1. [DAY17] 介紹 Azure Machine Learning SDK
  2. [DAY18] 用 Azure Machine Learning SDK 建立 Workspace
  3. [DAY19] 用 Azure Machine Learning SDK 建立 Datastore
  4. [DAY20] 用 Azure Machine Learning SDK 建立 Dataset
  5. [DAY21] 用 Azure Machine Learning SDK 建立運算資源
  6. DAY22 用 Azure Machine Learning SDK 建立環境
  7. [DAY23] Experiment, Run, MLflow
  8. [DAY24] Azure Machine Learning SDK 的 ScriptRunConfig
  9. [DAY25] 用 Azure Machine Learning SDK 註冊模型與部署
  10. [DAY26] 用 Azure Machine Learning SDK 來做 Pipeline
  11. [DAY27] 用 Azure Machine Learning SDK 來做 AutoML
  12. [DAY28] 用 hyperdrive 來微調超參數

監控與 MLOps

最後兩篇把已部署的模型接到 Application Insights,再從元件與流程角度討論 MLOps。模型能回傳結果只是起點,正式環境還需要知道它如何被版本化、監控與更新。

  1. [DAY29] 用 Application Insights 來監視部署的模型
  2. [DAY30] 淺談 Azure Machine Learning 的 MLOps 做法

這一年留下的主線

回頭看 2021 年的內容,這個系列留下的不是某一版按鈕位置,而是一條完整的機器學習交付路徑:資料進來、模型被訓練、服務被部署,最後還要有人監控與維護。

這條路徑也成為後面幾年內容的基礎。2022 年我把焦點從平台操作移到 Transformer 與 Hugging Face,開始往模型與 NLP 的內部再走一步。

Discussion

文章留言

留言服務會連線到 Disqus;只有在你選擇載入後才會建立外部連線。