KoKo 的 2024 技術創作年鑑:生成式 AI 時代下的 Azure Machine Learning

整理 KoKo 2024 年 iThome 鐵人賽的 30 篇 Azure Machine Learning 文章,涵蓋 Model Catalog、Serverless 模型、Fine-tune、RAG、Qdrant、Prompt Flow 與 LLMOps。

2024 年再次寫 Azure Machine Learning,不是把 2021 年的操作重寫一次。生成式 AI 已經把平台邊界往外推,Model Catalog、Serverless 部署、開源模型、Fine-tune、RAG 與 Prompt Flow 都進入同一條開發流程。

這 30 篇一方面補上新版平台與 SDK,另一方面刻意把 Fine-tune 和 RAG 放進同一個案例比較。兩種方法都能改變回答,但成本、資料流與適用問題不同,不能只看一次展示結果就選。

先確認這份目錄的範圍

這份導覽收錄 2024 年實際公開的完整 30 篇系列。原始內容仍保留在 iThome 原始系列頁,這裡不複製全文,而是整理閱讀順序、每一段的責任,以及現在回頭閱讀時要注意的版本邊界。

文章中的 Azure AI Studio、Azure Machine Learning、模型名稱、quota、價格與部署選項是 2024 年狀態。微軟後續曾調整產品名稱與入口;實作前請依現行官方文件確認服務邊界。

系列目錄與閱讀路線

重新認識生成式 AI 時代的 Azure Machine Learning

前四篇重新建立 Azure Machine Learning 的定位、資源與 Studio 導覽。舊讀者可以用它對照 2021 年版本,新讀者則先取得後續部署所需的共同環境。

  1. Day01-生成式 AI 時代下的 Azure Machine Learning 序章
  2. Day02-什麼是 Azure Machine Learning
  3. Day03-建立 Azure Machine Learning
  4. Day04-導覽 Azure Machine Learning 的 Studio

Model Catalog、Serverless 與多模態模型

這一段從 Model Catalog 的模型來源與部署模式開始,實際部署 Llama 3.1 Serverless,再用 LangChain 呼叫,最後加入 Phi-3.5 Vision 多模態模型。

  1. Day05-Azure Machine Learning 的 Model Catalog 介紹
  2. Day06-Model Catalog 傳統部署 curated models 和 HuggingFace
  3. Day07-Model Catalog 裡的兩種部署模式
  4. Day08-部署 Serverless 的 Llama-3.1-8B-Instruct
  5. Day09-寫程式串接 Serverless 的 Llama-3.1-8B-Instruct 之 LangChain 介紹篇
  6. Day10-寫程式串接 Serverless 的 Llama-3.1-8B-Instruct 之虛擬環境篇
  7. Day11-寫程式串接 Serverless 的 Llama-3.1-8B-Instruct 之寫程式篇
  8. Day12-部署多模態模型 Phi-3.5 Vision-Instruct

準備資料並 Fine-tune Llama 3.1

Day 13~18 先界定 Fine-tune 的用途,再準備資料、建立小工具、產生資料、執行訓練並呼叫完成後的模型。資料品質與成本會在這一段直接進入技術決策。

  1. Day13-談 Fine Tune 大語言模型
  2. Day14-Fine Tune 模型的資料準備
  3. Day15-用 Tkinter 來寫個 Fine Tune 資料用的小工具
  4. Day16-產生 Fine Tune 用的資料
  5. Day17-在 Azure Machine Learning 裡 Fine Tune Llama 3.1
  6. Day18-使用 Fine Tune 的 Meta-Llama-3.1-8B-Instruct

用 RAG 與 Qdrant 做同題比較

接著部署 Embedding 模型,將產品資料放入 Qdrant,組出 RAG 流程,再和前面的 Fine-tune 結果比較。這不是要選出永久勝方,而是讓兩種資料進入模型的機制可以被觀察。

  1. Day19-淺談 Retrieval-Augmented Generation (RAG) 的手法
  2. Day20-部署 embedding model Cohere-embed-v3-multilingual
  3. Day21-向量資料庫與 Qdrant
  4. Day22-申請 Qdrant SaaS 版本與插入向量資料
  5. Day23-把所有的產品資料用 LangChain 的規格儲存到 Qdrant
  6. Day24-用 RAG 來比較 Fine Tune 的結果

SDK、Prompt Flow、Azure OpenAI 與 LLMOps

最後補上新版 SDK、Prompt Flow、Azure OpenAI 與 Azure AI Studio,並用 LLMOps 收尾。能部署模型只是其中一步,評估、版本、監控與治理仍要回到完整生命週期。

  1. Day25-談 Azure ML 的新 SDK
  2. Day26-認識 Prompt Flow
  3. Day27-建立 Azure OpenAI
  4. Day28-建立 Prompt Flow
  5. Day29-介紹 Azure AI Studio
  6. Day30-淺談 LLMOps

這一年留下的主線

2024 年的內容把前三年的路線重新接在一起:平台操作、模型、向量資料庫與應用抽象層,最後都落到同一個生成式 AI 交付流程。

2025 年沒有完成 30 篇連載,但留下七篇較短的文章,記錄 LangChain 1.0 前夕與 Azure AI 服務整合的切入點。

Discussion

文章留言

留言服務會連線到 Disqus;只有在你選擇載入後才會建立外部連線。