生成式AI文字與圖像生成原理實務

臺北科技大學 115-1 學期課程，課號 367086。

課程大綱

「生成式 AI:文字與圖像生成的原理與實務」是一門兼具理論深度與實作樂趣的課程,專為希望深入了解生成式 AI 的技術與應用的學生而設計。不論對 AI 的認識是基礎還是進階,都希望透過這門課程,帶領同學探索生成式 AI 的無限可能。學生將會學習神經網路、GAN、Transformer、大型語言模型、RAG、AI Agents、Diffusion Models 等技術,並運用工具如 OpenAI API、LangChain、HuggingFace 及 AISuite 等等,完成從文字生成到圖像生成的多樣應用。

課程進度

**配合政大課程開課** 週次1 課程介紹與生成式 AI 概述 課程目標與內容簡介,為什麼要研究生成式 AI,介紹 Colab 平台的基礎操作。 週次2 神經網路的概念 簡介神經網路的核心概念(感知器、多層感知器)、激發函數與反向傳播,實作一個簡單的 MNIST 手寫數字分類。 週次3 紅極一時的生成對抗網路 (GAN) 介紹曾經被當作生成式 AI 希望的生成對抗網路(GAN),包括 GAN 的生成原理、著名的應用範例,及為什麼暫時不再是主流的原因。 週次4 大型語言模型原來這麼簡單 文字生成 AI 的基本概念,包括 RNN 及transformers 有「記憶」的神經網路簡介,及 seq2seq 模型、詞嵌入等等原理。 週次5 Transformers 全攻略 RNN 及 transformers 的數學基礎與架構,複習基本矩陣運算、瞭解注意力模式的原理。 週次6 大型語言模型(LLM)的應用及倫理議題的挑戰 著名的大型語言模型 (LLM),常見應用,及倫理議題的討論。 週次7 打造自己的對話機器人 使用 AISuite,用程式的方式打造自己的對話機器人。 週次8 專家講座 學界或業界專家分享生成式 AI 相關實務主題。 週次9 檢索增強生成(RAG)的原理及實作 RAG 的概念、資料檢索與生成的結合方法,實作基於 LangChain 的 RAG 系統 週次10 Agentic AI 與 AI Agents 什麼是 AI Agents?學習不同的 AI Agent設計模式,並且運用 AISuite 實作 週次11 變分自編碼器(VAE)開始的冒險旅程 解釋 VAE 的原理,及為什麼這相對簡單的模型,會成為圖像生成 AI 的重要想法,發展出目前重要圖像生成的 diffusion models 週次12 文字生圖 AI 的原理及實作 Diffusion Models 的進階主題,包括 CLIP、排程器、LoRA 等概念。並且用Hugging Face 的 diffusers 套件打造自己的圖像生成 AI Web APP。 週次13 用 Fooocus 實現 Diffusion Models的進階技術 介紹「理解」使用者輸入文字的 CLIP 模型,著名的圖像生成 AI 模型及運用方式 週次14 生成式 AI 流行工具及應用範例 介紹主流生成式 AI 工具,及應用範例。 週次15 生成式 AI 應用與發展趨勢 介紹生成式 AI 新近發展。例如我們介紹文字生成預測 token 的模型,還有圖像生成diffusion models,有「互相攻佔」對方地盤的現象。探討其中的原理和可能走向這個方向的原因。 週次16 在 Gather.town 線上研討會型式的期末專題成果分享

評量方式

作業及反思: 75% 期末專案: 20% 上課參與 5% 額外加分

教材

【遵守智慧財產權觀念，請使用正版教科書，不得使用非法影印教科書】 使用外文原文書：是 課程網頁:Facebook【政大應數系直播中心】 https://facebook.com/groups/nccumathonline/