台大修課心得 - 深度學習之應用
課程綱要
課程名稱：深度學習之應用
授課教師：陳縕儂
開課學期：109-2
授課對象：電機資訊學院 資訊工程學研究所
使用書籍：無
心得
教了什麼
- Neural Network
- RNN
- Word Embedding
- Attention Mechanism
- Transformer
- ELMo, BERT
- Nature Language Generation
- Reinforcement Learning
- Conversational AI
上課方式
投影片上課，老師平常上課也會錄影片，之後上傳到 cool 以及 YouTube，5 月多疫情突然爆發後取消實體授課改為全部在 NTU cool 看影片。
完全不點名。
考試作業
總共有 3 個作業，以及一個 Final Project，沒有期中期末
- HW1 (20% + bonus 1%)
- 用 LSTM 做 Intent classification + Slot tagging
- HW2 (20% + bonus 2%)
- 用 BERT 做 Chinese Question Answering
- HW3 (20% + bonus 2%)
- 用 mT5 做 Chinese News Summarization
- Final Project (分組) (34% + bonus)
- 做 Dialogue State Tracking 以及 Nature Language Generation
- Participation + Bonus (12%)
後記
這門課主要大部分都在上 NLP，因為大學的時候只有碰過一點基礎的機器學習，NLP 是完全沒有碰過的新領域，原本以為我會上的滿開心的，結果修完後發現自己對 NLP 還有 ML 這塊實在提不起研究興趣…
不過這學期還是有學到不錯的知識/關鍵字，像是 Huggingface.co、很好用的 W&B、facebook 的 ParlAI、google 的 Transformer/BERT/T5… 等，說不定也會在之後的研究/工作上派上用場。