台大修課心得 - 深度學習之應用

課程綱要

課程名稱：深度學習之應用

授課教師：陳縕儂

開課學期：109-2

授課對象：電機資訊學院 資訊工程學研究所

使用書籍：無

心得

教了什麼

課程網站

• Neural Network
• RNN
• Word Embedding
• Attention Mechanism
• Transformer
• ELMo, BERT
• Nature Language Generation
• Reinforcement Learning
• Conversational AI

上課方式

投影片上課，老師平常上課也會錄影片，之後上傳到 cool 以及 YouTube，5 月多疫情突然爆發後取消實體授課改為全部在 NTU cool 看影片。

完全不點名。

考試作業

總共有 3 個作業，以及一個 Final Project，沒有期中期末

• HW1 (20% + bonus 1%)
  • 用 LSTM 做 Intent classification + Slot tagging
• HW2 (20% + bonus 2%)
  • 用 BERT 做 Chinese Question Answering
• HW3 (20% + bonus 2%)
  • 用 mT5 做 Chinese News Summarization
• Final Project (分組) (34% + bonus)
  • 做 Dialogue State Tracking 以及 Nature Language Generation
• Participation + Bonus (12%)

後記

這門課主要大部分都在上 NLP，因為大學的時候只有碰過一點基礎的機器學習，NLP 是完全沒有碰過的新領域，原本以為我會上的滿開心的，結果修完後發現自己對 NLP 還有 ML 這塊實在提不起研究興趣…

不過這學期還是有學到不錯的知識/關鍵字，像是 Huggingface.co、很好用的 W&B、facebook 的 ParlAI、google 的 Transformer/BERT/T5… 等，說不定也會在之後的研究/工作上派上用場。