- 2021 机器学习相关规定
- 第一节 (上) - 机器学习基本概念简介
- (下) - 深度学习基本概念简介
- Google Colab教学
- Pytorch 教学 part 1
- Pytorch 教学 part 2(英文有字幕)
- 作业说明 HW1 slides
- (选修)To Learn More - 深度学习简介
- (选修)To Learn More - 反向传播(Backpropagation)
- 第二节 机器学习任务攻略
- 类神经网络训练不起来怎么办(一) 局部最小值 (local minima) 与鞍点 (saddle point)
- 类神经网络训练不起来怎么办(二) 批次 (batch) 与动量 (momentum)
- 类神经网络训练不起来怎么办(三) 自动调整学习率 (Learning Rate)
- 类神经网络训练不起来怎么办(四) 损失函数 (Loss) 也可能有影响
- 类神经网络训练不起来怎么办 (五) 批次标准化 (Batch Normalization)
- (选修)To Learn More - Optimization for Deep Learning (1_2)
- (选修)To Learn More - Optimization for Deep Learning (2_2)
- (选修)To Learn More - Classification
- (选修)To Learn More - Logistic Regression
- 作业说明 HW2中文低画质版
- 作业说明 HW2-英文有字幕高清版
- 第三节 卷积神经网络(CNN)
- 自注意力机制(Self-attention)(上)
- 自注意力机制 (Self-attention) (下)
- (选修)To Learn More - Unsupervised Learning - Word Embedding
- (选修)To Learn More - Spatial Transformer Layer
- (选修)To Learn More - Recurrent Neural Network
- (选修)To Learn More - Graph Neural Network(1_2)
- (选修)To Learn More - Graph Neural Network(2_2)
- 作业说明 HW3 中文低画质
- 作业说明 HW3 英文高画质有字幕
- 作业说明 HW4-中文低画质版
- 作业说明 HW4-英文无字幕高清版
- 第五节 Transformer (上)
- Transformer (下)
- (选修)To Learn More - Non-Autoregressive Sequence Generation
- 作业说明 HW5 中文 + Judgeboi讲解
- 作业说明 HW5 slides tutorial -英文版机翻
- 作业说明 HW5 code tutorial -英文版机翻
- 第六节 生成式对抗网络(GAN) (一) – 基本概念介紹
- 生成式对抗网络(GAN) (二) – 理论介绍与WGAN
- 生成式对抗网络(GAN) (三) – 生成器效能评估与条件式生成
- 生成式对抗网络(GAN) (四) – Cycle GAN
- (选修)To Learn More - Unsupervised Learning - Deep Generative Model (Part I)
- (选修)To Learn More - Unsupervised Learning - Deep Generative Model (Part II)
- (选修)To Learn More - Flow-based Generative Model
- 作业说明 HW6 中文版低画质
- 作业说明 HW6 英文版高画质有字幕
- 第七节 自监督式学习 (一) – 芝麻街与进击的巨人
- 自监督式学习 (二) – BERT简介
- 自监督式学习 (三) – BERT的奇闻轶事
- 自监督式学习 (四) – GPT的野望
- 自编码器 (Auto-encoder) (上) – 基本概念
- 自编码器 (Auto-encoder) (下) – 领结变声器与更多应用
- (选修)To Learn More - BERT and its family - Introduction and Fine-tune
- (选修)To Learn More - ELMo BERT GPT XLNet MASS BART UniLM ELECTRA others
- (选修)To Learn More - Multilingual BERT
- (选修)To Learn More - 來自獵人暗黑大陸的模型 GPT-3
- (选修)To Learn More - Unsupervised Learning - Linear Methods
- (选修)To Learn More - Unsupervised Learning - Neighbor Embedding
- 作业说明 HW7 中文版低画质
- 作业说明 HW8 中文版低画质
- 第八节 来自人类的恶意攻击 (Adversarial Attack) (上) – 基本概念
- 来自人类的恶意攻击 (Adversarial Attack) (下) – 类神经网络能否躲过人类深不见底的恶意
- 机器学习的可解释性 (Explainable ML) (上) – 为什么神经网络可以正确分辨宝可梦和数码宝贝
- 机器学习的可解释性 (Explainable ML) (下) –机器心中的猫长什么样子
- (选修)To Learn More - More about Adversarial Attack (1_2)
- (选修)To Learn More - More about Adversarial Attack (2_2)
- 作业说明 HW9 中文版低画质
- 作业说明 HW10 中文版低画质
- 第九节 概述领域自适应 (Domain Adaptation)
- 作业说明 HW11 Domain Adaptation 作業講解
- 第十节 概述增強式學習(一) – 增强式学习和机器学习一样都是三个步骤
- 概述增强式学习 (二) – Policy Gradient 与修课心情
- 概述增强式学习 (三) – Actor-Critic
- 概述增强式学习 (四) – 回馈非常罕見的時候怎么办?机器的望梅止渴
- 概述增强式学习 (五) – 如何从示范中学习?逆向增強式学习 (Inverse RL)
- 作业说明 HW12 中文高清
- (选修)To Learn More - Deep Reinforcement Learning
- (选修)To Learn More - Proximal Policy Optimization (PPO)
- (选修)To Learn More - Q-learning (Basic Idea)
- (选修)To Learn More - Q-learning (Advanced Tips)
- (选修)To Learn More - Q-learning (Continuous Action)
- 第十二节 机器終身学习 (一) - 为什么今日的人工智能无法成为天网?灾难性遗忘(Catastrophic Forgetting)
- 机器終身学习 (二) - 灾难性遗忘(Catastrophic Forgetting)
- 神经网络压缩 (一) - 类神经网络剪枝(Pruning) 与大乐透假说(Lottery Ticket Hypothesis)
- 神经网络压缩 (二) - 从各种不同的面向來压缩神经网络
- 作业说明 HW13 中文高清
- 作业说明 HW14 中文高清
- (选修)To Learn More - Geometry of Loss Surfaces (Conjecture)
- 第十三节 元学习 Meta Learning (一) - 元学习和机器学习一样也是三個步骤
- 元学习 Meta Learning (二) - 万物皆可 Meta
- (选修)To Learn More - Meta Learning – MAML (1)
- (选修)To Learn More - Meta Learning – MAML (2)
- (选修)To Learn More - Meta Learning – MAML (3)
- (选修)To Learn More - Meta Learning – MAML (4)
- (选修)To Learn More - Meta Learning – MAML (5)
- (选修)To Learn More - Meta Learning – MAML (6)
- (选修)To Learn More - Meta Learning – MAML (7)
- (选修)To Learn More - Meta Learning – MAML (8)
- (选修)To Learn More - Meta Learning – MAML (9)
- (选修)To Learn More - Meta Learning – Metric-based (1)
- (选修)To Learn More - Meta Learning – Metric-based (2)
- (选修)To Learn More - Meta Learning – Metric-based (3)
- (选修)To Learn More - Meta Learning - Train+Test as RNN
在机器学习教育领域,台湾大学电机工程系助理教授李宏毅以鲜明的个人风格独树一帜。在课堂上,他经常用增强现实游戏「宝可梦 Go」举例,不仅语言风趣幽默,PPT 的可视化也做得非常用心。最重要的是,他的授课语言是中文(标准台湾普通话)。因此,不少人将其推荐为入门机器学习的首选课程。
2、3 月份是新学期的开始,李宏毅老师也宣布了他的《机器学习》课程上新的消息。新课程从 2 月 26 日正式开始,6 月中旬正式结束,视频、PPT 都会上传到课程主页上。
课程主页:https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html
在内容方面,这门课程重点讲解的是深度学习。虽然深度学习是一门相对进阶的技术,但李宏毅老师表示,这仍然不会改变这门课「机器学习入门课」的属性,仍然会让绝大多数人听得懂,「你可以将它作为你机器学习的第一门课」。如果你还学过林轩田的《机器学习基石与技法》,你会发现这两门课其实可以很好地衔接。
「从最基本的观念讲到最前瞻的技术」是这门课最重要的一个特色,从课程目录中我们也可以大致看出来:
课程介绍
深度学习
自注意力
机器学习理论
Transformer
生成式模型
自监督学习
可解释 AI / 对抗攻击
域自适应 / 强化学习
量子机器学习
终身压缩
元学习
第二堂课主要介绍深度学习的一些基本概念,如过拟合、局部最小值、鞍点、批次、动量等,帮你解答为什么有时候网络训练不起来,还会传授一些训练技巧。这堂课昨天才刚刚上传,现在去听应该还能抢到前排。
上课之前需要具备哪些基础知识?
虽然是一门入门课程,但这门课也要求掌握一些数学、编程、硬件等方面的基础知识。
在数学方面,你需要掌握微积分、线性代数和概率。
在编程方面,课程会提供一些基于 Python 的范例代码,如果想在这门课中学得比较好,你需要能够读懂并修改这些范例代码。老师会默认你已经学过 Python 相关语法、套件。
在硬件方面,所有的作业都可以在 Google Colab 上完成,无需自己配备 GPU 等硬件。
如果想了解课程的更多内容,可以参见以下视频:
视频链接:https://www.youtube.com/watch?v=IHk7z51zOLw
「宝可梦大师」李宏毅
李宏毅现任台湾大学电气工程助理教授,研究重点是机器学习,特别是深度学习领域。很多人选择的机器学习入门学习材料都是李宏毅老师的台大公开课视频。
因为经常把精灵宝可梦或凉宫春日等各种动漫作为算法案例,我们亲切地称他为「精灵宝可梦大师」。
因为课程形象生动,又不缺数学推导的严谨,李宏毅老师的课程视频可以说是中文世界中最好的机器学习资源。
李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂,例如「史上第一次手推」循环神经网络计算过程,利用精灵宝可梦等形象生动地解释神经网络背地里到底都干了些什么。
此外,课程会与时俱进,前年 ML 课程就新增了 Transformer、流模型 Glow 和对抗攻击等新内容。相信今年课程对最近流行的模型会有更多的介绍。
机器学习平台—Amazon SageMaker 200美元大礼包
ML训练成本降90%,被全球上万家公司使用,Amazon SageMaker是全托管机器学习平台,支持绝大多数机器学习框架与算法,并且用 IDE 写代码、可视化、Debug一气呵成。
现在,我们准备了200美元的免费额度,开发者可以亲自上手体验,让开发高质量模型变得更加轻松,非常值得开发者入手一试。