全球名校AI课程库（13）| CMU卡内基梅隆 · 多模态机器学习课程『Multimodal Machine Learning』

🏆 课程学习中心 | 🚧 其他名校AI课程合辑 | 🌍 课程主页 | 📺 中英字幕视频 | 🚀 项目代码解析

课程介绍

目前在工业界的实际应用场景中，有大量不同形态数据存在的场景，对这些数据联合应用与建模驱动业务，是研究界和工业界都异常关心的主题。多模式机器学习 (MMML) 是一个充满活力的多学科研究领域，它通过集成和建模多种交流模式（包括语言、声学和视觉信息）来解决人工智能的一些目标。

CMU 11-777 是全球顶校卡内基梅隆开设的AI专项课程，课程以多模态（MMML）为主题，讲解基本数学概念、文本与图像等多种数据形态联合应用&建模的前沿知识与方法，并回顾最近描述 MMML 的最先进的概率模型和计算算法的论文，并讨论当前和即将面临的挑战。通过本课程的学习，大家可以了解到目前前沿研究下对多模态处理的方法。

课程讲师 Louis-Philippe Morency，CMU 语言技术学院的终身教授，领导多模式通信和机器学习实验室 (MultiComp Lab)，研究重点是建立计算基础使计算机能够分析、识别和预测社交互动中微妙的人类交流行为，核心就是应对多模态机器学习面临的技术挑战。

课程主题

本课程将介绍与多模态机器学习的主要概念，并将讨论近期的诸多应用。课程在官网发布了详细主题，ShowMeAI 对其进行了翻译。

• Multimodal applications and datasets（数据集）
• Basic concepts: neural networks（基本概念：神经网络）
• Basic concepts: network optimization（基本概念：优化）
• Visual unimodal representations（CNN 和视觉表示）
• Language unimodal representations（语言表示）
• Multimodal representation learning（多模态表示）
• Coordinated representations（协调表示）
• Multimodal alignment（多模式对齐）
• Alignment and representation（对齐和表示）
• Alignment and translation（对齐和平移 (映射)）
• Probabilistic graphical models（生成模型）
• Discriminative graphical models（判别式图模型）
• Deep Generative Models（深度生成模型）
• Reinforcement learning（强化学习）
• Multimodal RL（多模态强化学习）
• Fusion and co-learning（融合、协同学习和新趋势）
• New research directions（新的研究方向）
• Embodied Language Grounding
• Multimodal Human-inspired Language Learning（受人类启发的多模态语言学习）
• Learning to connect text and images（连接文本和图像）
• Bias and fairness（偏见和公平）

课程资料 | 下载

扫描上方图片二维码，关注公众号并回复关键字 🎯『11-777』，就可以获取整理完整的资料合辑啦！当然也可以点击 🎯 这里 查看更多课程的资料获取方式！

ShowMeAI 对课程资料进行了梳理，整理成这份完备且清晰的资料包：

• 📚 课件。PDF文件。覆盖Lecture 1~14 所有内容（说明：L6、L11、L13是break）

课程视频 | B站

🌍 B站 | 【双语字幕+资料下载】CMU 11-777 | 多模态机器学习(2020·完整版)

ShowMeAI 将视频上传至B站，并增加了中英双语字幕，以提供更加友好的学习体验。点击页面视频，可以进行预览。推荐前往 👆 B站 观看完整课程视频哦！

全球名校AI课程合辑

• 🚧 CS数学基础课程合辑：https://www.showmeai.tech/tutorials/38
• 🚧 计算机基础课程合辑：https://www.showmeai.tech/tutorials/29
• 🚧 机器学习课程合辑：https://www.showmeai.tech/tutorials/28
• 🚧 深度学习课程合辑：https://www.showmeai.tech/tutorials/77
• 🚧 自然语言处理课程合辑：https://www.showmeai.tech/tutorials/55
• 🚧 计算机视觉课程合辑：https://www.showmeai.tech/tutorials/73
• 🚧 强化学习课程合辑：https://www.showmeai.tech/tutorials/87
• 🚧 AI生物医疗课程合辑：https://www.showmeai.tech/tutorials/74
• 🚧 其他名校AI课程合辑：https://www.showmeai.tech/tutorials/76

作者：ShowMeAI内容团队
阅读原文：https://www.showmeai.tech/article-detail/365