机器学习实用仿真技术_Paris Buttfield-Addison,Mars Buttfield-Addison_9787519891855

人工智能和机器学习受数据驱动的趋势日益明显。仿真技术不仅强大，而且魅力无穷，有望释放两者的全部潜能。本书的主要内容有：用Unity引擎和仿真技术，解决机器学习和人工智能问题。用游戏引擎合成图像训模。创建仿真环境，训练强化学习和模仿学习模型。采用PPO等高效通用算法解决基于仿真的机器学习问题。用不同方法训练多种机器学习模型。用PyTorch、Unity ML-Agents和Perception工具集，打通机器学习工具和业界标准游戏开发工具。

前言欢迎阅读本书！它融我们两大挚爱于一体：电子游戏引擎和人工智能。写作过程，我们自是非常享受。阅读过程，希望你也能收获同样快乐。确切来讲，本书将探讨Unity 的用法。过去，人常称其为游戏引擎，但如今又倾向改称创造和运营交互式实时3D 内容的平台。这一串词语可真不少，但基本可归结为：Unity 是3D 内容开发平台。尽管过去它一直用于电子游戏开发，但综合利用3D 图像、物理仿真和某种输入，它也可用于开发任何可用3D 表示的内容。你若有平台创造和运营交互式实时3D 内容，再借助机器学习工具，就可利用跟真实世界有几分相像的自创3D 世界，训练机器学习模型。尽管它跟真实世界并非一模一样，但自己发挥想象，脑补其区别，不也很有趣吗，而且该种3D 世界跟真实世界确有某些合理的有用联系（如它既可为真实世界机器学习应用生成数据，又可生成可迁移到机器人等真实世界物体的模型）。本书所言真实世界是指物理世界。Unity 和机器学习结合，是创建仿真体（simulation）和合成数据（synthetic data）的好方法。两者正是本书的两大不同主题。本书所用资源我们建议你在阅读本书各章过程，最好边读边自己敲代码。写代码如遇难题解决不了，又或只想保存一份我们的代码，你可从我们网站（http://wwwsecretlabcomau/books/practical-simulations）找到所需内容。本书我们要做的某些项目，需使用特定资源。这些资源我们已放到上述网站，建议下到本地，以便查找、使用。本书读者和读法本书是为对机器学习感兴趣的程序员和软件工程师而写，只要从事相关领域就可以，并非一定要做机器学习工程师才能读。你对机器学习产生过兴趣，或正要在机器学习领域做更多工作，那么本书就是为你而写。你是游戏开发者，现已多少了解Unity 或其他游戏引擎，正打算学习机器学习（用于游戏或其他应用），那么本书也适合你。你即使已成为机器学习专家，仍是本书目标读者，但不妨换种读法。毋庸担心，我们不会太过深入解释机器学习的原理和方法。因此，即使你已掌握PyTorch 和类似框架的内部工作原理，本书仍适合你。倘若你对机器学习的了解还不够深入，你也不必担心。本书可读性强，你读起来不会有困难。Unity 仿真和合成，属于那种你无需理解其复杂细节就能跑起来的技术。真好用啊！（还记得前人这句著名的话吧译注1）用在这里也十分贴切。因此，只要你从事软件、机器学习或游戏开发，本书就是为你而写。你都能从本书找到适合自己的内容。我们将教你足够的Unity 和机器学习知识。你可以此为起点，沿自己感兴趣的技术路线继续学习。内容编排本书包括三部分。第一部分仿真和合成基础介绍仿真和合成两大主题，并通过一个基于两者的项目带你逐渐熟悉它们。第二部分为乐趣和收益而模拟世界专讲仿真。仿真主题远比合成主题宏大，因此这是本书的重头戏。这一部分，我们将做一系列仿真项目。做的过程，几乎逐步讲解，期间捎带补充概念，介绍方法。等到这一部分结束，仿真的多种不同路径，你已了然于胸，可按需选择。第三部分用合成数据获得真实结果专讲合成。这一部分虽比仿真短得多，但仍极为关键。你将学到用Unity 合成数据的基础。学完这一部分，你基本就能按需合成数据。本书用法我们用一个个小项目来组织本书内容。希望你能跟我们一道完成。期间如痴迷于自己的想法，你还可将其加到项目中来（视自己情况而定，并非一定要这么做）。我们采用基于项目的方法，是因为我们认为该方法最适合学习你需要的Unity 游戏引擎和机器学习知识。我们不打算教你掌握Unity 的一切，而且本书限于篇幅，也不可能放下机器学习所有细节。而我们通过一个个项目，就可以做到按需引入或排除内容。这些项目系我们精心挑选，希望你也能喜欢！我们的任务仿真部分的任务如下：? 第2 章开发一个能自己滚向目标的小球（你可能觉得很神奇，不过确实如此）。? 第4 章开发一个能自己推方块的立方体。它能将方块推入目标区域。? 第5 章开发一辆简易自动驾驶小车。它能沿轨道行驶。? 第6 章开发一个捡币小球。它经过训练，学习我们示范的捡币方法后，能学会自己捡。? 第8 章采用课程学习技术开发一个抛物智能体。它能向目标抛石块。? 第9 章开发一群立方体。它们能一起将方块推向目标。? 第10 章开发一个颠球智能体。它能利用视觉输入（如摄像机）而非准确度量值，使其顶部小球保持平衡。? 第11 章介绍一种用Python 连接和操纵仿真体的方法。合成部分的任务如下：? 第3 章随机掷骰子并为其生成其图像。? 第13 章改变地板和骰子颜色，改进骰子图像生成器。? 第14 章生成背景复杂且位置多样的超市商品图像。这些图像可脱离Unity，训练智能体。排版约定本书排版遵循以下约定：斜体表示新术语、URL、邮件地址、文件名和文件扩展名。等宽字体（Constant width）表示程序片段和正文出现的编程元素，如变量、函数名、数据库、数据类型、环境变量、声明和关键字。也用于命令和命令行输出。加粗等宽字体（Constant width bold）表示应由用户原封不动输入的命令或其他文本。等宽斜体（Constant with italic）表示应该使用用户输入的值或根据上下文确定的值替换的文本。使用代码示例本书配套材料（代码示例、练习和勘误等）请从http://secretlabcomau/books/practical-simulations 下载。本书是为帮你完成工作而写。一般来讲，书中示例代码，你用于自己项目和文档，无需联系并征得我们许可，但大量复制代码另议。例如，你编写的程序使用书中多处代码，无需我们授权，但出售或分发 OReilly 图书示例代码，则需我们授权。引用本书内容或示例代码回答问题，无需授权。但在你的产品文档大量使用本书示例代码，则需我们授权。引用时如能添加内容出处，我们非常感激，当然这并非必须。出处通常要标明书名、作者、出版社和ISBN。例如：Practical Simulations for Machine Learning,by Paris and Mars Buttfield-Addison, Tim Nugent, and Jon Manning Copyright 2022 Secret Lab, 978-1-492-08992-6。如果你觉得示例代码的使用方式可能不当或超出上述许可范围，请联系我们加以确认，邮箱是 permissions@oreillycom。OReilly 在线学习平台（OReilly Online Learning）近40 年来，OReilly Media 致力于提供技术和商业培训、知识和卓越见解，来帮助众多公司取得成功。公司独有的专家和改革创新者网络通过OReilly 书籍、文章以及在线学习平台，分享他们的专业知识和实践经验。OReilly 在线学习平台按照您的需要提供实时培训课程、深入学习渠道、交互式编程环境以及来自OReilly 和其他200 多家出版商的大量书籍与视频资料。更多信息，请访问网站：https://wwworeillycom/。联系我们任何有关本书的意见或疑问，请按照以下地址联系出版社。美国：OReilly Media, Inc1005 Gravenstein Highway NorthSebastopol, CA 95472中国：北京市西城区西直门南大街2 号成铭大厦C 座807 室（100035）奥莱利技术咨询（北京）有限公司我们为本书做了一个网页，将勘误信息、示例和其他附加信息列在上面。其地址是https://oreilly/practical-sims-for-ML。对本书的评论或技术性问题，请发电子邮件至：errata@oreillycomcn。如欲了解OReilly 图书、培训课程、会议和新闻的更多信息，请访问网站：http://wwworeillycom。我们的Facebook：http://facebookcom/oreilly。我们的Twitter：http://twittercom/oreillymedia。我们的YouTube：http://youtubecom/oreillymedia。致谢Mars 想感谢家人和本书其他几位作者的支持。她还想感谢塔斯马尼亚大学信息与通信技术学院的同仁和澳大利亚技术社区所给予的所有机会。Jon 感谢父母和日益壮大的大家族其他成员的大力支持。Paris 想把感谢送给母亲，没有她，他几乎不可能做任何趣事，更不必说写书。他还想感谢妻子Mars（同为本书作者）和所有朋友（他有幸跟其中几位共同写作本书！）。Tim 感谢父母和其他家人坦然接受自己相当平凡的人生。我们几位作者一致感谢人中翘楚Michele Cronin，其技能和建议对本书成书极其宝贵。Paris 为自己在我们会议期间经常带偏话题而抱歉，但大家能聊得投机，其实很有意思！我们真心期盼未来跟你做更多项目！我们特别感谢友人 O Reilly Media 前编辑Rachel Roumeliotis。开会间隙，我们一起喝咖啡的时光令人怀念。写作过程，我们跟OReilly Media 多位员工打过交道，真心谢谢他们。我们特别感谢Chris Faucher，其团队不仅工作出色，而且对我们有惊人的耐心。我们还想把感谢送给优秀的文字编辑Elizabeth Oliver。你专业、有趣、才华横溢。写书真令人恐惧。我们要深深感谢Tony Gray 和Apple University Consortium（http://wwwauceduau）使劲推了我们和本页提及的其他同仁一把。若不是他们，我们就不会写这本书。而且，Tony，你现在也投身写作，真对不住！我们还想感谢Neal Goldstein。写书过程兴奋又辛酸，皆拜其所赐。我们非常感激MacLab 伙计们（他们颇有自知之明，并一如既往监督Admiral Dolphin 团队那不可避免的自我封神行径）的大力支持。我们还想感谢Christopher Lueg 教授、Leonie Ellis 博士以及塔斯马尼亚大学的新老员工对我们的百般宽容。我们还要感谢 Dave J、Jason I、Adam B、Josh D、Andrew B 和Jess L 等给予我们灵感和帮助的所有人。我们特别感谢苹果公司团队，没有其工程师、作者和艺术师等员工的辛勤工作，本书（和大量同类书籍）就不可能问世。我们还想感谢技术审校！他们把关彻底，反馈专业，对我们工作充满热情。本书问世，也离不开他们。他们那极其挑剔的态度，我们很欣赏！真心话！最后，非常感谢你购买本书，我们很感激！期待你的反馈！

目录
前言 1
第一部分仿真和合成基础
第1 章仿真和合成简介 11
11 机器学习全新天地 12
12 研究领域12
121 仿真 13
122 合成 14
13 工具 14
131 Unity 14
132 用Unity ML-Agents 调用PyTorch 16
133 Unity ML-Agents Toolkit17
134 Unity Perception 包 17
14 技术 18
141 强化学习 18
142 模仿学习 19
143 混合学习 20
144 技术小结 21
15 项目 22
151 仿真项目 22
152 合成项目 23
16 小结和下一步学习内容 23
第2 章创建首个仿真作品 25
21 人人都记得其首个仿真作品 25
22 仿真作品26
23 开始动手27
24 创建Unity 项目 29
25 ML-Agents 包 33
26 环境 34
261 地板 34
262 目标 36
27 智能体 37
271 启动和停止智能体 41
272 让智能体观察环境 45
273 让智能体在环境采取行动 45
274 奖惩智能体行为 46
275 修饰智能体 47
276 为智能体提供人工控制系统 50
28 训练仿真智能体 52
281 用TensorBoard 监控训练 54
282 训练结束 55
29 我们讲了这么多，到底是什么意思？ 58
210 下一步学习内容 62
第3 章首次合成数据 63
31 Unity Perception 包 63
32 数据合成过程 64
33 创建Unity 项目 66
34 创建场景72
341 获取骰子模型 72
342 创建简易场景 72
35 准备合成78
351 测试合成情景 82
352 设置标签 84
353 检查标签 86
36 下一步学习内容 87
第二部分为乐趣和收益而模拟世界
第4 章创建更高级仿真体 91
41 推块机搭建步骤 92
42 创建Unity 项目 92
43 环境 92
431 地板 93
432 墙体 95
433 方块 99
434 目标 100
435 智能体 103
436 环境 110
44 训练和测试 117
第5 章开发自动驾驶小车 119
51 搭环境 120
511 轨道 121
512 小车 127
513 机器学习配置 130
52 训练仿真体 140
521 训练 141
522 训练结束 143
第6 章模仿学习简介 145
61 仿真环境146
611 创建地面 147
612 制作目标 148
613 小球智能体 152
614 摄像机 154
62 搭建仿真155
621 智能体组件 156
622 添加启发式控制 159
623 观察项和目标 161
63 生成数据和训练 163
631 生成训练数据 163
632 做好配置，准备训练164
633 模型，开训 166
634 用训好的模型运行 167
64 理解和使用模仿学习 168
第7 章高级模仿学习 169
71 初识GAIL 169
72 按我言行行事 171
721 GAIL 情景 171
722 修改智能体的动作 174
723 修改观察项 176
724 重置智能体 177
725 更新智能体属性 178
726 演示时间 178
73 用GAIL 训练 179
74 运行智能体和后续工作 182
第8 章课程学习简介 185
81 机器学习领域的课程学习 186
82 课程学习情景 188
83 在Unity 开发 189
831 创建地面 190
832 创建目标 190
833 智能体 191
84 搭建仿真项目 192
841 让智能体名副其实 192
842 动作 194
843 观察项 199
844 人工启发式控制 199
85 创建课程202
851 重置环境 202
852 课程配置 203
86 训练 207
87 运行 207
88 课程和其他方法的对比 209
89 下一步学习内容 210
第9 章合作学习 211
91 合作学习仿真项目 211
911 在Unity 搭环境 212
912 编码实现智能体 221
913 编写环境管理器 224
914 编写方块代码 230
915 完善环境和智能体 232
92 训练智能体，使其学会合作 239
93 多智能体合作或单一巨智能体 240
第10 章摄像机在仿真项目的应用 243
101 观察项和摄像机传感器 243
102 构建只有摄像机的智能体245
1021 编码实现只使用摄像机的智能体 246
1022 为智能体添加新摄像机 251
1023 见智能体之所见 253
103 训练基于摄像机的智能体258
104 摄像机和你自己 260
第11 章当ML-Agents 遇到Python 263
111 Python 一路下潜 263
112 试验环境 264
113 用Python 能做什么？ 271
1131 使用自己环境 271
1132 完全自定义训练 276
114 用Python 有什么意义？ 278
第12 章仿真方法揭秘 281
121 超参数（和普通参数） 282
1211 参数 282
1212 奖赏参数 283
1213 超参数 285
122 算法 286
123 Unity 推断引擎和集成功能 288
1231 使用ML-Agents Gym Wrapper 289
1232 侧通道 292
第三部分用合成数据获得真实结果
第13 章创建更高级的合成数据 297
131 为场景添加随机元素 297
1311 地板颜色随机化 298
1312 摄像机位置随机化 300
132 下一步学习内容 304
第14 章合成商品图像 307
141 创建Unity 环境 307
142 Perception Camera 311
143 逐步提高图像合成质量 325
144 使用合成数据 326

你还可能感兴趣

我要评论