每天懂点黑科‪技‬ 黑科技老K

如何训练大脑，形成行动与回报的闭环，建立出类拔萃的决策系统？

现在的汽车，与几年前相比，已经发生了很大的变化。
比如：
在路上，我们可以看到绿色的新能源车牌
拿出手机，我们可以方便地使用网约车、代驾、共享汽车等服务
车内配置，增加了触控大屏、语音控制、自动泊车等新功能

驱动汽车行业发展的动力，包括以下方面：
1. 动力系统 - 电动、混合动力正在逐步兴起
2. 新材料 - 包括高强度、轻重量的合金车身，纳米材料的挡风玻璃等
3. 用户的出行偏好 - 部分用户已经从享受驾驶乐趣，逐步发展为想要把手脚和大脑从驾驶中释放出来，提高车内时间的利用效率
4. 人工智能技术的逐步成熟 - 语音识别、自动泊车等辅助系统已应用到上市车型中，而谷歌waymo等自动驾驶正在迅速发展。
5. 则是车的互联 - 随着传感器、处理器、5G、云计算、大数据等相关技术的发展，与手机的发展历程类似，汽车也正在互联的方向发展。

按此趋势发展，汽车行业的下一个阶段，将是智能汽车的互联时代。
那么，汽车产业链中的各类玩家，在这个新时代中，将会怎么玩呢？下面分别介绍：
1. 网络运营商：也就是移动、电信和联通，他们干啥呢？在车里面预装Sim卡。听起来似乎还有点科幻，实际上已经不远了。运营商的明星产品：带宽，在5G时代会有更多的应用场景。2018年，中国联通已经开始了eSIM的试点和布局，车联网就是eSIM的应用场景之一。
2. 智能手机厂商：通过智能手机与车载系统的连接，提供车载电话、音乐、导航等应用，苹果的Carplay就是做这件事的，目前已经有超过400种车型支持Carplay，以后挡风玻璃的AR显示，也有可能成为智能手机的扩展屏幕。
3. 云服务商：对于Google Cloud、亚马逊AWS、微软Azure、阿里云等云服务商而言，车的云端接入以及相关的大数据和人工智能服务，将是下一个业务增长点。
4. 导航服务商：出行导航是用车的强需求，车载GPS原来是车企的自留地，但智能手机出现以来，车载导航已经逐渐被高德地图等手机导航软件取代。而下一个阶段，无人驾驶对高精度地图的需求，才可能成为新的机会。
5. 内容服务商：包括音乐、电台等等，司机的时间和注意力，对于内容服务商而言，一直是重要资源，从传统的调频电台，到现在流行的手机FM，与车的连接都是重要的流量入口。
6. 保险公司：保险公司和车联网有啥关系呢？还真有，关系还挺大。大家知道，现在的车险报价和理赔历史数据是相关的，目前还没有和驾驶行为结合起来。其实车险报价和驾驶行为是可以结合的，比如我的驾驶行为习惯良好，遵守交通法规，很少猛踩油门刹车猛打方向盘，出险的概率自然是低的。UBI车险(Usage Based Insurance)就是基于驾驶行为的保险，用户提供车载传感器采集的驾驶行为数据，获得更为精准的车险报价，这件事在平安保险也已经开始布局了。

下面总结一下今天的内容，今天我们介绍了驱动汽车行业发展的新能源、新材料、新技术等多重动力，阐述了汽车产业链中的各类玩家在智能汽车互联时代的新玩法。

相信未来的汽车，会为我们的出行，提供更好的服务。

无人驾驶汽车(Self-driving Car)，是目前非常热门的领域之一，谷歌、通用、福特、大众、奔驰、宝马、沃尔沃、百度、Uber、特斯拉、苹果等等公司都在进行投资。
今天的这期节目，我向大家介绍一下无人驾驶汽车的基本原理。

首先，我们停下来思考一下人驾驶汽车的场景。
今天你开车去参加朋友聚会，如果是熟悉的目的地，基本上是不需要导航的，因为大脑里有地图，对于不熟悉的地点，那就用手机的地图软件导航过去；行驶在路上的时候，你眼观六路耳听八方，观察路况、交通指示牌、周边车辆、当前位置、路径导航等等信息；对于路上的车辆、障碍物等物体，根据他们当前位置、速度、所发信号等信息作出预判，以决定当前是加速、减速还是左右并道，然后控制手中的方向盘和脚下的油门刹车。

当然，作为老司机，以上的这个过程，其实已经习以为常，无需思考。
我们的大脑、神经网络和肌肉，经过长时间的训练，已经将驾驶技能变成了自然能力的延伸。

然而，以上场景中有六个要素，在无人驾驶系统中进行了借鉴和拓展，下面一一进行介绍：
地图
对于有人和无人驾驶，地图都是不可缺少的。不管是老司机大脑中的地图还是导航App中的地图，我们需要从地图中获取当前位置、目的地、路径、路况等信息。
而无人驾驶对地图精度的要求会高出很多，普通的地图，精确到米就可以了，因为驾驶员可以在近距离进行微调。而无人驾驶的地图精度，必须达到厘米，否则无人驾驶汽车一定会撞上。另外，无人驾驶的地图，需要更为丰富的驾驶辅助信息，比如路标、交通灯、速度限制等等，这些信息都可以帮助系统做出行驶决策，计算机比人擅长的能力之一，就是记住海量的驾驶辅助信息，并在需要的时候查询使用。
感知
和司机一样，无人驾驶系统需要实时地获取周边信息，以便做出判断决策。不同的是，司机采用的是眼睛耳朵等感官，无人驾驶系统采用的是摄像头、雷达、激光等传感器
由摄像头采集的图像视频等数据，运用计算机视觉的方法，采用卷积神经网络(CNN)，可以对车、行人、道路、障碍物、路牌等物体，进行识别、分类、追踪
由雷达、激光等传感器采集的点阵数据，则可以用来获取距离、速度等信息
这一系列传感器信息，还可以和地图信息进行融合，这样，感知系统就可以做到“心中有图眼观六路耳听八方”。
定位
说起定位，我们首先会想到GPS，GPS对于手机用户导航是足够的。但是GPS的定位误差，在信号充足的开阔空间里，是1~3米，这对于无人驾驶来说是远远不够的。
无人驾驶，需要的是精确到厘米的定位，否则误差的几十公分，就会发生安全事故。
无人驾驶定位采用的方法，通常是多种定位方式的结合，比如：
- 实时动态RTK(Real-Time Kinematic)，是作为GPS的拓展
- 惯性测量，依据牛顿定律，通过速度和加速度计算位移
- 激光雷达和视觉定位，是运用周边信息，对定位的进一步校准
预测
和司机的预判一样，无人驾驶系统需要对周边情况作出预测，以作出控制决策。比如前方有车并道，根据距离和速度情况，决定需不需要踩刹车等等。
无人驾驶系统，把周边物体的位置、速度、加速度等信息，抽象成为不同的时间序列。
有了之前时间点的信息，预测下一个时间点的信息，这是递归神经网络(RNN)擅长解决的问题。
前面感知的数据，除了用于定位，也会用于预测。
规划
规划包括了路由、轨迹和速度规划等
从起点到终点的路由规划，这个和手机导航差不多

各位听众朋友，新年好！
2019年的第一期节目，我选了这样一个标题：别让AI主宰了你的生活！
你也许会说，AI主宰人类，这都是些科幻片，“老K主播，你在逗我玩吧？！”

然而，AI逐步渗入人类生活这件事，不是耸人听闻，而是真真切切的正在进行时。

这里所说的AI，并不一定都像“终结者”一样钢筋铁骨刀枪不入。我们日常所用的各种系统，它们后台的算法，其本质上都是AI。
今天，你早上起来看的新闻，上班路上坐的网约车，朋友圈的第三条广告，中午点的外卖，下午淘的宝贝，休闲时玩的游戏，睡觉前刷的短视频，背后全都有AI的功劳。
而与此同时，这些AI正在服务成千上万个你！

对于每个人而言，时间和精力，都是我们宝贵的财富。
时间是有限的，每人每天只有24小时；
精力也是有限的，困了累了需要休息。
但是，我们所发明的AI，从某种意义上来说，也正在不断吞噬我们自己的时间和精力。

来看一下智能时代的两大趋势：
趋势一：伴随着科技的进步，人正在变得越来越懒…...
在媒体匮乏的年代，我们需要主动地获取信息，收电台，听评书，看露天电影，追小说连载
再后来有了电视，信息开始变得丰富起来，坐在家里选选台，不出门就可以知天下事
再后来有了互联网，门户网站的编辑们，帮助我们进行了信息分类，方便了检索
再后来有了搜索引擎，输几个关键词，想要找的内容，很快就搜到了
再后来，就有了推荐引擎，运用大数据和AI，向你推荐你喜欢的信息，都不用输关键词，手一刷，内容就来了，而且你用的越多，后台的AI就越懂你，给你推荐的内容更准确，让你更加爱不释手。
国外的Facebook，早已推出了News Feed一类的产品，这个英文feed很形象，你喜欢什么，AI都可以喂给你。
国内的新闻、短视频，也还在如火如荼日新月异地发展，不断地把用户的视线，留在方寸之间的手机屏幕上。


趋势二：“眼球经济”的动力驱使下，平台服务商们的能力，正在变得越来越强。
平台服务商研发的AI，正在帮助平台持续地吸引用户的注意力，给用户画像，向用户推荐Ta感兴趣的内容、商品和服务，向广告主们提供精准的投放服务；而从中获取的回报，又可以投入研发更为强大的系统。
从社交、搜索、电商到团购、游戏、约车、新闻、短视频…在我们身边，已经有N个超级系统，具备同时服务几十亿人的能力。
从技术发展前景来看，智能系统正以前所未有的速度飞速发展；
从商业竞争格局来看，未来所有规模化的公司，都必须以大数据、AI的智能系统作为支撑；
这一过程将不可逆转。

AI与人共存的超级智能时代，不是即将来临，而是早已到了！

在这样的超级智能时代中，
AI对你的生活可能产生的负面影响，不是像“终结者”一样把你干掉，而是使你对内容上瘾，每天盯着手机看十几个小时，耗费掉你的时间和精力。

今天的这期节目，我们关注了智能时代的两大趋势：人越来越懒，机器越来越强。
明白了这些事，你会发现，其实问题的本质，还是如何管理好自己，了解科技，掌握科技，让科技更好地为我们服务。
新的一年已经开始，祝大家2019更上一层楼！

霍金的最后著作《重大问题简答》里，阐述了他对于科学和社会所面临的最大问题的思考，关于人工智能，霍金表达了他的担忧。

“The concern is that AI would take off on its own and redesign itself at an ever-increasing rate. Humans, who are limited by slow biological evolution, couldn’t compete and would be superseded.”
—《Brief Answers to the Big Questions》

他的担忧，并不是AI取代人的工作。
从历史发展进程来看，从工业革命以来，蒸汽、电、计算机的发明，每一次都取代了一部分的工作，但同时创造了更多的工作，在这个维度，AI和人类发明的很多工具一样，将成为人能力的延伸和扩展，可以使得人从重复低效的劳动中解放出来，做更为重要的事情。

霍金所担心的，是人工智能具备自我学习和迭代能力。
一旦AI可以发展出自己的意愿，我们无法保证“AI的意愿”和人类保持一致。

近年的《西部世界》等科幻片，已经在描绘这样的场景，然而，科学家霍金的担忧，不仅仅是科幻，更不会是空穴来风。

这期节目，我给大家介绍一下，在这个领域最前沿的研究：通用人工智能(Artificial General Intelligence)
首先介绍一下通用人工智能的概念：
从本专辑之前的节目中，大家可以知道，人工智能的基本方法是通过标注数据对模型进行训练，图像识别要用海量图片作为数据输入，而语音识别要用海量语音作为数据输入，训练出来的人工智能，都是某一领域的专家。比如AlphaGo下棋很厉害，但是无法像Siri一样与人对话。不能跨领域的AI，是所谓的“弱”人工智能。

如何训练出既能读书写字又会唱歌跳舞，琴棋书画样样皆通的“强”人工智能，是一项很大的挑战。

通用性，是“弱”人工智能与“强”人工智能的分水岭。

为了解决通用的问题，采用的方法也有所不同。
比如，马斯克投资的OpenAI，采用了一种叫做Universe的结构，它包含了三个组成部分：环境environment、接口interface和智能代理agent。我在文稿中给出了示意图，听音频的朋友，可以想象眼前有三个方框，从左到右依次是环境、接口、智能代理。
- 环境是真实世界问题的抽象，比如，浏览网页、PS照片、编辑文稿等等
- 接口包含了输入与输出两类，Universe采用了信息时代我们最为熟悉的接口：键盘、鼠标和屏幕。
- 智能代理，则是人工智能的算法模型，这里主要是深度强化学习这一类的自我产生训练数据的方法。


值得注意的是，这个结构已经具备了通用性。今天我们使用个人电脑、手机、平板来处理各种问题，显示屏用于提供系统状态和反馈，鼠标键盘触屏用于提供控制，这是我们非常熟悉的方式，如果把人换成智能代理，就变成了Universe的结构。

有了方法论以后，Universe在左侧的环境中，导入了真实世界中的很多问题。
其中电竞游戏，因其玩法策略的复杂性，成为了主要研究内容之一。
从当年乔布斯曾参与设计研发的雅达利游戏(Atari Games)到近期风靡全球的星际争霸、DOTA等大型网络游戏，都与Universe环境进行了集成。

在右侧的智能代理，则是各种类型的算法和模型。
比如，著名的演员与批评家方法（Actor-Critics），演员选择表演行为，批评家评判行为提供反馈，演员根据反馈对行为进行改进，以此迭代。
其中，深度强化学习，结合了深度学习在数据特征提取方面的优势，和强化学习在序列决策任务方面的优势，是目前通用人工智能领域最有效的方法。

在上一期节目中，我介绍了“左右互搏”的阿尔法狗，通过自我迭代升级，成为了棋类领域的通用人工智能。
而Dee

金庸大侠的武侠小说里面，老顽童周伯通被黄药师关在桃花岛上，一个人找不到对手，只有左右互搏， 从而悟出了新的武功。
而现实生活中，闻名遐迩的AlphaZero，采用的也是这样的方法。
今天的这期节目，向大家介绍一下阿尔法狗“左右互搏”的科技原理。

DeepMind公司的这一系列研究，有三个主要的里程碑：
第一阶段，AlphaGo通过学习人类棋手的棋谱，以4:1战胜人类超一流棋手李世石
在这个阶段，AlphaGo的训练方法，叫做监督式学习(Supervised Learning)，简单理解，就是从人类职业围棋高手对弈的棋谱中进行学习，集百家之长，来对付一个对手。在特定局面之下，走哪一步的胜率更高，都是精确的数据。
然而，现有的棋谱毕竟是有限的，把天下九段高手的武功全部学完，水平到了十段，就变成独孤求败了，很难再有提升。
（值得一提的是，在人工智能的很多应用领域，一旦超越了人类，再想提升就会变得很难，其主要原因，都是缺乏用于学习的标注数据。）


因此，在第二阶段，AlphaGo采用了新的训练方法，叫做强化学习(Reinforced Learning)，自己与自己下棋，左右互搏，利用这一过程中产生的数据进行学习。
值得注意的是，用于训练的数据中，不包含任何人类高手的棋谱，零经验，正如它的名字AlphaGoZero。
那么问题来了，没有人类高手的棋谱作为训练数据，如何判断左右互搏中下出的棋，是好棋还是坏棋呢？
一盘棋最终的胜负当然是判断标准，但，左手赢了并不代表左手下的棋都是好棋，只能表明在这一盘总共的n步棋当中，有若干步棋，左手比右手下得好。
那么，我们能不能对这些相对好的下法有所保留，再通过左右互搏，迭代出更好的下法呢？答案是能。

强化学习的核心思路，就是建立一个评价反馈系统，让智能体以“试错”的方式进行学习，通过环境提供反馈，对好的行为予以鼓励，对坏的行为予以惩罚，久而久之，好的行为就会被保留下来。

凭借TPU的超级计算能力，采用左右互搏的方法，人类棋手不曾下过的棋也放在了训练数据中，因此AlphaGoZero以100:0战胜了前面的AlphaGo。


第三阶段，DeepMind团队把左右互搏的方法拓展到其他棋类，训练出新的AI。AlphaZero横跨围棋、国际象棋、将棋，通过8小时训练战胜AlphaGo，4小时训练战胜了可碾压当年“深蓝”的顶级国际象棋程序Stockfish，2小时训练战胜顶级将棋程序Elmo，成为了跨界棋王。
AlphaZero的训练，只需要知道这几类棋的规则，通过左右互搏产生数据，在棋类领域具备了一定的通用性，向通用人工智能迈出了一步。

总结一下今天的内容：
今天我们以AlphaGo的发展历程为主线，介绍了“监督式学习”与“强化学习”的概念。
监督式学习，是在师傅的监督下，学习什么是好的什么是坏的。
强化学习，是采用“试错”的方式学习，通过环境进行评估反馈，做的好时有奖励，做的不好时被批评。

当年，深蓝战胜国际象棋世界冠军卡斯帕罗夫；
去年，AlphaGo赢了围棋世界冠军李世石、柯洁；
今年，OpenAI 5又在DOTA2这样的多人实时战略游戏中，战胜了职业游戏高手。
在棋牌、电竞等领域，人工智能战胜人类，一次次引起了媒体的广泛关注。
而这一系列算法模型等研究成果，又可以在其他应用领域中，创造出更大的价值。