微软分享史上最大基于Transformer架构的语言生成模型

微软AI&Research今天分享了有史以来最大的基于Transformer架构的语言生成模型Turing NLG(下文简称为T-NLG),并开源了一个名为DeepSpeed的深度学习库,以简化对大型模型的分布式培训。

传统企业培训是建立在岗位与人才发展基础上的。学习体系的构建逻辑是这样的,根据岗位职能建立能力模型,依据能力模型建立学习地图,根据学习地图开发课程体系,建立讲师团队与运营体系。这是适合稳定环境的静态的学习体系。

研究领域:行动学习、领导力、企业战略与组织、市场营销、变革管理等

这就涉及到学习职能在组织内的位置。我认为,在赋能型组织变革的潮流下,企业学习将成为直接支撑战略业务的核心职能,它是后台最重要的职能之一,应当由CEO直接负责,至少安排首席学习官进入核心高管层。

张家口东与北京接壤,主城区距北京市180公里,京张高铁将于今年底通车运营,届时北京到张家口仅需50分钟,是名副其实的北京“后花园”。近年来,张家口市委、市政府把文化旅游作为全市七大主导产业之一,把发展全域旅游作为统筹推进冬奥筹办、脱贫攻坚和“首都两区”建设重要抓手,以打造京张体育文化旅游产业带为引领,构建起“一带两路三区”的全域旅游发展新格局。

本泽马目前同皇马的合同将在2021年夏天到期,双方经过谈判之后,已经同意将合同延长一年至2022年夏天。另外,在未来的一年内,本泽马的工资也将会上涨,这与他在皇马队中重要性不断上升是分不开的。

新型冠状病毒感染的肺炎疫情之下,大规模线下学习必将短期取消。即使疫情能够在2020年春夏结束,疫情恐慌对社会大众心理的影响也将持续下去。在这种情形下,在线办公与学习将成为绝大多数企业的必然选择,人们会逐步形成在线学习的习惯。这无疑是企业数字化学习的重大利好消息。

能否取得看得见的商业成果必将成为评估企业学习价值的核心标准。

冬捕渔猎体验系列中,沽源县天鹅湖景区将举办第二届冰雪渔猎文化节,游客可以现场捕活鱼,品尝雪窝棚头鱼宴,并体验雪地摩托、冰上娱乐、冰上火锅、雪地篝火等一系列冰雪娱乐活动。崇礼菜单品鉴系列,评选收录了一批冀字号菜品研发大师和顶级烹饪大师研发的360道精美菜品,让大家尽情体验舌尖上的美味。

然而,这一做法的缺陷也非常明显,产出的内容良莠不齐,如知识碎片化,缺乏系统;知识是过去的经验,难以应用于当下及未来问题的解决等等。

在C罗走后,本泽马成为了皇马在锋线上的当家王牌,《马卡报》披露称,皇马已经和本泽马就续约达成一致,双方的合同将延长一年,到2022年夏天。

来自AI领域的专家告诉VentureBeat,2019年是NLP模型开创性的一年——使用Transformer架构无疑是2019年最大的机器学习趋势之一,这导致了语言生成领域和GLUE基准测试领导者的进步,Facebook的RoBERTa、谷歌的XLNet和微软的MT-DNN都纷纷加入到各类基准测试榜首的争夺当中。

开发人员和机器学习从业人员都可以使用DeepSpeed和ZeRO,因为培训大型网络(例如利用Transformer架构的网络)可能会很昂贵,并且可能会遇到大规模问题。

微软表示,DeepSpeed和ZeRO使得他们能够降低模型并行度(从16降低到4),将每个节点的批处理大小增加四倍,并将训练时间减少了三分之二;DeepSpeed使用更少的GPU可以使大型模型的训练效率更高。

去年8月,英伟达曾宣布已训练世界上最大的基于Transformer的语言模型,当时该模型使用了83亿个参数,比BERT大24倍,比OpenAI的GPT-2大5倍。

新型冠状病毒感染的肺炎疫情是2020年最大的黑天鹅,体现了企业环境的巨大不确定性。在这只黑天鹅的冲击下,企业经营战略、组织架构都会动态调整,传统企业学习体系就像是沙中之塔瞬间崩塌。

具有Transformer架构的语言生成模型可以预测下一个单词。它们可用于编写故事,以完整的句子生成答案以及总结文本。

今年张家口市将继续举办“红红火火中国年”第三届张家口年俗国际旅游季。本次活动是以“大好河山张家口” 旅游形象为引领,以张家口民俗年节文化为内涵,以节庆旅游为主线,融文化、民俗、艺术、体育、休闲、渔猎、餐饮于一体的一次大型年节旅游盛宴。活动时间从2019年12月26日起至2020年的2月23日,覆盖全市全部县区,将全力打造中国北方地区春节期间最具年味儿最受欢迎的休闲旅游目的地。

长期以来,企业学习被放在人力资源HR板块下,作为选、育、用、留的一个环节。被视为企业人才发展的手段。

精彩纷呈冬季冰雪旅游活动、浓厚独特的古堡民俗庙会、领略冬季别样风情的草原天路……在“红红火火中国年”第三届张家口年俗国际旅游季举办前夕,12月26日,张家口市文化广电和旅游局在京举办“红红火火中国年”第三届张家口年俗国际旅游季(北京)主题推广活动,介绍活动特色亮点、整体情况,推介精品旅游线路,邀请四方宾朋做客山城,共度佳节。北京市文化和旅游局领导 出席。

在企业学习价值重新定位,以及直接支撑业务需求的双重趋势下,企业学习的顶层需要重新设计。

疫情彻底暴露了企业学习传统价值定位的不足。事实上,企业学习的本质是组织学习,其根本任务是帮助企业建立学习型组织,在动荡变化的环境中自我变革、敏捷进化。

疫情之下,时间是最宝贵的资源。企业学习的有效性需要大幅提升。学员在单位时间的学习效能,是企业学习急需提升的关键指标。

显然,以目前的技术手段,单单线上学习是无法达成上述目标的。将线上线下有机融合,充分发挥两者优势,形成闭环,才是提升学习效能的正确道路。在一个学习项目的过程中,应当围绕学习主题与目标,将直播、微课,社群学习,跟踪辅导放在线上,而将试错落地、自我修炼,新知共创、知识萃取放在线下,就能形成1+1>2的效果。这就需要学习项目设计方法论的进一步升维。

微软表示,他们的目标是在任何情况下都能够像人类一样直接,准确,流畅地做出响应:以前,问题解答和摘要系统依赖于从文档中提取现有内容,这些内容可以作为备用答案或摘要,但它们通常看起来不自然或不连贯。使用T-NLG这样的自然语言生成模型,可以自然地总结或回答有关个人文档或电子邮件主题的问题。

然而,当大多数企业将内容匆忙搬到线上,将所有希望寄托与在线学习时,就会遭遇现实的困境。单纯依靠线上直播与微课,互动及效果都不好,学员参与度不高,没有学习成果。

华东理工大学(分数线,专业设置)商学院教授

这个打击也将是持久的。中国经济本来就在下行周期,疫情引发的连锁反应将使中国经济雪上加霜。世界卫生组织已经宣布——新型冠状病毒感染的肺炎疫情为国际突发的公共卫生事件PHEIC,全球各国必将采取的紧急措施必将对中国外贸与经济产生冲击。各方因素叠加在一起,中国经济的长周期调整已经成为大概率事件。

疫情形势下,当员工形成在线工作学习习惯后。企业学习专家应当意识到知识管理需要升级。发展方向是主题化、系统化及新知导向。基于企业战略业务问题,打破组织内外的界限,构建员工与外部客户、专家之间的共创生态与机制,从而形成持续产出新知的知识体系。

新的形势下,企业数字化学习必将迅速进化升级——将从单向传输向互动共创转变,从知识传输向知识创造转变,从线上线下两张皮向线上线下一体化转变,从自上而下的统一学习向自下而上的数据驱动的个性化学习转变。

DeepSpeed包含零冗余优化器(ZeRO),用于大规模训练具有1亿个或更多参数的模型,微软过去曾用它训练T-NLG。

从单纯对过去经验的知识萃取,到面向未来共创新知,形成持续更新的知识体系是企业学习未来的重要任务。

在这种形势下,直接支撑企业战略与业务的全新学习体系需要创造性构建。这样的学习体系将从企业战略与业务出发,关注关键岗位的关键任务,它随着环境变化与战略调整而动态发展,以帮助企业应对环境的最新挑战。

同样是在今天,微软还开源了一个名为DeepSpeed的深度学习库。该学习库已针对开发人员进行了优化,以提供低延迟、高吞吐量的推理。

07从管理到赋能,将学习主动权还给学员

微软AI研究应用科学家Corby Rosset在博客文章中写道:“除了通过汇总文档和电子邮件来节省用户时间之外,T-NLG还可以通过为作者提供写作帮助,并回答读者可能对文档提出的问题,由此来增强Microsoft Office套件的使用体验。” 

基于Transformer的架构,意味着该模型可以生成单词来完成开放式文本任务。除了完成未完成的句子外,它还可以生成对输入文档的问题和摘要的直接答案。

与传统组织管理模式相一致,传统培训也是自上而下的管理模式。培训部门是企业培训的管理机关。负责定义培训的内容、师资、学员及目标,员工学什么、怎么学、向谁学以及什么时候学,都是培训部门决定的。学员的被动本质决定了学习效果的低下。学员参与度不高,抱怨培训部门几乎成为常态。培训经理在培训期间则战战兢兢,如履薄冰。可以想见,在疫情压力之下,这种情形将更为常见。

因此,学习效能>工作效能,是企业学习设计者必须追求的目标。

同时,为让各地游客更好体验“大好河山”张家口最具年味儿的年节旅游盛宴,张家口还精心推出激情滑雪游、冰雪冬捕游、冰雪运动游、年俗体验游、休闲康养游、红色研学游六条冬季精品旅游线路。

不过,像Google的Meena一样,最初使用GPT-2,T-NLG最初只能在私人演示中共享。

雷锋网原创文章,。详情见转载须知。

企业学习部门应当成为学习专家与顾问,为业务部门提供解决问题的顾问服务,赋能业务难题的解决,以提升自身的价值。

另一方面,直接支撑业务的企业学习不仅能够存活,还会蓬勃发展。这是因为当前企业经营的主要矛盾就是业绩改善。当外部环境恶劣,外延式增长已经成为过去,那么苦练内功,内涵式增长就是必选项。于是,直接支撑业务改善的企业学习方法论成为企业经营的关注热点。

改变的关键在于从管理到赋能,顺应学习的规律,将学习的主动权还给学员。对于新时代的学员来说,他们是网络原住民,更加适应主动学习方式。也只有主动学习才能取得最佳的学习效果。

在这样的形势下,企业学习将遭受最严峻的考验。一切装模做样不产生实际结果的企业培训必将被抛弃,相关的培训预算一定会被压缩甚至取消。

近年来,企业越来越意识到知识管理的重要性,知识管理逐步成为企业学习领域的重要组成部分。基于企业特定应用场景的知识萃取成为一股潮流。许多企业的在线学习系统鼓励员工自下而上的制作微课,分享经验,取得了不错的效果。

皇马认为本泽马是球队重要组成部分,他也是皇马本赛季的最佳射手,堪称是俱乐部的牌面球员。本泽马和俱乐部的其他人的关系也非常好,主席弗洛伦蒂诺就十分欣赏本泽马。

北京市50家媒体记者、100家旅行社代表,以及张家口市部分县区、涉旅企业代表参加主题推广活动。张家口市张北草原天路管理处以及尚义县鸳鸯湖滑雪场等五家景区在推介会上,就“红红火火中国年”第三届张家口年俗国际旅游季中,准备推出的冬游草原天路等文化、民俗、艺术、渔猎、餐饮活动进行了介绍。

然而疫情下,人才发展显然是次优先级的事情。更重要与紧迫的事情是如何维持企业的正常运转,如何降低成本,如何稳定业务,如何凝聚军心士气,如何进行组织结构调整,如何维护客户关系,如何进行业务模式转型等等。

02一切装模做样的企业学习都将烟消云散

04支撑战略业务的动态企业学习体系成为未来

于是,企业学习的价值定位就应当是赋能组织,在组织能力建设、文化落地、组织心智升级、业务创新变革、生态战略构建等方面,助力组织实现目标。

显然,这是因为企业数字化学习的发展还处在初级阶段。仅仅是将线下内容搬到线上,线上内容只是静态资源。

06企业学习应成为组织新知的创造引擎

严冬已至。活下去,成为企业经营的主要方针。

本次活动将推出八个系列、48项活动。冰雪运动狂欢系列,以冬奥城市张家口冬季精彩纷呈冰雪旅游活动为主,举办尚义县鸳鸯湖冰雪娱乐季、崇礼冰雪夜经济特色季、宣化区假日绿岛冰雪嘉年华、怀来县“冰雪迎奥运”主题活动、塞北管理区冰雪嘉年华等数十项冰雪娱乐活动,邀请八方游客感受冬奥之城“冰嬉雪趣”的极致体验。古堡民俗庙会系列,将在新年期间,在蔚县、宣化、涿鹿县等县区的假日绿岛、右卫城、黄帝城等景区,举办打树花、拜登山、民俗秧歌、蔚州大戏、威风锣鼓大赛等一系列民俗社火竞演、新春庙会、民俗展演等文化展示活动,让游客体验张家口最丰富、最浓厚、最独特的传统民俗文化。精彩文艺展演系列,在市区展览馆举办全市年货及旅游扶贫农副产品展、30场德艺双馨舞台惠民演出,展示原汁原味的张家口文艺,让群众购买到正宗农副产品和新年年货。激情体育赛事系列,从2019年12月底开始,承办国际雪联和国内的一系列滑雪赛事,举办第十九届中国崇礼国际滑雪节、雪季开板节、滑雪研学冬令营、冰雪夜经济等百余项活动,让广大游客既可欣赏精彩赛事,又能踏板驰骋雪道,滑天然雪、过激情年。新春特色灯展系列,将举办元宵节灯展、桥东工业文化主题公园时尚灯光秀,在全市各社区搞小型特色灯展。冬游草原天路系列,是张家口重点打造的冬季旅游品牌,将在草原天路沿线县区打造一批民俗村,游客可以赏冰挂雪挂、观天路美景,品民俗、坐冰车、吃农家饭、过中国年,领略冬季草原天路别样风情。

03价值定位将从“个体发展”变为“组织赋能”

疫情对中国经济的打击是巨大的,旅游、零售、餐饮等行业面临直接冲击,企业经营压力大,就连餐饮行业头部企业西贝都反应现金流只能够支撑三个月。相信没有行业能够独善其身。

这里学习效能是指学员单位时间的收获,包括学员问题的解决,知识的掌握,能力的提升与新知的产出等。只有学习效能大于单位时间学员工作效能,学员才愿意主动参加学习,学习才能彰显真正的价值。

因此,企业学习部门应当扮演赋能学习领导者的角色,创造企业学习的文化土壤,提供学习资源,建立学习的机制,让员工自发主动的学习。在AI及大数据发展条件下,为员工提供数据驱动的个性化学习服务。

本泽马不想和俱乐部签订长期合同,而是希望采取这样的短合同续约方式,所以当他不能拿出自己最好状态时,他就会选择离开皇马。本泽马刚满32岁,到2022年新合同到期时,他将年满34岁。

05学习效能大于工作效能

行动学习研究中心主任

而此次微软所分享的模型,T-NLG的参数为170亿个,是英伟达的Megatron(现在是第二大Transformer模型)的两倍,其参数是OpenAI的GPT-2的十倍。微软表示,T-NLG在各种语言建模基准上均优于最新技术,并在应用于许多实际任务(包括总结和问题解答)时表现出色。

人才发展应当是企业学习一部分的职能,个体发展应当在组织目标的达成过程之中完成。企业学习的价值定位将从“个体发展”升维为“组织赋能”。