2019年7月28日-8月2日,自然语言处理顶级学术会议ACL 2019在意大利佛罗伦萨举办。这是历史上最火的一届NLP顶会,有效投稿达到2694篇,相比去年的1544篇增加了75%,注册人数超过3100人。滴滴首次成为会议黄金赞助商,带来多项精彩工作。

滴滴团队在本届ACL收录三篇论文。其中,研讨会论文《基于双边单一语言交叉熵差异的并行数据过滤》介绍了一个新的针对小语种并行语料筛选方法。这个方法完全基于单一语言的语料,并不要求有任何的并行双语翻译语料。本方法对之前基于双向翻译的交叉熵差值的过滤方法进行了改进,从而不需要提前训练任何翻译模型。
滴滴自然语言处理研究员Amittai Axelrod正在介绍该工作
本文的另外一个贡献是使用了循环数据增长(cynical data selection)的方法来进行筛选,使用相对信息量(relative informativeness) 来判断一对双语句子之间的关系。尽管我们的方法没有超过那些用了双语并行语料的方法,但是该方法在仅有有限并行语料或者没有并行语料的情况下是非常有竞争力的。并且,该方法对于计算资源的消耗比较少,可以在几小时内在一台普通的笔记本上完成端到端的训练。
滴滴自然语言处理首席科学家Kevin Knight在会议期间带来《简单自动机是否可以更好地学习》报告。长期以来,语言学家都在寻找可以解释人类语言的最简单的框架,从而使得机器学习人类语言变得可行。计算语言学家也找到了拥有高效算法的简单自动机(automata)。Kevin讨论了在现今神经网络时代,自动机的优势及限制性。
滴滴自然语言处理首席科学家Kevin Knight进行报告
滴滴自然语言处理研究员Amittai Axelrod作为主要组织者,举办了WiNLP研讨会。WiNLP旨在推广NLP多元化研究,从研究者的性别、出身、文化等,到研究课题的广泛性,不同研究者的背景有效避免了思维单一化的盲点。长年来,WiNLP对女性及拉丁美洲研究者提供非常大的支持,有效搭建了世界NLP社区多元化发展的桥梁。
滴滴团队与参会者进行交流
会议期间,滴滴首次在NLP社区推广一系列自然语言处理工具集:
1、基于深度学习的语音和自然语言理解模型训练平台DELTA
自然语言处理模型和语音模型是很多AI系统与用户交互的接口,此次滴滴正式这一开源深度学习模型训练框架,旨在进一步降低开发者创建、部署自然语言处理系统和语音模型的难度。
DELTA主要基于TensorFlow构建,能同时支持NLP(自然语言处理)和语音任务及数值型特征的训练。整合了包括文本分类、命名实体识别、自然语言推理、问答、序列到序列文本生成、语音识别、说话人验证、语音情感识别等重要算法模型,形成一致的代码组织架构,整体包装统一接口。
该平台将帮助AI开发者创建、部署自然语言处理和语音模型,构建高效的解决方案,助力NLP应用更好落地。
目前AI开发者可登陆Github(https://github.com/didi/delta)查看DELTA的详细介绍和源代码,利用DELTA加快实验进度,部署用于文本分类、命名实体识别、自然语言推理、问答、序列到序列文本生成、语音识别、说话人验证、语音情感识别等任务的系统。
2、 滴滴自然语言处理平台
NLP是人工智能的重要领域之一。自然语言是人类最主要的沟通交流方式、知识存储方式,计算机为了理解人类意图、根据信息做出处理/推断、并对人类意图进行反馈,需要具备较强的自然语言处理能力。NLP平台则为自然语言的理解和各类文本类应用提供了基础能力。
滴滴有丰富的业务场景和应用来检验自然语言算法模型的效果,并利用这些场景数据进一步优化了算法模型的效果,目前NLP平台已在公司内部提供了大量业务支持(安全(内容安全/黑产)、数据驱动的营销方式、运营数据分析、司乘体验优化、客服管理、智能客服等)。目前,该平台的主要功能及内部应用包括:分词、词句向量、命名实体识别、数据脱敏、语义相似度、情绪识别、翻译等。
3、 ChineseNLP项目
在英文NLP领域,目前已经有汇总性网站跟踪英文NLP各个任务最新的研究进展,包括每个领域 (Task) 的标准数据集 ( test sets) 以及最新的 state-of-the-art。滴滴自然语言处理研究组正在搭建中文NLP领域的类似汇总性平台。
目前,团队已经完成中文NLP领域近20个任务的文档。针对每个领域,找到了学术界在这个领域所用的标准的数据集,以及当前最佳的方法在这些数据集上的表现,相当于每个领域都建立了一个榜单。每个领域都提供中英文双语文档,利于国内外研究者使用。每个领域的文档都遵循相同的模板,列出该领域的所有标准测试集 (test set),任务评价指标(evaluation metrics) 和当前最佳结果 (the state-of-the-art results),方便研究人员快速对比和复现实验结果。
滴滴希望这个项目能够让相关的学生和研究人员能够快速轻易地找到参考,对于推动中文自然语言处理研究的发展可以起到积极的搭建作用。
欢迎访问https://github.com/didi/ChineseNLP 了解更多信息。
4、 滴滴机器人平台
滴滴机器人平台是滴滴AI Labs自然语言处理组采用机器学习领域先进的技术,经滴滴客服等内外业务线长期使用验证,将自然语言理解和处理算法能力沉淀,适用于多种业务场景的通用机器人平台。
平台致力于帮助用户快速构建一个可以高效解决业务需求的聊天机器人。机器人平台提供了灵活的“用户-机器人-技能”架构,用户可以从技能库中选择合适的技能加载到机器人中,实现机器人的灵活搭建。
在问答方面,机器人平台支持多种类型的问答能力融合,如基于深度语义匹配的问答、基于知识图谱和文档理解的问答等。在对话领域,机器人平台支持方便易用的填槽式问答和功能强大的对话流程管理。平台还预设了语料辅助整理、相似问题生成、语料质量诊断等多种提升语料质量的能力,帮助机器人更准确的领会用户意图。同时,全平台还持续支持自然语言理解和处理的反馈提升。除此之外,机器人平台还提供了多项预置能力,如常见的各类型实体和常用对话技能,方便用户低成本打造机器人。
了解滴滴参与ACL 2019的更多信息,欢迎访问:https://outreach.didichuxing.com/acl2019/


