自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

BoCong-Deng的博客

青春都一饷,怎忍把浮名,换了浅斟低唱。

  • 博客(9)
  • 资源 (23)
  • 问答 (1)
  • 收藏
  • 关注

原创 论文阅读笔记:Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieva

本文的SMN模型结构可以说影响了很多后续相关的论文,所解决的是基于检索的聊天机器人中多回合对话的回复选择。在之前的工作,基于检索的聊天机器人的做法是将context里所有的utterances都连接在一起,将这个长长的context做处理然后和response作匹配,这样做可能会丢失语句间的关系或重要的上下文信息。Sequential Matching Network(SMN)模型就是为了解决这些问题而来的。

2020-10-31 11:14:47 95

原创 论文阅读笔记:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

本文介绍的language representation model就是大名鼎鼎的BERT,其模型结构是利用Transformer的双向Encoder表示。BERT有个明显的特点就是,它通过在所有层的左侧和右侧上下文中共同进行条件预处理,从而在未标记的文本中预训练深层双向表示。

2020-10-29 21:33:21 112

原创 Embedding和Word2vec的理解

Embedding就是用一个低维的向量表示一个物体,这个Embedding向量的性质是能使距离相近的向量对应的物体有相近的含义,正是因为Embedding能够用低维向量对物体进行编码还能保留其含义的特点,所以其非常适合用于深度学习。由于我们熟知的one hot encoding、multi hot encoding是一种稀疏向量的编码方式,所以不适合用来深度学习进行特征表示,相反Embedding概括而言,就是一种高效的低维稠密的操作。

2020-10-28 00:05:46 143 1

原创 论文阅读笔记:Self-Attention with Relative Position Representations

了解Transformer的都知道,与递归和卷积神经网络相反,它没有在其结构中显式地建模相对或绝对位置信息,而是它需要在其输入中添加绝对位置的表示,这是一种完全依赖于注意力机制的方法。在本篇论文中,提出了一种替代方法,扩展了自注意机制,可以有效地考虑相对位置或序列元素之间距离的表示。本文描述了该方法的有效实现,并将其转换为可感知到任意图标记输入的相对位置感知自注意力机制的实例,即提出了一种将相对位置表示形式并入Transformer自注意机制的有效方法,残差连接有助于将位置信息传播到更高的层。

2020-10-24 23:47:35 677

原创 论文阅读笔记:Scheduled Sampling for Transformers

cheduled sampling(计划采样)是一种避免Exposure Bias的技术,它包括向模型喂入Teacher-Forcing的embeddings和训练时间上一步中的模型预测的混合,该技术已用于通过递归神经网络(RNN)改善模型性能。在Transformer模型中,与RNN不同,新单词的生成会涉及到到目前为止生成的完整句子,而不仅是最后一个单词,致使应用Scheduled sampling技术并非易事。文中提出了一些结构上的更改,以允许通过两次遍历解码策略将Scheduled sampling应

2020-10-20 21:33:29 73

原创 论文阅读笔记:Global-Locally Self-Attentive Dialogue State Tracker

对话状态跟踪(在对话上下文中估计用户目标和请求)是面向任务的对话系统的重要组成部分。在本文中,提出了“全局-局部自注意力对话状态追踪”(GLAD),该学习器使用全局本地模块来学习用户话语的表示和以前的系统动作。模型使用全局模块在不同类型(称为插槽)的对话状态的估计量之间共享参数,并使用本地模块学习特定于插槽的特征。DST中的状态(state)通常由一个请求(request)和联合目标(joint goals)的集合组成。请求即请求系统返回所需信息(例如:request(address)),目标即用户想要完成

2020-10-20 11:42:09 76

原创 论文阅读笔记:Latent Intention Dialogue Models

开发能够做出自主决策并通过自然语言进行交流的对话代理是机器学习研究的长期目标之一。传统方法要么依靠手工制作一个小的状态动作集来应用不可扩展的强化学习,要么构建确定性模型来学习无法捕获自然对话可变性的对话语句。论文提出了一种隐意图对话模型(Latent Intention Dialogue Model, LIDM),通过离散的隐变量来学习对话意图,这些隐变量可以看作引导对话生成的动作决策,进而运用强化学习可以提升性能。实际上在任务型对话中,这个隐含的意图可以理解为是action。

2020-10-08 20:12:48 61

原创 论文阅读笔记:Neural Belief Tracker: Data-Driven Dialogue State Tracking

belief tracker是现代口语对话系统的核心组件之一,它可以在对话的每个步骤中估算用户的目标,但是,大多数当前方法很难扩展到更大,更复杂的对话域。这是由于它们对以下方面的依赖:a)需要大量带注释的训练数据的口语理解模型; 或b)手工制作的词典,用于捕获用户语言的某些语言变化。我们提出了一种新颖的Neural Belief Tracking (NBT) 框架,该框架通过基于表示学习的最新进展来克服这些问题。NBT通过推理对预先训练的单词向量进行建模,学习将其组合为用户话语和对话上下文的分布表示形式。我

2020-10-06 23:27:48 141

原创 论文阅读笔记:A Network-based End-to-End Trainable Task-oriented Dialogue System

教会机器完成与人自然交流的任务是充满挑战性的,当前,开发面向任务的对话系统需要创建多个组件,通常这涉及大量的手工制作或获取昂贵的标记数据集以解决每个组件的统计学习问题。在这项工作中,我们介绍了基于神经网络的文本输入,文本输出的端到端可训练的面向目标的对话系统,以及一种基于pipeline的Wizard-of-Oz框架的收集对话数据的新方法。这种方法使我们能够轻松开发对话系统,而无需对手头的任务做太多假设。结果表明,该模型可以自然地与人类交谈,同时帮助他们完成餐馆搜索领域的任务。

2020-10-04 16:30:39 811

学生成绩管理系统(C语言版)

基本的搜索、查找、删除。排序等等的功能齐全,菜单界面设计较为合理......

2017-08-01

SQL Server 2016

SQL Server 2016软件安装程序,直接从官网打包好,为你安装SQL Server省时间......

2018-01-31

1000道 互联网大厂Java工程师面试题(1)(1)(1).pdf

你想要的Java面试题1000道,包括数据库、基础、并发、微服务、Spring、等等面试题,新鲜出炉,请收下。

2020-04-03

JDBC for SQL Server

SQL Server的JDBC驱动,官网下载,用以连接SQL Server.....

2018-02-04

Tomcat 9.0.1

官方打包好的Tomcat 9.0.1绿色版和安装版供你选择,为你安装Tomcat省去时间......

2018-02-04

SQL Server 2017 Dev

SQL Server 2017软件安装程序,直接从官网打包好,为你安装SQL Server省时间......

2018-02-04

JSP应用开发详解第三版源码

JSP应用开发详解第三版源代码,非常适合学习使用,提高了学习效率......

2018-01-29

Eclipse的Properties插件

Eclipse 安装properties 插件是我们常常需要使用的技巧,现实中,很多框架都使用 了properties文件来配置一些常用的程序参数......

2018-01-29

JSTL包和standrad包

在web项目中使用JSTL标签,JSTL 1.0 的声明是 <%@ taglib prefix="c" uri="http://java.sun.com/jstl/core " %> 所使用的web应用服务器resin与tomcat有所区别 resin\lib目录下存在jstl-1.2.jar、jta-101.jar包 而tomcat目录下不存在这两个jar包 结论:在使用tomcat里要在web工程中引入以上两个jar包 以解决http://java.sun.com/jsp/jstl/core cannot be resolved in either web.xml错误

2018-01-29

SQL Server 强力删除工具

本工具可以对已安装的SQL Server系列进行强力卸载,简化了卸载的复杂步骤,使得电脑与未安装之前一样使用......

2018-01-24

五子棋(C语言版)

用C语言编写的一个简单的五子棋小程序,有兴趣的小伙伴可以下载看看哟......

2017-12-19

贪吃蛇(C++版)

用C++编写的一个简单是贪吃蛇小程序,有兴趣的小伙伴可以下载看看......

2017-12-19

JAVA8_API CHM版

最新的Java8_API 中文版,可以帮助你更快地熟悉java,是java日常开发中的好工具,对你java的学习会有帮助

2017-11-29

JAVA_API_1.8 中文版

最新的Java_API_1.8 中文版,可以帮助你更快地熟悉java,是java日常开发中的好工具,对你java的学习会有帮助

2017-09-19

java API 1.8

最新java API,1.8版本,包含java库中的的各种函数的解释与使用,是一款不可多得的工具。java api是一款使用Java编程的使用说明书,里面提供了大量的程序开发分类说明,并提供API函数开发的集体编程方式,可以帮助用户更加了解Java程序的运行模式,增加程序员对开发环境的了解程度,让您在编程中尽量的减少错误,提供开发的精度......

2017-09-19

2017 ICPC实训资料

囊括金牌班、精英班、提高班和基础班的学习资料,对于想要初入还是深入ACM的朋友都挺有用的......

2017-08-27

2017前端面试题整理汇总

Web前端开发,最新的各大公司的面试题,有兴趣的朋友拿去学习......

2017-08-23

C++API中文版

网罗了几乎是C语言、C++以及STL中的所有函数,详细介绍各种函数的所属及用法,不管对于新手还是“老手”,这都是一个不错的帮助工具......

2017-08-22

仓库管理系统(C++版)

除了涉及各项基本的操作之外,包括菜单的登录系统,管理员身份操作,数据文件的保存等等......

2017-08-19

JavaScript权威指南第六版例题源码

JavaScript权威指南第六版源码,官网直接下载的,可靠......

2017-08-19

高校社团助手1.0(QT版)

使用Qt作为界面设计的语言,迎合新手用于研究Qt的运用。内含基础的功能登录、删除、查找、地图导航......

2017-08-06

文件压缩程序(基于哈夫曼C++算法)

该程序能压缩文档、图片、小视频等文件,并且基于C++的算法实现,简单易懂......

2017-08-01

数据结构—高校社团助手源码(C++)

里含有成员数据管理、社团数据管理、活动及校园地图等基本内容。另含有自主设计的数据内部共享的算法等功能......

2017-08-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除