我也要用- 博客(8)
- 资源 (23)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 论文阅读笔记：A Comparative Study on Transformer vs RNN in Speech Applications
序列到序列模型已广泛用于端到端语音处理中，例如自动语音识别（ASR），语音翻译（ST）和文本到语音（TTS）。本文着重介绍把Transformer应用在语音领域上并与RNN进行对比。与传统的基于RNN的模型相比，将Transformer应用于语音的主要困难之一是，它需要更复杂的配置（例如优化器，网络结构，数据增强）。在语音应用实验中，论文研究了基于Transformer和RNN的系统的几个方面，例如，根据所有标注数据、训练曲线和多个GPU的可伸缩性来计算单词/字符/回归错误。
2020-11-24 16:54:00
60
原创 论文阅读笔记：Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
本文在一个统一的神经网络中介绍了这两种注意力，网络命名为Deep Attention Matching Network（DAM），用于多回合响应选择。在实践中，DAM将上下文或响应中的语句的每个词作为抽象语义段的中心含义，并通过堆叠式的自注意力丰富其表示，从而逐渐围绕中心词生成越来越复杂的段表示 。考虑到文本相关性和依存性信息，上下文和响应中的每个语句都基于不同粒度的句段对进行匹配。这样，DAM通常会捕获上下文之间的匹配信息以及从单词级到句子级的响应，然后使用卷积和最大池化操作提取重要的匹配特征，最后通过单
2020-11-23 00:24:48
560
原创 搞定检索式对话系统的候选response检索--使用pysolr调用Solr
模型结构和训练至关重要，但是检索候选回复也是使得整个对话流程实现闭环的关键。我们了解了检索的目的和整体流程，那我们从何实现？方式有很多，可以自行编写一个脚本从数据集中生成一个索引候选数据集（这个是我最开始用的方法，但毕竟没专门研究过检索，所以写的很粗糙，勉强验证功能可以，用作正式使用就不行了），还有一种就是使用现有的检索工具，比如Lucene、Solr、ElasticSearch等等。所以这篇文章就是来讲解部署solr和使用python实现检索
2020-11-19 00:19:41
512
原创 论文阅读笔记：ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections
论文中介绍了一种叫ProjectionNet的联合框架，可以为不同机器学习模型架构训练轻量的设备端模型。其使用复杂的前馈/循环架构（就像 LSTM）作为训练模型，联合一个简单的投影（projection）架构——其中包含动态投影操作以及一些窄带全连接层。整个架构使用反向传播在 TensorFlow 上进行端到端训练，在训练完成后，我们就可以直接使用紧凑的 ProjectionNet 进行推理了。通过这种方法，我们可以训练尺寸很小的 ProjectionNet 模型，兼顾小尺寸（比常规模型小几个数量级）与高性
2020-11-16 00:15:28
66
原创 论文阅读笔记：MuTual: A Dataset for Multi-Turn Dialogue Reasoning
面向非任务的对话系统在给定上下文的情况下，当前系统能够产生相关且流畅的回复，但是由于推理能力较弱，有时会出现逻辑错误。为了促进对话推理研究，发布了多轮对话推理数据集 MuTual，针对性地评测模型在多轮对话中的推理能力。它由基于中国学生英语听力理解考试的8,860个手动注释的对话组成
2020-11-10 11:17:14
138
原创 深度学习矩阵乘法的终极奥义einsum，结合多个计算框架上的使用
einsum以一种优雅的方式，表示各种矩阵运算，好处在于你不需要去记和使用计算框架中（TensorFlow|PyTorch|Numpy）点积、外积、转置、矩阵-向量乘法、矩阵-矩阵乘法的函数名字和签名。从某种程度上解决引入不必要的张量变形或转置运算，以及可以省略的中间张量的现象。不仅如此，einsum有时可以编译到高性能代码，事实上，PyTorch最近引入的能够自动生成GPU代码并为特定输入尺寸自动调整代码的张量理解（Tensor Comprehensions）就基于类似einsum的领域特定语言。此外，可
2020-11-09 21:09:43
215
原创 好好琢磨一下TF-IDF，结合Sklearn
TF-IDF（Term Frequency-Inverse Document Frequency）是一种针对关键词的统计分析方法，用于评估一个词对一个文件集或者一个语料库的重要程度。一个词的重要程度跟它在文章中出现的次数成正比，跟它在语料库出现的次数成反比。这种计算方式能有效避免常用词对关键词的影响，提高了关键词与文章之间的相关性。原理说简单点，不难理解。
2020-11-08 17:08:28
124
原创 损失函数理解汇总，结合PyTorch和TensorFlow2
本文打算讨论在深度学习中常用的十余种损失函数，结合PyTorch和TensorFlow2对其概念、公式及用途进行阐述，希望能达到看过的伙伴对各种损失函数有个大致的了解以及使用。本文对原理只是浅尝辄止，不进行深挖，感兴趣的伙伴可以针对每个部分深入翻阅资料。
2020-11-02 15:30:14
633
1000道 互联网大厂Java工程师面试题(1)(1)(1).pdf
2020-04-03
Eclipse的Properties插件
2018-01-29
JSTL包和standrad包
2018-01-29
java API 1.8
2017-09-19
空空如也
关于vs2010的使用问题，求助
2017-01-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝