OD Blog

Thinking will not overcome fear but action will.

自然语言处理中的embeddings

Contextualized Embeddings

自然语言处理中的embeddings 1. Introduction ​ 语境词嵌入（contextualized word (CW) ）是新一代词嵌入技术，它的突出特点就是词的表示对其所处的上下文具有敏感性，一个目标词的embedding可以根据他出现的上下文而变化，这些动态embeddings减轻了许多与静态词embeddings相关的问题，并为捕捉自然语言在上下文中的语义和句法属性...

Posted by OD on August 29, 2020

自然语言处理中的embeddings

Word Embedding

自然语言处理中的embeddings 1. 背景 ​ 自2010年代初以来，嵌入一直是自然语言处理（NLP）的主流热词之一。将信息编码成低维向量表示，在现代机器学习算法中很容易集成，这在NLP的发展中起到了核心作用。嵌入技术最初集中在单词上，但很快就开始将注意力转移到其他形式上：从图结构，如知识库，到其他类型的文本内容，如句子和文档。 ​ 接下来，我们会从最初的on...

Posted by OD on August 13, 2020

memory network

记忆网络的是前世今生

memory network 1. 背景 ​ 记忆网络是一种最早提出于2014年的网络，这个网络与seq2seq有许多相似之处，不过有其特殊之处，该网络经过几年的发展，已经发展出了不少的新技术，本篇文章讲话对该类网络进行个较为详细的介绍。 2. 方法历程 2.1 memory networks ​ 这个网络提出的背景是基于大部分的机器学习模型不能读和写一个long-term ...

Posted by OD on August 13, 2020

MMI

用于提升多样性的Maximum Mutual Information算法

MMI：Maximum Mutual Information 1. 背景 ​ 在传统的seq2seq领域，多样性问题一直是个令人困扰的问题，一个典型的例子就是bot领域，在回答的时候容易生成一些非常safe，grammatical的reply，比如“呵呵”，“I don’t know”之类，这些回答可以顺应人们的问题，但是基本没有太多实际的意义，试想，谁会使用一个问啥都说不知道的b...

Posted by OD on August 13, 2020

多轮对话模型漫游

更好的对话系统

多轮对话模型漫游 1. 基于问答对的模型的缺陷  基于问答对的chatbot我们已经讨论过，不过，这种简单的模型用来玩玩是可以的，真要是更强的场景是不适用的，因为实际场景中，我们的对话轮次是多轮的，比如下面的对话场景： “哪家餐馆好吃？” “你想吃什么口味呢？” “火锅吧！” “好的，为你挑选一下火锅店…” ………  上面的场景需要多次的对话才能确定意图，其意图...

Posted by OD on August 1, 2020

文本生成评价指标串串烧

如何衡量文本生成质量

文本生成评价指标串串烧 1. 前言 ​ 语言与图像，作为当前AI领域的两大热门方向，吸引了无数研究人员的目光。相比于图像，语言有简单易得，数据易于收取，存储空间低等优点，不过，由于语言本身的特性，他还有时序复杂，句式多变等缺点，带来的后果就是相比于CV领域的迅猛发展，nlp的发展好像差了点意思。不过，随之近年来以transformer为开端的技术的发展，nlp也迎来了自己的大发展，尤其是...

Posted by OD on July 11, 2020

视频分类二三事

从流行的短视频说起

视频分类二三事 1. 视频分类 ​ 要说目前最火热的应用方向，短视频无疑会占据一方之地，这点从风靡全球的TikTok（国内为抖音）就可以看的出来，无论你自己刷不刷，你周围肯定很多人乐此不疲，沉迷其中。 ​ 短视频的火热也催生了很多关于视频的研究方向，其中视频分类便是其中之一。而不同于静态的图片，视频是帧的结合，因为其除了具备静态的RGB特征，还有帧与帧之间的序列关系存在，所以关于视频的...

Posted by OD on July 10, 2020

RNN中的Teacher Forcing

Teacher Forcing妙用

RNN中的Teacher Forcing 1. 什么是Teacher Forcing ​ Teacher Forcing（下面简称tf）是一种快速有效地训练递归神经网络模型的方法，这个方法名字听着很高端，其实应用非常简单，就是使用上一时间步的输入的groud truth作为输入，而取代了真实的目标输入。该技术广泛使用在了机器翻译，文本摘要，图像描述（ image captioning）等...

Posted by OD on June 7, 2020

pytorch调参

调参技巧记录

pytorch调参 1. 学习率 ​  非常重要，设得太大，模型会发散，直接崩了；过小，则一直震荡，无法跳出局部最优解。 看这里来通过一定的手段学习最佳学习率。 def find_lr(init_value = 1e-8, final_value=10., beta = 0.98): num = len(trn_loader)-1 mult = (final_va...

Posted by OD on June 5, 2020

聊聊chatbot那些事

chatbot踩坑历程

聊聊chatbot那些事 1. 生活中的chatbot ​ 现在社会，随着AI的迅猛发展，各种新技术层出不穷，大大改变了我们的生活，其中，有很多技术已经走入了我们的日常生活，比如CV领域的人脸识别 ，NLP 领域的智能助手等。本次，我们就来聊聊智能助手中会涉及到的技术，也就是chatbot。 ​ chatbot，其实是有很多分类的，目前，最常见的是把它分为一下几类： ...

Posted by OD on June 2, 2020

FEATURED TAGS
attention Pytorch finetune deep learning text generation chatbot nlp transformer
ABOUT ME

Goals determine what you going to be!

✉️ yk137252307@gmail.com