梁忠平的博客 | BitLines' Blog

聚类简介

知识生产和数据挖掘利器

聚类简介什么是聚类？分类问题是机器学习中最常见的一类问题，它的目标是确定一个物体所属的类别。我们这里最常见的就是文本分类问题。例如情感分类，确定一段文本的情感极性：今天心情不错，晴空万里正面烦死了，外面下雨没法回家了负面分类问题通常的做法是把数据样本表示为空间的一个点，然后对空间进行切割和划分，空间不同区域表示不同的类别。如下图，给定绿色和红色点，分类...

Posted by BitLines on March 1, 2021

BERT 介绍

Pre-training of Deep Bidirectional Transformers for Language Understanding

BERT 介绍论文原文地址： https://arxiv.org/pdf/1810.04805.pdf BERT 简介 BERT 简称 Bidirectional Encoder Representations from Transformers，是 NAACL 的 best paper。也是 NLP 领域具有里程碑意义的一篇论文。BERT 的出现可以说是必然的，借鉴了前人很多成功的研...

Posted by BitLines on March 1, 2021

Transformer 介绍

Attention Is All You Need

Transformer 介绍 Transformer 出自论文 Attention Is All You Need，从字面意思就是我们只要注意力就够了，什么CNN/RNN/LSTM之类的都靠边站。Transformer 发表于 NIPS，是一篇非常优秀的论文，从此开启了一种非常标准化的文本或者其他模态数据的编码方式。论文中的图片和公式描述简洁清晰，实验在英德翻译语料上测试。论文地址： ...

Posted by BitLines on February 1, 2021

COMET 介绍

Commonsense Transformers for Automatic Knowledge Graph Construction

COMET 介绍 COMET 全称 Commonsense Transformers for Automatic Knowledge Graph Construction 论文地址：https://arxiv.org/pdf/1906.05317.pdf 概括起来是，关系三元组，其中是关系头部，是关系，是关系尾部。使作为语言模型输入，使用文本生成预测。基础介绍使用 GPT ...

Posted by BitLines on June 1, 2020

ConvLab 代码解读

DSTC8 对话评测代码框架

ConvLab 介绍 ConvLab 是支持 DSTC8 评测任务的任务型对话代码库。包括NLU/DST/DP/NLG等模块，以及一些强化学习算法。代码 github 地址： https://github.com/ConvLab/ConvLab ConvLab 简介阅读代码之后，按照我个人的理解画出来一个系统框架图代码组织的几个关键模块为： Agent：智能体，由算法、...

Posted by BitLines on April 4, 2020

DialogFlow 试用

一个很好的对话机器人产品化的例子

DialogFlow 简介最近由于工作需要，去调研了一些业界对话机器人产品化的案例，DialogFlow 无疑是非常优秀的。 DialogFlow 是谷歌研发的产品，可以让没有任何技术功底的人快速搭建一个对话机器人。产品网址： https://dialogflow.cloud.google.com/ DialogFLow 试用由于时间原因，没有深入去了解代码层面的内容，先就产品进行...

Posted by BitLines on April 2, 2020

微软小冰解读

The Design and Implementation of XiaoIce, an Empathetic Social Chatbot

微软小冰解读在论文中作者介绍说小冰兼顾智商和情商，把人机聊天问题转化为 MDP，注重优化用户的长期参与度。论文地址： https://direct.mit.edu/coli/article/46/1/53/93380/The-Design-and-Implementation-of-XiaoIce-an 小冰基础介绍在论文中作者介绍说小冰兼顾智商和情商，把人机聊天问题转化为 MDP，...

Posted by BitLines on April 1, 2020

FGM 介绍

ADVERSARIAL TRAINING METHODS FOR SEMI-SUPERVISED TEXT CLASSIFICATION

FGM 介绍 FGM 全称 Fast Gradient Method，出自论文 ADVERSARIAL TRAINING METHODS FOR SEMI-SUPERVISED TEXT CLASSIFICATION，是FGSM的改进版本。如果看过FGSM，那改进点主要有两个：少了个字母S的意思是sign，噪声扰动在FGSM中是取了梯度在每个维度上的符号（-1,0,1），而FGM是...

Posted by BitLines on March 23, 2020

FGSM 介绍

EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES

FGSM 介绍 FGSM 全称是 Fast Gradient Sign Method，出自论文 EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES，这是一篇引用量非常高的论文，虽然方法很简单，但是在模型的对抗和攻击的领域中具有里程碑的性质，影响深远。论文原文地址： https://arxiv.org/pdf/1412.6572.pdf FGSM...

Posted by BitLines on March 22, 2020

Temporal Ensembling 介绍

TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING

Temporal Ensembling 介绍 Temporal Ensembling 论文名 TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING，是一种使用知识蒸馏技术的半监督学习方法。论文原文地址： https://arxiv.org/pdf/1610.02242.pdf Temporal Ensembling 简介在机器学习领域中已...