钱爽's Blog

每一次不一样都来自一个勇敢的开始

57.0 基于深度学习的推荐系统——DIN & DIEN

在具有丰富的用户行为的推荐场景中，特征通常包含有可变长度的ids list，比如YouTube推荐系统中的searched terms、watched videos，我们前面所讲的所有模型通常通过sum/average pooling将对应id的embedding向量矩阵转换为一个固定长度的向量，这样必然会造成信息的损失。举例来说，如果目标广告是咖啡相关的，点击序列中有一个咖啡相关的广告，...

Posted by 钱爽 on August 2, 2020

56.0 基于深度学习的推荐系统——AFM & NFM

本文介绍几篇基于FM模型的拓展研究。 AFM AFM（Attentional Factorization Machines），即在FM两两特征交叉后，加入Attention Layer，模型架构如下：公式表达式为： Attention计算采用MLP形式（非dot-product形式）：然后通过softmax归一化：最终AFM模型的表达式为： AFM核心代码如下： #输入层...

Posted by 钱爽 on August 1, 2020

55.0 基于深度学习的推荐系统——DeepFM & DCN & XDeepFM

DeepFM FM(Factorization Machine，因子分解机)主要是为了解决数据稀疏的情况下，特征两两组合的问题。后人基于FM模型结合深度学习，进行了很多尝试，比如： FNN（Factorization-machine supported Neural Network），该模型先预训练FM，然后把得到的隐向量作为embedding的初始值，应用到DNN网络，因此该模型严...

Posted by 钱爽 on July 27, 2020

54.0 基于深度学习的推荐系统——wide & deep model

推荐系统是一个让人又爱又恨的领域（大坑），爱它是因为，要知道人的惰性是可以无限放大的，DT时代充斥着海量信息，比起主动搜索，人们更愿意被动的接受推荐，而随着越来越多的推荐数据被拿来做训练，推荐结果也会越来越好，甚至推荐系统会比你更懂你，这样人就会越来越懒，如此恶性循环；另一方面在弱人工智能时代，基于大数据的搜索、推荐这种类AI的应用场景将更加具有实用性。恨他的原因主要是在于，在实际业务场...

Posted by 子颢 on July 26, 2020

53.0 transformer

时光飞逝，岁月如梭，距离上一篇POST已经过去了一年半的时间，这段时间主要是处理公司的事情以及沉淀自我。废话不多说，今天主要想带着大家深刻理解一下transformer模型架构，并且用我们之前的文本分类案例来实战transformer模型。模型架构 Transformer模型出自于Google在2017年的一篇论文《Attention Is All You Need》，Google将T...

Posted by 钱爽 on July 23, 2020

52.0 智能机器人

之前其实好几篇文章都介绍了智能机器人相关的核心技术，比如语义检索DSSM、深度语义匹配deep QQ-match、迁移学习的Classification & NER multi-task transfer learning，以及知识图谱实战中的智能检索、智能问答等。本篇文章将会把这些核心技术串联起来，并详细介绍智能机器人的总体架构及实现原理。现如今，用户将越来越多的时间花在少数几...

Posted by 钱爽 on January 9, 2019

51.0 语音合成

语音合成（Text-to-Speech，TTS）是将自然语言文本转换成语音音频输出的技术，在AI时代的人机交互中扮演着至关重要的角色。请大家思考一个问题，导航中的林志玲语音，真的是一条条录出来的吗？答案显而易见，肯定不全是事先录出来的，在语音导航中，左转、减速、掉头等较短的语句，通常是录好的内容，关键信息总是在变换的长句子，但是听起来很自然，其实就是通过语音合成技术合成出来的。那么语...

Posted by 钱爽 on December 25, 2018

50.0 语音识别

语音识别（Automatic Speech Recognition，ASR）是指机器自动将人的语音的内容转成文字。语音识别是一门交叉的、非常复杂的学科，需要具备生理学、声学、信号处理、计算机科学、模式识别、语言学、数学、统计概率学等相关学科的知识。语音识别的过程：一段待测的语音需要经过信号处理和特征提取，然后利用训练好的声学模型和语言模型，分别求得声学模型和语言模型得分，然后综合这2个得...

Posted by 子颢 on December 24, 2018

49.0 BERT

深度学习四大要素：数据、模型、算力、应用。天下文章，数不胜数，所以训练数据，取之不尽用之不竭。预训练模型的潜力远不止为下游任务提供一份精准的词向量，我们还可以利用这些海量数据直接预训练一个龙骨级的语言模型，就像图像领域的ImageNet一样，如果这个龙骨级语言模型里面已经充分的描述了单个字符、字与字之间、句子与句子之间的复杂的关系特征，并且在不同的NLP任务中都通用，那么我们只需要为特定的N...

Posted by 子颢 on December 17, 2018

48.0 视频分析

记于加州斯坦福大学校内。视频分析视频分析（Video Analysis），视频分析是近几十年来计算机视觉和多媒体领域最根本研究课题之一。这是一个非常具有挑战性的问题，因为通常视频是一个有着有很大的差异性和复杂性的信息密集媒体。由于深度学习技术的发展，计算机视觉和多媒体领域的研究人员现在利用深度学习技术能够大幅度的提高视频分析的性能，并开始在分析视频上开辟了许多新的研究方向。当前，...

Posted by 子颢 on December 15, 2018

1 2 3 4 5 6 7