钱爽's Blog

每一次不一样都来自一个勇敢的开始

27.0 迁移学习

Reusing Pretrained Layers 在前面的章节我们曾经提到过迁移学习，假如现在我们已经训练好了一个人脸识别的深度学习模型，现在又来了一个新的业务让我们训练一个动物识别的模型，这时我们可以重用人脸识别模型所抽取的低级特征，即使用其前面几层隐藏层的权重初始化新模型，因为低级的细粒度特征大家都一样，可以共享（而且也因为使用了其他领域的样本而使得低级特征更加多样化），我们只需要学...

Posted by 子颢 on August 30, 2018

26.0 基于CNN、RNN以及CRF的NER

算法原理在之前的课程中我们使用原生的CRF模型做完了NER任务，第一步就是特征工程，需要人工构建特征函数，最终效果也跟所选取的特征函数直接相关。我们知道神经网络的一个重要作用就是特征学习，那么我们能不能用CNN或RNN来提取特征，然后将特征输入给CRF做最终的NER任务呢？答案是肯定的。我们首先来看下直接用RNN如何做NER任务。可以看到我们直接对每个cell的输出先做全连...

Posted by 子颢 on August 29, 2018

25.0 循环神经网络

算法原理 RNN（Recurrent Neural Networks，循环神经网络），他的最大特点是时序性，在每一个time step，神经元接收当前的输入Xt，以及上一个time step的神经元的输出状态St-1一起产生当前的输出Yt，以及当前的状态St（St默认情况下和输出Yt相同）。下面举个例子来说明，假设每个time step的状态是二维，并且输入输出都是一维，循环体中的权重...

Posted by 子颢 on August 28, 2018

24.0 ContextCNN & HierarchicalCNN

算法原理今天我想带着大家一起来探讨两个基于CNN的经典架构，一个是ContextCNN，一个是HierarchicalCNN，这两个架构都是工业界常用的CNN模型。我们上节课说到的TextCNN模型，都是要先将Text做Flatten，然后在打平之后的Text上做一维卷积，这样简单粗暴的做法其实打乱了文本内部的Context信息，试想一下我们的文章除了字与字之间存在N-gram的关系，...

Posted by 子颢 on August 27, 2018

23.0 卷积神经网络

算法原理 CNN（Convolutional Neural Networks，卷积神经网络），是用一个或多个局部感受野（filter，卷积核）在图像或者词向量组成的矩阵上以滑动窗口的形式不断提取局部特征，然后逐层前馈传递。它支持高效的GPU并行，并且由于参数共享有效的减少了神经网络参数数量，是一种非常重要的神经网络。 CNN主要包括卷积层（convolutional layer）和池化层（...

Posted by 子颢 on August 26, 2018

22.0 word2vec & fasttext

word2vec word2vec，顾名思义就是word to vector，最早的词向量化方式是词袋模型，即将每个词打成一个one-hot向量，向量的维度就是词表的大小。这种粗糙处理方式的弊端显而易见的：词表一般很大，所以这些词组合起来是一个高维的稀疏矩阵，计算时导致内存灾难。 one-hot向量表示和词ID表示一样，没有任何的语义含义。词与词之间的编辑距离永远是2，及时他们...

Posted by 子颢 on August 25, 2018

21.0 神经网络精要

神经网络的灵活性也是它的主要缺点之一：有太多超参数可以调整。 Number of Neurons per Hidden Layer 对于每个隐藏层的神经元数目，最佳实践是漏斗模型，即逐层减少。因为许多低级特征可以合并为更少的高级特征。但是一般来说，通过增加层数而不是每层神经元数量，你将获得更多的收益。 Number of Hidden Layers 对于隐藏层数目，虽然已经证明，只...

Posted by 子颢 on August 24, 2018

20.0 全连接神经网络

算法原理在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位。如果某神经元的电位超过了一个阈值，那么它就会被激活，从而兴奋起来，继续向其他神经元发送化学物质，从而将信号逐层传递下去。如上所示，神经元接收到来自n个其他神经元传递过来的输入信号，并且每个输入信号带有一定的权重，神经元接收到的总输入值将与神经元的阈值比较，然后...

Posted by 子颢 on August 23, 2018

19.0 TensorFlow

TensorFlow是Google在2015年开源的深度学习框架，基本原理也很简单，首先你需要定义一张计算图，然后TensorFlow拿到计算图并优化执行，最重要的是，他能将图切成多个chunk，然后并行的在多个CPU或GPU上运行，并且支持分布式训练。因此它支持海量数据和百万级参数的模型训练。 TensorFlow，顾名思义，就是Tensor在计算图上流转构成的Flow。 TensorF...

Posted by 子颢 on August 22, 2018

18.0 基于传统机器学习的推荐系统

推荐算法具有非常多的应用场景和商业价值，种类很多，但是目前使用最广泛的是以下两种：基于内容的推荐。通过NLP的一些技术，挖掘文本内容，进而做推荐。基于协同过滤算法的推荐。协同过滤协同过滤(Collaborative Filtering)，假设我们有m个用户，n个商品，还有一大堆用户对商品的行为数据（浏览、点赞、点踩、评论、分享等），每一种行为可以通过领域知识映射为分值...

Posted by 子颢 on August 21, 2018

1 2 3 4 5 6 7