钱爽's Blog

每一次不一样都来自一个勇敢的开始

67.0 AutoGPT核心原理及源码解析

传送门：https://zkant0v7nc.feishu.cn/docx/GhVMdixqxojxohxf5A5cCb8Nn5e

Posted by 钱爽 on May 8, 2023

66.0 计算广告与商业变现

后面我们会分享计算广告与商业变现的系列专栏，由于个人博客存在编辑效率低以及网络访问慢等问题，以后内容将采用飞书文档进行发表，欢迎大家查阅并批评指正。传送门：https://zkant0v7nc.feishu.cn/drive/folder/fldcnvfXxGB49333cuB15TiL73e

Posted by 钱爽 on February 16, 2023

65.0 ChatGPT

之前我们所讲到的BERT、prompt learning、GPT-3，都是人工智能行业的重大突破，但是也只是引起了NLP领域小范围的轰动，但是chatGPT掀起了全球范围内几乎所有领域的热潮，世所罕见，全然一副人工智能奇点将要来临的赶脚。 ChatGPT和去年年初公布的InstructGPT是一对姊妹模型，有时候也被叫做GPT3.5，是在GPT-4之前发布的预热模型，据传还未发布的GPT-...

Posted by 钱爽 on February 10, 2023

64.0 GPT-3

GPT-3与BERT GPT-3是chatGPT的核心模块之一，它是一种自然语言生成模型，主要用于对话领域，和BERT一样底层基于deep transformers模型架构，并且都是在超大规模数据集上训练出来的预训练语言模型。BERT与GPT-3主要有以下几点不同：模型架构。BERT基于Deep BiDirectional Transformers（详情见往期分享BERT），而GP...

Posted by 钱爽 on February 9, 2023

63.0 prompt learning

模型原理 Prompt Learning是NLP领域继BERT后的又一突破性Topic，总的来说，Prompt是一种为了更好的使用预训练语言模型的知识，采用在输入段添加额外的提示文本的技术。目的：更好挖掘预训练语言模型的能力。手段：在输入端添加提示文本，即重新定义任务（task reformulation）。本质上，Prompt Learning可以理解为一种下游任务的重...

Posted by 钱爽 on February 8, 2023

62.0 知识蒸馏

模型原理现在的深度学习模型越来越大，例如BERT，在线下训练时对时间要求不高的话，还可以接受。但是在线上inference时，如果对延迟要求高的话，像BERT这样的大模型，就很难满足要求。因此，需要找到模型压缩的方法。知识蒸馏被广泛用于模型压缩和迁移学习当中，目的是把大模型或者多个模型ensemble后的知识提炼给小模型。迁移学习是从一个领域迁移到另一个领域，知识蒸馏是将知识从一个大...

Posted by 钱爽 on October 22, 2020

61.0 基于深度学习的推荐系统——Re-ranking

排序（ranking）算法整体可分为point-wise、pair-wise和list-wise，举个现实的例子，如果用户小白更喜欢“吃鸡”而不是“王者荣耀”你，那么： point-wise：这是最一般使用的做法，即对每一个候选物品给出一个评分，然后基于该评分进行排序。这种做法仅仅考虑了用户和物品之间的关系，而没有考虑排序列表中物品之间的关系。即point-wise会优化：f(小白,吃...

Posted by 钱爽 on August 11, 2020

60.0 推荐系统最佳实践——Airbnb

Airbnb作为全球最大的短租网站，提供了一个连接房主（host）挂出的短租房（listing）和主要以旅游为目的的租客（guest/user）的中介平台。Airbnb基于user的点击（click）及预订（booking）等交互行为数据构建了一个real time的Search ranking model（搜索排序模型）。为了捕捉到user的short term以及long term的兴趣...

Posted by 钱爽 on August 5, 2020

59.0 推荐系统最佳实践——Facebook & YouTube

Facebook CTR预估模型说到CTR，不得不提Facebook的经典的GBDT+LR，利用GBDT自动进行特征筛选和组合，进而生成新的feature vector，再把该feature vector当作logistic regression的模型输入，预测CTR。大家知道，GBDT是由多棵回归树组成的树林，后一棵树利用前面树林的结果与真实结果的残差做为拟合目标。每棵树生成的过程是一...

Posted by 钱爽 on August 4, 2020

58.0 基于深度学习的推荐系统——BST & DSIN & ESMM

BST BST（Behavior Sequence Transformer），其实就是通过Transformer取代了DIEN中的双层GRU，试图通过Transformer来更好的model用户兴趣随着时间的演化过程。模型架构如下：模型架构一目了然，除了引入Transformer之外，并没有太多其他创新的地方。唯一需要注意的就是position embedding的计算。位置特征用来刻...

Posted by 钱爽 on August 3, 2020

1 2 3 4 5 6 7