CondenseNet V2：深度网络的稀疏特征重新激活 本文介绍CondenseNet V2模型的实现，该模型基于密集连接，针对DenseNet和CondenseNet特征复用问题，引入稀疏特征重激活，对冗余特征裁剪与更新，提升复用效率。文中给出基于Paddle的代码实现，包括各组件及预设模型，并测试了模型输出，还列出不同模型在ImageNet-1k上的精度表现。
一文搞懂Paddle2.0中的学习率 本项目围绕深度学习中重要的学习率超参数展开，旨在掌握Paddle2.0学习率API使用、分析不同学习率性能及尝试自定义学习率。使用蜜蜂黄蜂分类数据集，对Paddle2.0的13种自带学习率及自定义的CLR、Adjust_lr进行训练测试，结果显示自定义CLR效果最佳，LinearWarmup等也值得尝试。
Paddle.Hub 详解：通过 Paddle.Hub API 分享自己的项目 本文介绍如何通过Paddle.Hub在GitHub分享模型。先搭建MLP-Mixer模型，含MlpBlock、MixerBlock等组件及mixer_b、mixer_l预置模型。接着构建项目，含模型代码文件和hubconf.py配置文件。经本地测试后，上传至GitHub，他人可方便加载使用，接入过程简单。
基于 Paddle2.0 实现 DLA 模型 本文介绍了Deep Layer Aggregation（DLA）模型，将聚合定义为网络不同层的组合，提出深度可聚合结构，通过迭代深层聚合（IDA）和分层深度聚合（HDA）融合特征。迁移了官方模型代码和预训练参数，验证了精度。还展示了模型细节、搭建、精度验证及训练示例，指出DLA能以较少参数和计算量获更高精度。
PaddleNLP2.0：BERT模型在文本分类任务上的应用 BERT是预训练语言表征模型，采用双向 Transformer 和掩码语言模型（MLM）生成深层双向语言表征。其嵌入层含 Token、Segment、Position Embeddings，预训练含 MLM 和下一句预测任务。微调时加输出层即可适配多下游任务，PaddleNLP 有相关预训练模型及使用示例，需注意版本和数据处理问题。
CPM-Distill：经过知识蒸馏的小型文本生成模型 本文介绍知识蒸馏技术及基于PaddleNLP加载CPM-Distill模型实现文本生成。知识蒸馏是模型压缩方法，以“教师-学生网络”思想，让简单模型拟合复杂模型输出，效果优于从头训练。CPM-Distill由GPT-2 Large蒸馏得到，文中还给出安装依赖、加载模型、解码方法及文本生成示例。
ConViT：引入归纳偏置的ViT 本文复现了ConViT模型，其通过GPSA模块将CNN的归纳偏置引入ViT。代码用Paddle实现，包含网络结构搭建、模型定义等。在Cifar10数据集验证，因结合卷积优点，少样本下性能优于DeiT。还提供预训练权重，ImageNet验证集上不同架构有对应精度。
Paddle2.0：浅析并实现 CaiT 模型 《Going deeper with Image Transformers》针对图像Transformer优化少的问题，研究构建和优化更深网络。提出LayerScale，在残差块输出乘对角线矩阵，改善训练动态以训练更深模型；设计类别注意力层，分离patch自注意与信息总结。所建CaiT模型在图像分类任务中表现出色。
