本文从初代 GPT 开始，总结 GPT 系列（GPT、GPT2、GPT3、InstructGPT/ChatGPT）的发展演变，主要包括模型结构、训练数据、核心创新等。

在搜广推场景下，各业务团队会生产很多特征，但很多都是冗余甚至与预测任务不相干的，这不仅带来了额外的性能开销，还可能会导致模型陷入局部最优影响模型预估效果。因此，不管是性能优化，还是效果优化，特征选择都是必不可少的。本人近期阅读了一些特征选择相关的文章（包括特征重要度学习、embedding维度搜索等），总结成本文留作日后回顾，也供大家参考。