面向自由编程

1. member function类型

• static member function

• nonstatic member function

  nonstatic member function 设计原则是和 nonmember效率相同，方法就是隐藏传入一个this指针，重写为外部函数时，函数签名带标识保证全局唯一。

• virtual function

  虚函数调用时会到虚表找到相关的函数地址，然后传入this指针。例如调用：

  1	ptr -> func();

  在编译器中会生成：

  1	(*ptr -> vptr[1])(ptr);

构造

1. 无继承

• Plain Old Data(纯data)

  1 2 3 4

  typedef struct Point{ double x; double y; }Point;

  直接逐bit拷贝，编译器甚至没有生成默认构造和析构函数。

  Read more »

AE&AR优缺点、优缺点分析

transformer变种

K-BERT

Knowledge-Enhanced PTMs

目的

把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简单的说就是用小模型去学习大模型的预测结果，而不是直接学习训练集中的label。

K-Adapter

背景知识

1. Language Representation Learning
   下图展示了NLP的一般网络结构，下面一层是对词进行非上下文的编码，上面一层代表了在具体任务上对词进行基于上下文的编码。
   
   Read more »

BPE