ALBERT让所有层共享同一组参数，Universal Transformer在深度方向复用同一层，这些工作表明Transformer不同层学到的表示存在大量冗余。