Transformer原理及其应用

transformer 最早使用于NLP模型中，使用了 Self-Attention 机制。相较于RNN结构可以进行并行化训练，能够 拥有全局信息 。

scale dot-product attention

self-attention 过程图

query q 对 key k做attention：

softmax归一化：

权重乘value v 输出转化值：

合并之前的三个图中操作：

Transformer架构

Feed-Forward组件：

架构图：

Transformer:[2017] attention is all you need

Bert[2018]: Elmo, GPT

参数文件大小：

BERT（BASE） (L=12, H=768, A=12, Total Parameters=110M)

BERT（LARGE） (L=24, H=1024,A=16, Total Parameters=340M)

IGPT：

借鉴bert思想，OpenAI尝试对测试数据随机mask 5 个token，最终ImageNet结果果然上升了一些（红色）。由于马赛克操作过于严重（整张都mask了），尽管事实证明还是有效果的，但从输入上看，降低了模型的拟合能力。

VIT：

尝试过三种预训练方法，首先mask掉50%的patch，然后：

第三种方式已经非常接近了，但是由于研究的重点不在于此便浅尝辄止了

DEIT：

在预训练阶段，最多会mask 40%的patch。

另外，作者们其实也试过复原pixel，但效果会有18%的下降。对于这个现象，BEiT给出的猜想是，就像多层CNN一样，编码器最终得到的应该是一个更全局、高维的表示，而复现pixel会让后几层太关注局部细节。

MAE：

轻量级架构的两大核心：

一些值得注意的细节，比如：

1输入侧直接丢掉mask token，效果+07，效率x33

3选取数据增强策略，效果+02

思考：导致视觉和语言的masked autoencoder 不一样的三大原因

规模大的简单算法是深度学习的核心。在NLP中，简单的自我监督学习方法能够从模型的规模中获益。在计算机视觉中，实用的预训练范例主要是监督式的。在这项研究中，自我监督学习已经取得了进展。我们在ImageNet和迁移学习中观察到自动编码器（一种类似于NLP技术的简单的自我监督方法）与NLP中的技术类似，提供了可扩展的好处。视觉中的自我监督学习现在可能会走上一条与NLP类似的轨迹。另一方面，我们注意到，图像和语言是不同性质的信号，这种差异必须仔细处理。图像仅仅是记录的光，没有语义分解为视觉类似物的语义分解。我们不是试图去除物体，而是去除很可能不构成语义段的随机斑块。同样地，我们的MAE重建了像素，而这些像素并不是语义实体。从测试的结果上看，MAE能推断出了复杂的、整体的重建，这表明它已经学会了许多视觉概念（语义）。我们假设，这种行为的发生通过MAE内部丰富的隐藏表征。我们希望这个观点能给未来的工作带来启发。更广泛的影响。建议的方法预测内容基于训练数据集的学习统计，因此将反映这些数据中的偏差，包括具有负面社会影响的偏差。该模型可能产生不存在的内容。这些问题值得在这项工作的基础上进一步研究和考虑，以生成图像。

有可能取代所有组件。

每个领域都可尝试，遍地开花。

防晒、抗氧化、稳定配方。

1、防晒：羟苯甲酯是一种广谱的紫外线吸收剂，能够吸收UVB和UVA两种波长的紫外线，有效减少光线对皮肤的伤害，防止晒伤、晒黑和皮肤老化。

2、抗氧化：羟苯甲酯具有抗氧化作用，能够中和自由基，保护肌肤免受环境污染和氧化压力的损害，减缓肌肤老化。

3、稳定配方：羟苯甲酯还可以用作化妆品中的稳定剂，可以提高产品的稳定性，延长使用寿命。

 护肤品含糖无害，用白糖直接按摩皮肤可以去除死皮。

糖蛋白在护肤化妆品中的功效与作用：

很多消费者看到一些化妆品里含有“糖蛋白”这种化学物质，不清楚这物质的功效与作用，想了解含有糖蛋白的产品好不好。本文就从糖蛋白的功效、作用以及对皮肤的影响等方面进行介绍一下。

糖蛋白，英文名称是GLYCOPROTEINS，糖蛋白在化妆品、护肤品里主要作用是保湿剂，风险系数为1，比较安全，可以放心使用，对于孕妇一般没有影响，糖蛋白没有致痘性。

肌肤及头发调理剂，有保湿功效，也能改善微循环，促进新陈代谢。糖蛋白成分适合色素性皮肤，皱纹皮肤，非色素性皮肤，干性皮肤，敏感性皮肤，耐受性皮肤，油性皮肤，紧致皮肤这8种类型皮肤。

糖蛋白护肤品多久用一次坚持使用效果更佳 ：

最近市场上出现了很多糖蛋白护肤品，以其卓越的保湿、修复能力，逐渐受到了很多女性的追捧。可是对于怎样使用糖蛋白护肤品才好，你又知道多少呐？今天小编就以妤薇糖蛋白套装为例，为大家解答一下。

糖蛋白护肤品多久用一次：

糖蛋白护肤品可以每天使用，其实糖蛋白是肌肤细胞的重要组成部分，具有保护、识别、免疫、传递信息的任务。因此具有高度的保湿吸水能力，还能激活细胞，抵御外界辐射，促进胶原形成，延缓细胞周期的作用。

在化妆品中,基于成膜聚合物不同的性能和特点,可以赋予产品保湿、防晒、抗汗防水、定型等功效。

所以有些成膜剂确实可以通过成膜保湿，但并不是所有的成膜剂都具有良好的保湿能力，这个得看成膜剂的种类和结构，比如就算成膜剂在表面形成一层薄膜，但是由于膜之间的孔洞比较大，通透性比较好，它起到的保湿效果通常就比较差了。

而如果配方中为了保湿的话，通常会复配多种不同机理的保湿剂，这个就是另外一个话题了。

不同的护肤品的护肤成分都不一样，护肤的功效作用就是由于成分的不同，甘露糖醇在护肤品中是很常见的一个成分，甘露糖醇在护肤品中有锁水保湿的作用。

甘露糖醇在护肤品中的作用

甘露糖醇是六元醇，属于多元醇类，在化妆品中可以充当油质原料作为产品的基质使用。另外由于羟基比较多，可以与水以氢键的形式结合，有一定的锁水保湿功效，往往添加在化妆品中还能起到保湿的作用。甘露糖醇，英文名称是MANNITOL，别名：木蜜醇、甘露醇。甘露糖醇在化妆品、护肤品里主要作用是粘合剂，保湿剂，风险系数为1，比较安全，可以放心使用，对于孕妇一般没有影响，甘露糖醇没有致痘性。过氧亚硝基阴离子是超氧自由基和亚硝基离子的结合,也是一种体内常见的自由基,此自由基与色素沉着相关,甘露糖醇对它的消除有利于皮肤的调理和抗衰,对皮肤过敏也有一定程度的抑制作用;甘露糖醇可抑制对皮肤的光伤害和光老化，并有保湿功能。

甘露糖醇的护肤作用

甘露糖醇在护肤品起保湿作用。甘露醇是一种多元醇或糖醇, 其天然品广泛存在于植物、藻类、食用菌类和地衣类等生物体内。由于甘露醇具有特殊的物理和化学性质, 因此在食品、医药和化工等行业有着广泛应用。甘露糖醇是六碳糖醇，可由果糖经催化氢化制得，吸湿性低，常被用作胶姆糖制造时的撒粉剂，以避免与制造设备、包装机械黏结，也用作增塑体系组分，使其保持柔和特性。还可用作糖片的稀释剂或充填物和冰淇淋及糖果的巧克力味涂层。具有愉快风味，在高温下不退色，化学性质不活泼。它的愉快风味及口感可遮掩维生素、矿物质及药草气味。是一种很好的低热量甜味剂、胶姆糖及糖果的防黏剂、营养增补剂及组织改良剂、保湿剂。

甘露糖醇对皮肤的作用是什么

甘露糖醇其实是一种六元醇，属于多元醇类，在化妆品中可以充当油质原料，其中所含的较多的羟基可以与水以氢键的形式结合，具有一定的锁水保湿功效，所以甘露糖醇经常添加在化妆品中，主要是对皮肤起锁水保湿的作用。在挑选护肤品时，可以仔细查看所含成分，根据含有的甘露糖醇的含量来初步判断该护肤品的保湿效果。甘露糖醇对皮肤的作用：一般有锁水保湿的作用，因为它含有比较多羟基能够与水以氢键的形式结合，保湿效果好，所以常常被添加在一些护肤品中。

甘露糖醇的性状

甘露糖醇，又名甘露醇，分子式为C6H14O6，相对分子质量18217，无色至白色针状或斜方柱状晶体或结晶性粉末。无臭，具有清凉甜味。甜度约为蔗糖的57%~72%。每克产生837J热量，约为葡萄糖的一半。吸湿性小，后水溶液稳定。对稀酸、稀碱稳定。不被空气中氧氧化。溶于水(56g/100mL,20℃)及甘油(55g/100mL)，略溶于乙醇(12g/100mL)，几乎不溶于大多数其他常用有机溶剂。甘露糖醇成分适合油性皮肤，干性皮肤，色素性皮肤，非色素性皮肤，紧致皮肤，皱纹皮肤，敏感性皮肤，耐受性皮肤这8种类型皮肤。

化妆品中的提亮因子可以是多种成分，以下是其中一些常见的提亮因子：

1 皮肤光泽剂：皮肤光泽剂是一种在化妆品中常用的提亮因子。这些成分可以在皮肤表面形成一层光滑的膜，反射光线，使肤色看起来更加均匀明亮。

2 珠光粉末：珠光粉末是一种微小的粒子，可以反射光线，创造出亮丽的光泽。它们通常被添加到高光产品和腮红中，以产生更加亮丽的效果。

3 抗氧化剂：抗氧化剂是一种化学成分，可以帮助保护皮肤免受自由基的损害。自由基是一种可以破坏细胞的分子，它们可以导致肤色变暗。抗氧化剂可以帮助提亮肤色。

4 美白剂：美白剂可以抑制黑色素的生成，减少色斑和暗沉，从而使肤色看起来更加明亮。

总之，化妆品中的提亮因子可以是多种成分，包括皮肤光泽剂、珠光粉末、抗氧化剂和美白剂等。

护肤品中的抗氧化可以说是初步抗衰老意思。因为肌肤长期暴露在阳光、污浊空气、电脑辐射和绚丽彩妆下的肌肤会发生氧化反应，产生一种有害化合物——自由基，它的强氧化性会损害机体的组织和细胞，进而引起衰老。因为自由基对肌肤的损害时刻在发生，肌肤氧化也在随时威胁着美丽。

肌肤氧化的表现有很多，主要有面色黯淡、肤色不均、肌肤干燥、细纹和斑点等问题。抗氧化的化妆品来源于各种水果，因为皮肤老化的过程就是氧化的过程，护肤就要抗氧化。日晒、风吹、辐射都可以造成皮肤氧化衰老，因此抗氧化并不是中老年才需要关注的问题，年轻人使用抗氧化的护肤品往往比中老年的效果更好。

扩展资料

化妆品行业中最早所指的“抗氧化”是指通过抗氧化剂来保持料体的稳定性。例如，很多植物油含有不饱和的双键，会被氧气氧化而酸败变质；很多活性成分，如维A醇等，在有氧气的条件下不稳定，也需要抗氧化剂来稳定活性。

常用的抗氧化剂包括亚硫酸钠，BHT（Butylatedhydroxytoluene,2,6-二叔丁基-4-甲基苯酚）等等。

随着化妆品行业的发展，“皮肤需要抗氧化”的概念被引入了。人们将食品及医药行业中的抗氧化剂加入到化妆品中通过外用来增强皮肤的抗氧化能力，希望达到更好的美白，抗老化能力。这源于与衰老相关的自由基理论。

自由基学说的创始人哈曼（Harman）认为衰老与体内氧自由基过多和(或)清除能力下降密切相关，自由基直接决定人体的健康及衰老。人体清除自由基的能力也就是抗氧化能力。同时，年龄越大，人体抗氧化能力就越低。

参考资料

百度百科-抗氧化

不会。柠檬酸是一种常见的护肤品成分，常用于化妆品中的调节酸碱度、促进角质层代谢、美白淡斑等作用，柠檬酸不会对皮肤造成刺激。柠檬酸是一种有机酸，化学式为C6H8O7，是一种无色晶体或白色粉末，广泛应用于制药、食品、饮料、化妆品等行业。

以上就是关于Transformer原理及其应用全部的内容，包括:Transformer原理及其应用、羟苯甲酯在化妆品中的作用与功效、护肤品中糖蛋白对皮肤有害吗等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！