现有问题：第一个问题是领域适配器训练的过程中，虽然对齐了源领域和目标领域的领域表示信息，但是对齐的领域表示信息是直接在通用的预训练模型上面直接进行微调的，没有利用到源领域的任务信息，所以对于域适应能力是有有限的。第二个问题是联结领域任务适配器的联结方法过于简单，只是线性的加和，不能有效的动态区分领域信息和任务表示信息的重要程度。

优点：利用AdapterFusion模块融合了领域知识和任务表示知识，当源领域和目标领域的相似程度能增强对于目标领域的适应能力时，多利用领域不变信息，当源领域和目标领域域不变信息较少的时候，多利用任务表示信息，增强对于目标领域的适应能力。

创新点二：

般的无监督领域域适应方法的重点放在找到源领域和目标领域的相似性，然后利用将这种相似性迁移到目标领域上，这样就利用了源领域的知识增强了对于未知领域的泛化能力，但是一个源领域的知识毕竟是有限的，无论再怎么改变模型结构和模型方法，提高对于源领域知识的利用程度都会有一个上界。

优点：

利用了多个源领域的知识来增强迁移学习能力，同时并不会显著提高模型的参数量和训练成本。

大论文框架

原论文: 基于知识适配器的智能预训练模型

中期后: 基于参数高效微调的迁移学习研究与实现

论文题目

(还是适配器好一点, 因为LoRA, pre-tunning也可以看做适配器, 而且名字用MDAF, 使用的是adapterhub的adapterfusion方法)

题目: 基于参数高效微调的迁移学习研究与实现

基于参数高效微调的迁移学习研究与实现

~~基于适配器的迁移学习研究与实现~~

~~基于知识适配器的预训练模型在迁移学习域适应的研究与实现~~⭐ 太长了

~~基于知识适配器的预训练模型在迁移学习中的研究与实现~~⭐ 可能和开题会重合一点, 后续也会宽泛一点, 太长了

~~基于适配器和预训练模型的迁移学习研究与实现~~⭐ 太长了

~~基于预训练模型和适配器的迁移学习研究与实现⭐~~

~~基于知识适配器的跨领域迁移学习的研究与实现~~ 不要跨领域

~~基于知识适配器的迁移学习中域适应的研究与实现~~ 加上预训练模型

~~基于适配器的跨领域迁移学习研究[与实现]~~ 和开题改动太大

章节构思:

知识适配器, 这个知识有哪些分类, 可以是任务知识, 语言知识, 也可以是事实知识, 语义知识, 而现在大模型结合的已有知识很多, 但是结合新知识的代价很大, 所以才出现了LoRA等微调, 它看起来是一个参数高效的问题, 但实际上解决的新知识如何结合旧知识解决问题的方法论, 所以我们应该探究的是, 大模型不包含的知识有哪些, 而我们现有的新素材(知识), 如何和旧知识的模型相结合, 并且高效, 其实预训练模型也可以和新知识结合, 也就是全量微调, 但是新知识的出现时快速, 千变万化的, 而且也有很多垂直业务知识, 所以使用小而美的模块在未来落地上一定成为主流, 而论文的方向, 就是整理出一套成熟的知识分类方法论, 然后结合各种适配器(其实可以把LoRa, Prefix-tuning也可以看做一种适配器)的组合方法, 来进行很好的落地.

重点参考:

6_融合知识的领域自适应方法综述

题目名字: 基于参数高效微调的迁移学习研究与实现

题目名字: 基于适配器的无监督领域自适应方法研究与实现

第一章绪论（6k）

1.1 研究背景及意义

研究背景都是比较生活化, 入门化的内容, 用来引出研究领域, 我的研究领域其实是基于模型的迁移学习, 所以我这节要引出该内容.

现实中的例子, 王晋东的迁移学习必要性,

这部分内容可以参考迁移学习和迁移学习导论的绪论的引入部分, 将其中的话术经过翻译和重构

先介绍机器学习, 在引入有监督机器学习, 表明有监督机器学习缺点, 从而引入迁移学习, 对迁移学习进行一些生活化的描述, 表明迁移学习的优点和实际应用场景. 再讲讲多领域迁移学习。继续引入无监督领域自适应, 说明迁移学习和无监督领域自适应的关系, 说明无监督领域自适应的好处。
然后由迁移学习讲到预训练模型也是一种迁移学习, (详细介绍) 不过迁移的是词嵌入迁移, 使用预训练模型迁移词嵌入然后就可以在下游任务上表现的更好,但是在使用预训练模型进行下游任务上进行微调时, 并且基于预训练模型任务自适应训练和有领域自适应训练. 然后再预训练模型的缺点, 比如大, 针对预训练模型的缺点, 引入了参数高效微调等方法(详细介绍背景), 参数高效微调的好处
基于基于预训练模型, 使用参数高效微调方法, 研究利用适配器方法如何增强迁移学习的能力, 更进一步的, 使用多个领域来增强域适应能力.

1.2 国内外研究现状

研究背景更加深入的介绍, 就像是迁移学习和参数高效微调方法的综述, 比研究背景更加的学术化和专业化

第一种编写思路

简单介绍迁移学习, 域适应, 多源域适应, 然后把迁移学习分为3类, 基于预训练模型的迁移学习,

主要参考迁移学习导论, 迁移学习, 领域自适应研究综述

可以讲讲无监督领域自适应的分类, 比如融合知识的领域自适应方法

介绍基于预训练模型的迁移学习的方法, 然后说这些基于预训练模型的方法的缺点, 说参数高效

主要参考融合知识的领域自适应方法

最后总结简单讲将适配器方法应用到迁移学习的优点, 参数高效, 资源友好等优点, 研究参数高效微调方法应用到迁移学习领域, 更进一步的, 将多领域知识来增强域适应能力

第二种编写思路，本节内容完全是基于预训练模型的领域自适应方法的综述

1.2.1 领域自适应的分类，然后按分类介绍

A Survey on Deep Transfer Learning: 基于实例, 基于映射, 基于网络, 基于对抗

融合知识的领域自适应方法综述: 基于语言学知识的, 基于非语言学

1.2.2 基于模型的迁移学习综述
基于深度网络的迁移学习

基于对抗网络的迁移学习

1.2.1 领域自适应

介绍一下领域自适应的背景, 定义, 研究价值，介绍源域，目标域等概念

领域自适应按特征空间分, 可以分为

领域自适应按监督信息分, 可以分为

王晋东【Pan and Yang】领域自适应按学习方法分, 可以分为基于实例的领域自适应，基于特征的领域自适应，基于模型的领域自适应，基于关系的领域自适应。

清华将迁移学习分为基于实例、映射、网络和对抗的迁移学习方法

领域自适应按在线方式分, 可以分为

领域自适应按参与域数量, 可以分为

领域自适应按融合知识方法，可以分为基于语言学知识的领域自适应方法

1.2.2 基于模型的迁移方法

基于模型的迁移方法步骤

基于差异(适应的)的深度网络的迁移学习

基于对抗网络的迁移学习 DANN, DSN

1.3 本文主要研究内容和目标

本文的主要研究内容是使用基于适配器的预训练模型，通过其他知识来提升自然语言处理中的领域自适应和领域泛化的能力。

一般的迁移学习均为从一个源域迁移知识到另外一个源域;即使有多个源域’我们也常常会进行源域选择以选择出与目标域性质最相似、分布最接近的数据领域完成迁移。一个个非常直接的扩展是：若有多个源域，即使每个源域与目标域均有不同程度的相似度，仍然可以被用来进行知识迁移。现实生活中可用的源域也并非只有—个，这也就出现了多源迁移学习的问题。

一般的迁移学习需要解决

而如何利用多源域知识来增强迁移学习的能力，则是本文的重点研究内容。

知识从哪里来，

本文的研究内容主要基于以下几点：

第一点是使用适配器来增强域对齐

1.4 本文组织结构

第二章相关理论及技术（8k）

因为我们的论文是选取综述里面一个细小方向进行做的, 所以要详细介绍这个细小方向的技术细节

2.1 迁移学习, 尤其是领域自适应的形式化表征, 特征对齐函数等等

迁移学习，域适应，多源域适应形式化表述

特征对齐函数coral, cmd, mkmmd

基于模型的域适应算法步骤

2.2 参数高效微调方法, 适配器方法详细介绍, 适配器融合方法

预训练模型， encoder，transformer
参数高效微调简要介绍
适配器Adapter详细介绍，适配器融合AdapterFusion详细介绍

2.3 本章小结

第三章数据集和对比方法介绍

3.1 数据集介绍及分析

分析数据集的

3.2 对比方法介绍

3.3 实验细节

第三章基于适配器融合的无监督领域自适应算法研究（8k）

主要创新点是提出了一种融合了领域适配器和任务适配器进行无监督域适应的方法TaskDomainFusion

堆叠式领域与任务适配器融合算法（Stacked Domain-Task Adapter Fusion Algorithm, SD-TAFA）

3.1 引言(少)

自然语言处理领域
UDAPTER的领域对齐和任务表示的结构的缺陷
提出了新的无监督领域自适应的模型结构，能在缺乏数据的情况下提升无监督领域自适应性能的同时，保持参数高效。

3.2 方法(中)

介绍领域对齐
介绍任务适配器
介绍适配器融合方法TaskDomainFusion

三个步骤

第一步骤

领域适配器

第二步骤

任务适配器

第三步骤

领域适配器和任务适配器融合

创新方法的对比实验介绍

TaskTaskFusion
DomainDomainFusion

3.3 结果及分析(多)

3.4 创新方法的多角度分析（拓展）

第四章基于多领域知识增强无监督领域自适应算法研究（8K）

主要创新点事提出了一种融合多领域适配器增强迁移学习能力的方法Multi-Domain AdapterFusion

4.1 引言(少)

简要介绍多领域迁移学习

4.2 方法

介绍三个基座适配器
介绍多领域适配器融合方法Multi-Domain AdapterFusion
MDSTA

4.3 结果及分析(多)

4.4 多角度分析

第五章总结与展望（2k）

5.1 总结

5.2 展望

创新点

论文题目包含适配器和迁移学习, 有两个容错的地方:

适配器, 适配器可以细化为adapter, 也可以泛化为参数高效微调的所有方法
迁移学习, 迁移学习可以细化为域适应, 域泛化, 也可以泛化为任务适应, 语言适应, 并且也可以说是多源域适应

一个大创新点(domain adaptation)

提出一种无监督领域自适应方法

二个大创新点(多领域增强迁移学习能力)

多领域增强迁移学习能力

其他创新点

可以做的方向

域泛化方向
利用多知识来增强迁移学习能力, 比如K-adapter那里的知识, 比如知识图谱知识等等
利用排列组合, 基于AdapterShare的思路来挑选融合的域.

概念

迁移学习和机器学习什么关系?

迁移学习作为机器学习的一个重要分支, 侧重于将已经学习过的知识迁移应用于新的问题中, 以增强解决新问题的能力、提高解决新问题的速度.

具体而言在机器学习范畴’迁移学习可以利用数据、任务或模型之间的相似性,将在旧领域学习过的模型和知识应用于新的领域.

从根本上说’迁移学习可以在训练数据和测试数据服从不同的数据的概率分布（Probabilitydistribution）时更好地构建模型

add & norm是什么？

残差连接就是把网络的输入和输出相加，即网络的输出为F(x)+x，在网络结构比较深的时候，网络梯度反向传播更新参数时，容易造成梯度消失的问题，但是如果每层的输出都加上一个x的时候，就变成了F(x)+x，对x求导结果为1，所以就相当于每一层求导时都加上了一个常数项‘1’，有效解决了梯度消失问题。

UDAPTER的分析

Adapter Reduction Factor.

The removal of adapters from continuous layer spans.

t-SNE plots.

Composability.

参数的有效性分析:

reduction factor
max_seq_length(可能需要对应数据集的分析, 可以看看数据集原论文)
adapter结构

大论文的扩展角度

第三章

数据集的详细描述
分类指标的详细解释, 准确率, 召回率, F1分数详细公式和解释
对比方法的详细
不同的域对齐函数的细节, 比如mkmmd, coral, cmd的具体指标

正文

不同的参数高效微调方法对于性能的影响(Adapter, Compactor, Prefix)
不同域对齐函数对于性能的影响
算法伪代码过程
实验结果分析
- 个数旁边再可以加一个饼图用来直观的进行对比
- 图 4 提供了在多源强盗实验的训练轨迹中每个源域对给定目标域的有用性的示例可视化。我们在这里简要总结了我们从这些例子中观察到的观察结果。当目标任务为“MR”时，我们观察到“书籍”和“服装”更有益。当目标任务是“服装”时，我们发现“相机”和“宝贝”都是有益的;此外，随着时间的推移，土匪学会了在“书籍”和“MR”之间切换。当目标任务是“宝贝”时，我们看到“相机”和“服装”是有益的。当“书籍”是目标任务时，我们发现“MR”似乎没有那么有用。最后，当目标任务为“Camera”时，我们看到“Books”的值最高。
  
  可以用MDAF和Multi-Source Domain Adaptation for Text 再做一个到目标域的baseline的对比
参数的有效性分析:
1. reduction factor(折线图)
  
  一个随机种子: reduction_factor: 2 4 8 16 32 64, 然后把20个域适应对分别作domain, task, task_domain, 实验, 然后用wandb分析各自域适应对在哪个reduction_factor更集中
  
  一个随机种子, reduction_factor: 2 4 8 16 32 64, 然后单拎出来一个进行曲线分析
2. max_seq_length(可能需要对应数据集的分析, 可以看看数据集原论文)
3. adapter配置和结构对比
数据可视化的方法(wandb的报告学习)
- 折线图

创新点chatgpt解答

You

我现在有一个创新点，主要内容是融合堆叠在任务适配器上训练的领域适配器和任务适配器来增强无监督域适应能力，请你给这个创新点起一个名字

ChatGPT

为了给这两个创新点命名，我们可以根据它们的核心特征和目标来构思。以下是每个创新点的建议名称，旨在捕捉其独特性和方法论：

融合领域适配器和任务适配器来增强无监督领域自适应能力的创新点：
- 名称建议：**”域任务协同适配器融合（Domain-Task Synergistic Adapter Fusion, DTS-AF)”**
- 解释：这个名称强调了领域适配器和任务适配器之间的协同作用，以及它们是如何被融合起来以增强模型在无监督领域自适应任务中的能力。”协同”一词突出了两种适配器相互作用产生的正面影响。
融合堆叠在任务适配器上训练的领域适配器和任务适配器来增强无监督域适应能力的创新点：
- 名称建议：**”层叠适配器增强域适应（Layered Adapter Enhanced Domain Adaptation, LAEDA)”**
- 解释：这个名称突出了通过堆叠（层叠）领域适配器和任务适配器的策略，来增强模型在无监督域适应中的性能。”层叠适配器增强”强调了通过增加适配器层次来实现的性能提升。

这些名称旨在简洁地传达每个创新点的核心思想和方法，同时保持足够的专业性和描述性，以便于在学术和技术讨论中使用。

创新点一chatgpt解答

首先训练任务适配器，然后训练领域适配器，最后融合堆叠领域适配器和任务适配器进行训练后在目标领域进行域适应，领域适配器还可以堆叠在任务适配器上进行训练以获得更好的域对齐表示根据以上内容详细介绍一下为什么这样做，好处，以及结果

这种方法采用了分阶段训练和融合堆叠的策略来优化领域适配和任务性能。这里详细解释一下这种方法的原因、好处以及可能的结果。

为什么这样做

分阶段训练：首先训练任务适配器，然后训练领域适配器的策略允许模型专注于单一类型的知识学习，在每个阶段优化特定的目标。这种方法有助于减少训练过程中的任务冲突和信息干扰，从而提高模型的学习效率和效果。
任务和领域知识的分离：通过独立训练任务适配器和领域适配器，模型能够更好地学习任务特有的知识和领域特有的知识，从而提高模型对任务和领域的适应性。
融合堆叠：将领域适配器和任务适配器融合堆叠进行训练的做法，是为了综合领域知识和任务知识，以实现更好的性能。这种融合策略可以让模型在进行域适应时，同时考虑任务的需求和领域的特点。

好处

更好的域适应性：这种方法可以提高模型在目标领域的适应性，因为领域适配器专注于学习从源域到目标域的知识转移。
提高性能：通过堆叠和融合适配器，模型能够更加精细地调整其参数以适应特定任务和领域，从而在特定任务上获得更好的性能。
灵活性和可扩展性：这种方法允许灵活地增加更多的适配器以适应更多的领域或任务，提高了模型的可扩展性。

结果

采用这种方法训练的模型通常能够在目标领域上实现更好的性能，具体表现为：

更高的精确度：模型能够更准确地完成特定任务。
更好的泛化能力：通过有效的域适应，模型在看未见的数据上的表现也会更好。
更有效的知识转移：模型能够有效地将从预训练和源域中学到的知识应用到新的领域和任务中。

总之，通过分阶段训练适配器并进行融合堆叠，这种方法有效地结合了领域适应性和任务性能，为复杂的跨域任务提供了一种有效的解决方案。

创新点二chatgpt解答

You

为了解决单源域适应知识量小，域适应能力不足，又提出了一种通过多领域知识增强域适应能力的无监督领域自适应方法，增强基于模型的迁移学习能力。首先针对现有，提出了基于参数高效微调适配器融合方法。在第五章介绍了一种通过多领域知识增强领域自适应能力的方法。本章基于多种不同的基座适配器，将多个源领域上训练好的基座适配器进行融合后再到源领域上进行训练后用于目标领域任务，以提升单源域适应的域适应能力，最后也通过实验进行了有效性的验证。解释提出方法的原因，和优点。

ChatGPT

提出这种通过多领域知识增强域适应能力的无监督领域自适应方法，主要是为了克服单源域适应在知识量和域适应能力方面的局限性。以下详细解释提出这种方法的原因和其优点。

提出方法的原因

单源域适应的局限性：单源域适应通常依赖于一个源域来获取知识，然后将这些知识迁移到目标域。但是，当源域与目标域之间的差异较大，或源域内包含的知识量不足以覆盖目标域的需求时，其适应能力会受到限制。
知识量和多样性的需求：多领域知识可以提供更丰富、更多样化的信息，有助于模型更好地理解和适应目标域的特性。
增强模型的迁移学习能力：通过融合来自多个源领域的知识，可以增强模型在面对不同域时的泛化和适应能力，特别是在无监督的设置下，这种能力尤为重要。

方法的优点

增强的域适应能力：通过整合多个领域的知识，该方法能够提供更全面的背景信息，帮助模型更好地理解和适应目标域，从而提高域适应能力。
提升迁移学习性能：这种方法通过融合多源领域的适配器，增强了基于模型的迁移学习能力，使模型能够在新领域中实现更好的性能。
参数高效的微调：基于参数高效微调的适配器融合方法，允许模型在不大幅增加参数数量的情况下，有效地利用来自不同源领域的知识，这对于参数敏感或计算资源有限的应用场景尤为重要。
实验验证的有效性：通过在实验中验证这种方法的有效性，证明了利用多领域知识进行域适应的潜力，以及在实际应用中提升模型性能的可行性。

综上所述，这种方法通过利用多领域知识来增强无监督领域自适应的能力，不仅解决了单源域适应在知识量和适应能力上的限制，而且通过高效的参数微调，提升了模型的迁移学习性能，为跨域任务提供了一种有效的解决方案。

备用资料

大论文格式

论文难搞定的：

正文格式
表，图名字及格式
数学公式及符号
参考文献引用

正文格式

需要将英文”:”,”: “替换为中文”：”

需要将英文”,”, “, “替换为中文“，”

需要将英文”.”, “. “替换为中文句号“。”

英文()替换成（）.

“”替换”“”

公式及符号

如下式（2-1）所示，如公式（2-1）所示，所示后面有的加句号有的加冒号。统一换成句号。

正文中有符号根据师兄师姐论文前后不要留有空格

参考文献

1.在原文里面先标出引用文献标题

2.将用到的参考文献在末尾罗列出来

3.在word里面对参考文献取消编号，然后进行交叉引用

$$ k\left( x,x’ \right) =\sum_{i=1}^m\beta _ik_i\left( x,x’ \right) $$

查重

学校提供5次：

图书馆主页（https://libcon.bupt.edu.cn/）——数据库导航——大雅相似度分析系统
，具体使用方法：
https://libcon.bupt.edu.cn/https/77726476706e69737468656265737421fcfe43d225257844300d8db9d6562d/a/jieshaoxinxijihe/2020/0312/3610.html

【在 IWhisper#23 的大作中提到: 】: 在图书馆首页没找到链接

知网一次

知网的免费查重只有一次，就是你提交论文时候的查重，这个是学校给你付的钱

https://chsi.wanfangtech.net/

GPT4充值

用apple store充值，下个手机版gpt，然后支付宝买礼品卡充20刀到你账户，一个apple ID只能绑定和充值一个gpt账号

欢迎在评论区中进行批评指正，转载请注明来源，如涉及侵权，请联系作者删除。

3

19990702

大论文指导意见

大论文待做

大论文创新点