论文阅读
2013-Transfer
Feature Learning with Joint Distribution Adaptation（JDA）
论文背景:
计算机视觉中，迁移学习被提出用作利用源域中丰富的标记数据为目标域构建准确的分类器。
动机：
在进行源域与目标域仅考虑对两域的边缘分布对齐，而没有对齐条件分布。如上图所示，两域的边缘分布与条件分布大概率是都不行同的，因此仅考虑边缘分布是不够的。
方法提出：
在跨域问题中，源域与目标域的采样不同导致两者的分布差异。迁移学习/域自适应主要的计算问题就是如何减少两者的差异。分布差异主要包括了两方面，即：边缘分布与条件分布。现有的大多数方法是基于边
际分布或条件分布来衡量分布差异，这样仅考虑一方面是不够充分的。论文提出了一种新颖的迁移学习解决方案，称为联合分布适应（
Joint Distribution
Adaptation，JDA），在保留数据主要信息的降维过程中联合适应边缘分布和条件分布。具体来说，使用了非参数最大平均差异（MMD）来测量边际分布和条件分布的差异（这里说的非参数也就是说不 ...
2010-Domain
Adaptation via Transfer Component Analysis（TCA）
论文背景:
Domain adaptation(域自适应)
通过训练与目标与相关但不相同的源域数据来实现目标域上的任务。
动机：
MMD（Maximum mean discrepancy ）旨在学习一个映射函数\(\phi\)去减少域之间的分布差异: \[
\mathrm{Dist}(\mathrm{X,Y})=\left\|\frac1{n_1}\sum_{i=1}^{n_1}\phi(x_i)-\frac1{n_2}\sum_{i=1}^{n_2}\phi(y_i)\right\|_{\mathcal{H}}.
\] 通过将两个样本映射到再现核希尔伯特空间RKHS（Reproducing Kernel
Hilbert
Space），并取映射后样本均值的距离衡量两个样本分布的差异。然而，
\(\phi\)通常是高度非线性的，直接优化
可能会陷入较差的局部最小值（不理解）。因此MMDE(Maximum Mean
Discrepancy ...
论文写作
未读常用网站及软件—Csk
latex安装；Winedt: Latex代码编辑器
JabRef: 参考文献管理
MATLAB: 代码（实验，绘图）
绘图：PPT，MATLAB，Python
文献阅读管理：Zotero, 知云等
文献网站：谷歌学术，百度学术，Scidown(文献下载)，AMiner，Sci-hub（文献下载），SPIS，科研通
代码查找：Github, Paperwithcode
大模型：ChatGPT，kimi
论文写作
未读
802cd80b63fccd52ebcbbd93e4cfc45fc6fa5042d706317aa187d9196af62f5b9d448a348f3ed78c32224c27ed1c63b3533fd59f7055269f2ecf4385bf170906412f3f2a4210853562ea35d5f6506ec8508f683b8b0a54a7c4246fdd268f2c0457319c073f93d63633e0da120053c447a8bdb2a11fe29f696afaf6a1ec155a68708b91752303d903e94458edc5a27983af5ff93bc6ec91782a8e9f51cffbb6bfd476991fb69f887fb73ad2392f53f7961fa5780844965e83bc0503ced45fec5c6925a3dc3bdf06d14f910fa5d3a7b47173c59d6685646442fa37f4b0cf01afeb72bd764207db055f71db271e745966a1ede29fa50dfb67278 ...
迁移学习
前置知识：
1.边缘概率分布和条件概率分布
在迁移学习中，边缘概率分布和条件概率分布是两个重要的概念。边缘概率分布（Marginal
Probability
Distribution），即P(X)，在迁移学习中是指的是数据的特征分布。P(x)不同是说数据的产生机制不一样，比如不同角度、光照或背景的图像，不同被试者产生的生理数据、行为数据，它们都服从不同的特征分布，即边缘概率分布不一致。在迁移学习中，只要源域和目标域数据服从不同的分布规律，我们就认为二者存在边缘概率分布差异，这种差异被称为分布偏移或领域漂移（domain
shift）。条件概率分布（Conditional Probability
Distribution），即P(y|x)，在迁移学习中是指给定特征的条件下，标签的分布。在理想情况下，源域和目标域的条件概率分布是相同的。然而，在现实中并不总是成立。比如，不同被试者的生理数据通常不一样；而且即使是相同被试者，在不同状态或者时间下，进行相同的动作，生理数据也存在差异。另外，在迁移学习中，理解边缘概率分布和条件概率分布的差异是非常重要的，因为这可以帮 ...
