数学狂想曲（十）——复变函数
2018-09-27熵（续）
统计热力学定义
Entropy的统计热力学定义，相对就比较复杂了。这里仅列出推导的要点，不细讲了。
首先是两个假设：
1.统计物理量的加和性。（刘维尔定理）
2.概率分布的乘积性。（不相关变量的概率分布公式）
设系统有两部分，其熵为\(S_1,S_2\)，其概率分布为\(\Omega_1,\Omega_2\)，则根据上述假设可得：
\[S=S_1+S_2\] \[\Omega=\Omega_1\times \Omega_2\]令\(S=f(\Omega)\)，则：
\[S_1=f(\Omega_1),S_2=f(\Omega_2),S=f(\Omega_1)+f(\Omega_1)=f(\Omega_1\times \Omega_2)\] \[\begin{cases} \frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega_1} = \frac{\mathrm{d}f(\Omega_1\times\Omega_2)}{\mathrm{d}(\Omega_1\times\Omega_2)}\mathrm{d}\Omega_2 \\ \frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega_2} = \frac{\mathrm{d}f(\Omega_1\times\Omega_2)}{\mathrm{d}(\Omega_1\times\Omega_2)}\mathrm{d}\Omega_1 \\ \end{cases} \Rightarrow \begin{cases} \Omega_1\frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega_1} = \frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega}\Omega \\ \Omega_2\frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega_2} = \frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega}\Omega \\ \end{cases}\] \[\Omega_1\frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega_1} =\Omega_2\frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega_2}=\frac{\mathrm{d}f(\Omega)}{\mathrm{d}\Omega}\Omega = K\] \[\mathrm{d}f(\Omega)=K\frac{\mathrm{d}\Omega}{\Omega}\Rightarrow f(\Omega) = K\ln \Omega + C\]根据热力学第三定律，使用绝对零度作为原点，则：
\[S=K\ln \Omega\]上式就是Boltzmann’s entropy formula。这里隐含的另一个假设是：分子随机运动没有偏好性，即各状态的概率相等。
如果状态概率不等的话，则：
\[S = K \cdot E[\ln \Omega] = K \sum \Omega_i \ln \Omega_i\]上式被称作Gibbs entropy。
参考：
https://wenku.baidu.com/view/a90518a37c1cfad6185fa746.html
热力学中的熵
信息熵
信息熵和热力学熵的假设相同，因此有类似结论不足为奇，毕竟数学上都是同一个微分方程。
信息熵：编码方案完美时，最短平均编码长度的是多少。
交叉熵：编码方案不一定完美时（由于对概率分布的估计不一定正确），平均编码长度的是多少。平均编码长度=最短平均编码长度+一个增量
\[H(p, q) = -\sum_x p(x)\, \log q(x)\]相对熵：编码方案不一定完美时，平均编码长度相对于最小值的增加值。（即上面那个增量）
\[D_{\mathrm{KL}}(P\|Q) = - \sum_i P(i) \, \log\frac{Q(i)}{P(i)}\]参考：
https://www.zhihu.com/question/41252833
如何通俗的解释交叉熵与相对熵?
https://zhuanlan.zhihu.com/p/74075915
交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）
https://mp.weixin.qq.com/s/sglAI17L5NvZLvPg1P2ZSA
熵、交叉熵和KL散度的基本概念和交叉熵损失函数的通俗介绍
https://mp.weixin.qq.com/s/V8yeWoVM_HU1OnhgXOk6Vg
听说你还不知道条件熵是什么?
http://blog.csdn.net/luo123n/article/details/48574123
PMI（Pointwise Mutual Information）
Landauer’s Erasure Principle
在量子力学中，如同电荷、质量、时间有最小单位一样，热力学熵也有最小单位。Landauer’s Erasure Principle指出这个单位为\(K_B\ln(2)\)，其中\(K_B\)为玻尔兹曼常数。
Rolf Landauer，1927～1999，美国物理学家。出身于一个德国的犹太人家庭，1938年为躲避纳粹，全家移民美国。Harvard University本科（1945）+博士（1950）。IBM研究员。美国科学院、美国工程院院士。
需要指出的是：Landauer原理中虽有“信息”一词，但仍是物理学的概念，对应了物质/能量的转移。而信息熵是数学概念，对应的是抽象的对象。因此，前者的公式中还有一个\(K_B\)的存在。
参考：
https://mp.weixin.qq.com/s/Gmfu9iLC71XmfQ5qyraIpQ
信息的物理性：从麦克斯韦妖到兰道尔擦除
https://mp.weixin.qq.com/s/vlhgdxjVJaiD6VbX1u3how
新·麦克斯韦妖
https://mp.weixin.qq.com/s/G-PCyPVqoH77-4Gt_BhS8Q
一个经典热力学思想实验的量子版本（吉布斯佯谬）
焓
焓（hán，enthalpy）是一个和熵经常一起出现的概念。由于和信息论关系不大，这里仅作简要通俗的介绍，而非严格定义。
上面提到的热力学过程，只涉及气体的PVT变换，气体本身的其他状态并没有改变。而实际情况要复杂的多，比如气体会发生化学反应，也会发生相变（变成液态/固态），而这些变化本身，会吸收/释放热量，这时系统的内能就不再守恒了。焓就是用来度量这种变换的。
例如：
对于等温下的化学反应，若反应吸热，产物的焓高于反应物的焓；若反应放热，产物的焓应低于反应物的焓。
类似“焓”这样生造出的汉字还有：
㶲，yòng，Exergy，可以全部转换为任何其他能量形式的那部分能量。
㷻，wú，Anergy，不能够转化和利用的能量。
朗肯循环
上图是核电站的原理结构图。可以看到，其中有一个冷却蒸汽的过程。
好容易被加热的蒸汽，为什么要冷却呢？
术语：释放出热势能的蒸汽从汽轮机下部的排汽口排出，被称为乏汽。
单纯的热蒸汽膨胀做功，是可以将热能完全转换为机械能的。然而，如果没有循环的话，这就成了一次性的买卖。而一个能够循环做功的热机，才是有实际用处的。这也是卡诺和朗肯为什么都要研究循环的原因。
乏汽的温度和蒸汽差不多，但气压却低的多，如果不加压的话，根本进不了锅炉加热。然而，压缩空气是一个耗费机械能的过程，由卡诺循环可知，它耗费的能量要大于蒸汽对汽轮机做的功，两者的差值就是所谓的熵。
而乏汽冷却之后变成了水，由于液体的不可压缩特性，它可以很方便的被压入锅炉，从而进入下一轮的循环。
朗肯循环就是用来研究以水为热机工质的循环的。这中间由于水发生了相变，因此是一个焓变过程。
和卡诺循环与热力学第二定律等价不同，朗肯循环的损耗并无定数，使用更优良的工质（比如低沸点有机物）可以提升热机的效率。
William John Macquorn Rankine，1820~1872，英国科学家。University of Edinburgh肄业（读了两年，家里没钱了）。University of Glasgow教授。
https://www.zhihu.com/question/26163433
为什么不能将乏汽直接送入锅炉，而要经过冷却后再送入锅炉？效率不是下降了吗？
复变函数
1.复球面表示。
2.条件严格性。
点域：连续<可导（可微）<可解析
区域：连续<可导（可微）=可解析
由于复平面的存在，极限\(z\to z_0\)中，趋向于点\(z_0\)的路径有无穷多种，必须所有路径的极限都存在且一致，才可以说极限\(z\to z_0\)存在。
3.函数可微的充要条件：Cauchy-Riemann Equations
若\(f(x + iy) = u(x,y) + iv(x,y)\)可导，则：
1）\(u(x,y)\)和\(v(x,y)\)在点\((x,y)\)可导。
2）
\[\frac{\partial u}{\partial x} = \frac{\partial v}{\partial y},\frac{\partial u}{\partial y} = -\frac{\partial v}{\partial x}\]4.复数在场论描述中的应用。
参考：
https://zhuanlan.zhihu.com/p/74528525
一个复变函数的专栏
复数求导
信号处理领域，很多需要求导的函数往往是不解析的。比如一系列的二乘loss：MSE、LS、WLS等。这些函数都包含\(\mid e(k)\mid^2=zz^*\)的成分。然而，这个函数是不可导的。
\[zz^*=x^2+y^2\]所以
\[\frac{\partial u}{\partial x}=2x,\frac{\partial v}{\partial x}=0\]上式显然不满足Cauchy-Riemann Equations，因此函数不可导。
上述结论我们也可以另一个角度观察。
假设\(f(z)\)解析，则\(f(z)\)可展开为z的Taylor级数。而这个展开式不包含\(z^*\)。即一个解析的复变函数只和z有关，而和\(z^*\)无关。
因为实函数必须同时依赖z和\(z^*\)，否则虚部无法被消掉。因此，实函数\(f(z)\)都是不解析的。
所以，Cauchy-Riemann Equations也可以写成\(f(z^*)=0\)。
参考：
https://mp.weixin.qq.com/s/SUWUAMQjSuB5Gs06SPliTQ
复数求导在信号处理中的应用
Hermite矩阵
复数矩阵通常不能直接转置，而必须进行共轭转置。共轭转置（Conjugate transpose）也叫做Hermite转置，用\(A^H\)表示。
如果\(A=A^H\)，则A被称为Hermite矩阵。
Charles Hermite，1822～1901，19世纪下半叶法国最著名的数学家，代数学领域的宗师级人物。Henri Poincaré的导师。他首先证明了e是超越数。以他的名字命名的数学术语竟达10项之多。
Hermite虽然不是如某些地摊文学所言，一遇考试就跪。但是的确不太擅长考试，大学（他考的大学类似国内的清北的地位）入学成绩排在第68位，完全没有学神的风范。相比之下，Poincaré的入学成绩可是排第一位的。尽管就成就而言，Hermite绝不逊于Poincaré。
参考：
https://mp.weixin.qq.com/s/MXHCVFW2mMw7PqMuHB_5Tw
他擅长解决数学难题，却视考试成为终生噩梦
复变积分
反常积分（Improper Integral）又叫广义积分，是对普通定积分的推广，指含有无穷上限/下限，或者被积函数含有瑕点的积分，前者称为无穷限广义积分（简称无穷积分），后者称为瑕积分（Singular Integral，又称无界函数的反常积分）。两者兼有的则被称为混合广义积分。
如果存在正数\(\theta\)，使得任意\(\theta>\delta>0\)，都有函数\(f(x)\)在\(x_0\)的左领域\((x_0-\delta,x_0)\)内无界或函数\(f(x)\)在\(x_0\)的右邻域\((x_0,x_0+\delta)\)内无界，则称点\(x_0\)为\(f(x)\)的一个瑕点（Singular Point）。
无穷积分定义：
\[\int_{-\infty}^{+\infty}f(x)\mathrm{d}x=\lim_{N\to +\infty,M\to -\infty}\int_{M}^{N}f(x)\mathrm{d}x\]对应的Cauchy Principal Value的定义为：
\[\int_{-\infty}^{+\infty}f(x)\mathrm{d}x=\lim_{M\to +\infty}\int_{-M}^{M}f(x)\mathrm{d}x\]类似的，瑕积分的Cauchy Principal Value定义为：
\[\int_{a}^{b}f(x)\mathrm{d}x=\lim_{\delta\to 0+}\left(\int_{a}^{c-\delta}f(x)\mathrm{d}x+\int_{c+\delta}^{b}f(x)\mathrm{d}x\right)\]其中，c为瑕点。
Cauchy Principal Value有什么用呢？
以\(f(x)=\sin(x)\)为例，无穷积分
\[\lim_{N\to +\infty,M\to -\infty}\int_{M}^{N}\sin(x)\mathrm{d}x\]发散。
而Cauchy Principal Value：
\[\lim_{M\to +\infty}\int_{-M}^{M}\sin(x)\mathrm{d}x=0\]参考：
https://www.zhihu.com/question/419790453s
一道积分题
https://blog.csdn.net/qq_45011547/article/details/90147363
反常积分的性质与收敛判别
https://mp.weixin.qq.com/s/JGhAp4FPmEjwOpI4EsXe0A
留数定理与积分
https://www.zhihu.com/question/593230446
留数定理能和安培环路定理联系起来吗？
