OMSCS-SIM课程笔记02-Calculus, Probability, and Statistics Primers

这个系列是Gatech OMSCS 仿真和建模课程(ISYE 6644: Simulation and Modeling for Engineering and Science)的同步课程笔记。课程内容涉及计算机模拟在统计分析和建模中的应用，本节主要复习微积分以及概率论的相关知识。

Calculus Primer

在进一步介绍随机模拟的内容前首先来回顾一下微积分中的基本内容。

一些常用函数的导数如下：

\[[x^k]' = k x^{k-1}\] \[[e^x]' = e^x\] \[[\sin (x)]' = \cos (x)\] \[[\cos (x)]' = -\sin (x)\] \[[\ln (x)]' = \frac{1}{x}\] \[[\arctan (x)]' = \frac{1}{1 + x^2}\]

同时，导数的运算法则为：

\[[a f(x) + b]' = a f'(x)\] \[[f(x) + g(x)]' = f'(x) + g'(x)\] \[[f(x) g(x)]' = f'(x) g(x) + f(x) g'(x)\] \[\bigg[ \frac{f(x)}{g(x)} \bigg]' = \frac{g(x) f'(x) - f(x) g'(x)}{g^2 (x)}\] \[[f(g(x))]' = f'(g(x)) g'(x)\]

函数\(f(x)\)仅在其导数为0的位置取极值，而借助于二阶导数我们还可以进一步判断极值点的类型。

Finding Zeros

在很多时候我们需要去计算函数的零点。对于复杂的函数可能无法解析地求得函数的零点，在这种情况下需要使用一些数值计算方法来求解。最基本的方法是二分法(bisection)：

除了二分法之外我们还可以通过Newton’s method来迭代计算函数的零点。

\[x_{i+1} = x_i - \frac{g(x_i)}{g'(x_i)}\]

Integration

除了微分之外，我们还需要计算积分。

常用函数的积分公式如下：

\[\int x^k dx = \frac{x^{k+1}}{k+1} + C, k \neq -1\] \[\int \frac{dx}{x} dx = \ln \vert x \vert + C\] \[\int e^x dx = e^x + C\] \[\int \cos (x) dx = \sin (x) + C\] \[\int \frac{dx}{1 + x^2} = \arctan (x) + C\]

(定)积分的常用性质为：

\[\int_a^a f(x) dx = 0\] \[\int_a^b f(x) dx = - \int_b^a f(x) dx\] \[\int_a^b f(x) dx = \int_a^c f(x) dx + \int_c^b f(x) dx\] \[\int [f(x) + g(x)] dx = \int f(x) dx + \int g(x) dx\] \[\int f(x) g'(x) dx = f(x) g(x) - \int g(x) f'(x) dx\] \[\int f(g(x)) g'(x) dx = \int f(u) du\]

Riemann Sums

对于复杂的函数，有时可能很难通过解析的形式来计算定积分。此时我们可以将函数拆分成若干个小区间然后在每个区间上计算函数包围的面积，最后把它们加起来近似定积分的值。这种做法称为黎曼和(Riemann sums)：

Taylor Series Expansion

在微积分中泰勒级数展开(Taylor series expansion)是一种非常常用的方法：

在\(a=0\)处进行展开得到的级数称为Maclaurin级数，常用函数的Maclaurin级数为：

\[\sin (x) = \sum_{k=0}^\infty \frac{(-1)^k x^{2k + 1}}{(2k + 1)!}\] \[\cos (x) = \sum_{k=0}^\infty \frac{(-1)^k x^{2k}}{(2k)!}\] \[e^x = \sum_{k=0}^\infty \frac{x^k}{k!}\]

另一个常用的工具是洛必达法则(L’Hospital’s rule)，它指出当极限存在时可以利用函数的导数来代替函数值计算极限：

Probability Basics

Probabilities

接下来复习一下概率论的相关知识。

Random Variables

Simulating Random Variables

那么如何使用计算机来产生各种类型的随机变量呢？对于任意连续型随机变量\(X\)我们可以通过它的CDF来进行采样，实际上\(F(X)\)服从(0, 1)区间上的均匀分布：

稍后我们会来证明这个定理。由于\(F(X) \sim \text{Unif} (0, 1)\)，我们可以通过对(0, 1)区间上的均匀分布进行采样再映射回\(X\)实现对任意分布的采样，这种采样方法称为逆变换方法(inverse transform method)。以参数为\(\lambda\)的指数分布为例，假设\(X \sim \text{Exp} (\lambda)\)则它的CDF为\(F(X) = 1 - e^{-\lambda X}\)，根据逆变换方法可以得到采样公式为：

\[X = - \frac{1}{\lambda} \ln (1 - U), \ U \sim \text{Unif} (0, 1)\]

对于逆变换方法我们需要生成(0, 1)区间上的均匀分布的随机数，我们可以利用上节课介绍的伪随机数生成算法来实现：

Great Expectations

期望是随机变量的一个重要性质，离散和连续型随机变量的期望分别定义为：

常用分布的期望如下：

LOTUS

对于作用在随机变量上的函数，我们可以利用law of the unconscious statistician(LOTUS)来计算它的期望：

函数\(h(X)\)可以是任意形式，而对于幂函数我们称对应的期望为\(X\)的n阶矩(\(n\)th moment of \(X\))。除了幂函数我们还可以利用LOTUS来定义n阶中心矩(\(n\)th central moment of \(X\))和方差(variance)：