概率论与数理统计复习笔记
概率:
P
(
X
)
∈
[
0
,
1
]
P(X)\in[0,1]
P(X)∈[0,1];
P
(
Ω
)
=
1
P(\Omega)=1
P(Ω)=1;
A
i
∩
A
j
=
∅
(
i
≠
j
;
i
,
j
=
1
,
2
,
.
.
.
)
⟹
P
(
∑
i
=
1
∞
A
i
)
=
∑
i
=
1
∞
P
(
A
i
)
A_i\cap A_j=\emptyset(i\ne j;i,j=1,2,...)\implies P(\sum_{i=1}^\infty A_i)=\sum_{i=1}^\infty P(A_i)
Ai∩Aj=∅(i=j;i,j=1,2,...)⟹P(∑i=1∞Ai)=∑i=1∞P(Ai).
P
(
A
+
B
)
=
P
(
A
)
+
P
(
B
)
−
P
(
A
B
)
;
P
(
A
−
B
)
=
P
(
A
)
−
P
(
A
B
)
;
P
(
A
B
)
=
P
(
A
)
P
(
B
∣
A
)
,
P
(
A
)
≠
0.
P(A+B)=P(A)+P(B)-P(AB);\ P(A-B)=P(A)-P(AB);\ P(AB)=P(A)P(B|A),\ P(A)\ne 0.
P(A+B)=P(A)+P(B)−P(AB); P(A−B)=P(A)−P(AB); P(AB)=P(A)P(B∣A), P(A)=0.
两两独立:
P
(
A
B
)
=
P
(
A
)
P
(
B
)
P(AB)=P(A)P(B)
P(AB)=P(A)P(B),
P
(
A
C
)
=
P
(
A
)
P
(
B
)
P(AC)=P(A)P(B)
P(AC)=P(A)P(B),
P
(
B
C
)
=
P
(
B
)
P
(
C
)
P(BC)=P(B)P(C)
P(BC)=P(B)P(C).
相互独立:
A
,
B
,
C
A,B,C
A,B,C 两两独立,
P
(
A
B
C
)
=
P
(
A
)
P
(
B
)
P
(
C
)
P(ABC)=P(A)P(B)P(C)
P(ABC)=P(A)P(B)P(C).
分布函数:
F
(
x
)
∈
[
0
,
1
]
F(x)\in[0,1]
F(x)∈[0,1];
F
(
−
∞
)
=
0
F(-\infty)=0
F(−∞)=0,
F
(
+
∞
)
=
1
F(+\infty)=1
F(+∞)=1;
F
(
x
0
)
=
F
(
x
0
+
0
)
F(x_0)=F(x_0+0)
F(x0)=F(x0+0);
∀
x
1
<
x
2
\forall x_1<x_2
∀x1<x2 s.t.
F
(
x
1
)
≤
F
(
x
2
)
F(x_1)\leq F(x_2)
F(x1)≤F(x2).
概率密度:
F
(
x
)
=
∫
−
∞
x
f
(
t
)
d
t
F(x)=\int_{-\infty}^xf(t)\mathrm{d}t
F(x)=∫−∞xf(t)dt;
f
(
x
)
=
F
′
(
x
)
f(x)=F'(x)
f(x)=F′(x), 在
x
x
x 处连续时.
X
∼
f
(
x
)
,
Y
=
g
(
X
)
⟹
F
Y
(
y
)
=
∫
g
(
x
)
≤
y
f
(
x
)
d
x
,
f
Y
(
y
)
=
F
Y
′
(
y
)
.
X\sim f(x),\ Y=g(X)\implies F_Y(y)=\int_{g(x)\leq y}f(x)\mathrm{d}x,\ f_Y(y)=F_Y'(y).
X∼f(x), Y=g(X)⟹FY(y)=∫g(x)≤yf(x)dx, fY(y)=FY′(y).
y
=
g
(
x
)
y=g(x)
y=g(x) 可导且严格单调
⟹
f
Y
(
y
)
=
f
[
g
−
1
(
y
)
]
∣
[
g
−
1
(
y
)
]
′
∣
,
y
∈
(
α
,
β
)
;
{
α
,
β
}
=
{
g
(
−
∞
)
,
g
(
+
∞
)
}
\implies f_Y(y)=f[g^{-1}(y)]|[g^{-1}(y)]'|,\ y\in(\alpha,\beta);\ \{\alpha,\beta\}=\{g(-\infty),g(+\infty)\}
⟹fY(y)=f[g−1(y)]∣[g−1(y)]′∣, y∈(α,β); {α,β}={g(−∞),g(+∞)}.
联合分布函数:
F
(
x
,
y
)
∈
[
0
,
1
]
F(x,y)\in[0,1]
F(x,y)∈[0,1];
F
(
−
∞
,
x
)
=
F
(
−
∞
,
y
)
=
F
(
−
∞
,
−
∞
)
=
0
F(-\infty,x)=F(-\infty,y)=F(-\infty,-\infty)=0
F(−∞,x)=F(−∞,y)=F(−∞,−∞)=0,
F
(
+
∞
,
+
∞
)
=
1
F(+\infty,+\infty)=1
F(+∞,+∞)=1;
F
(
x
0
,
y
)
=
F
(
x
0
+
0
,
y
)
F(x_0,y)=F(x_0+0,y)
F(x0,y)=F(x0+0,y),
F
(
x
,
y
0
)
=
F
(
x
,
y
0
+
0
)
F(x,y_0)=F(x,y_0+0)
F(x,y0)=F(x,y0+0);
∀
x
1
<
x
2
,
y
1
<
y
2
\forall x_1<x_2,y_1<y_2
∀x1<x2,y1<y2 s.t.
F
(
x
1
,
y
2
)
+
F
(
x
2
,
y
1
)
≤
F
(
x
1
,
y
1
)
+
F
(
x
2
,
y
2
)
F(x_1,y_2)+F(x_2,y_1)\leq F(x_1,y_1)+F(x_2,y_2)
F(x1,y2)+F(x2,y1)≤F(x1,y1)+F(x2,y2).
联合概率密度:
F
(
x
,
y
)
=
∫
−
∞
x
∫
−
∞
y
f
(
u
,
v
)
d
u
d
v
F(x,y)=\int_{-\infty}^x\int_{-\infty}^yf(u,v)\mathrm{d}u\mathrm{d}v
F(x,y)=∫−∞x∫−∞yf(u,v)dudv;
f
(
x
,
y
)
=
∂
2
F
(
x
,
y
)
∂
x
∂
y
f(x,y)=\frac{\partial^2 F(x,y)}{\partial x\partial y}
f(x,y)=∂x∂y∂2F(x,y), 在
(
x
,
y
)
(x,y)
(x,y) 处连续时.
边缘分布函数:
F
X
(
x
)
=
F
(
x
,
+
∞
)
F_X(x)=F(x,+\infty)
FX(x)=F(x,+∞),
F
Y
(
y
)
=
F
(
+
∞
,
y
)
F_Y(y)=F(+\infty,y)
FY(y)=F(+∞,y).
条件概率密度:
f
X
∣
Y
(
x
∣
y
)
=
f
(
x
,
y
)
f
Y
(
y
)
f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}
fX∣Y(x∣y)=fY(y)f(x,y),
f
Y
∣
X
(
y
∣
x
)
=
f
(
x
,
y
)
f
X
(
x
)
f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}
fY∣X(y∣x)=fX(x)f(x,y).
X
,
Y
X,Y
X,Y 独立
⟺
f
(
x
,
y
)
=
f
X
(
x
,
y
)
f
Y
(
x
,
y
)
\iff f(x,y)=f_X(x,y)f_Y(x,y)
⟺f(x,y)=fX(x,y)fY(x,y).
(
X
,
Y
)
∼
f
(
x
,
y
)
,
Z
=
g
(
X
,
Y
)
⟹
F
Z
(
z
)
=
∬
g
(
x
,
y
)
≤
z
f
(
x
,
y
)
d
x
d
y
,
f
Z
z
=
F
Z
′
(
z
)
(X,Y)\sim f(x,y),\ Z=g(X,Y)\implies F_Z(z)=\iint_{g(x,y)\leq z}f(x,y)\mathrm{d}x\mathrm{d}y,\ f_Z{z}=F_Z'(z)
(X,Y)∼f(x,y), Z=g(X,Y)⟹FZ(z)=∬g(x,y)≤zf(x,y)dxdy, fZz=FZ′(z).
卷积:
X
,
Y
X,Y
X,Y 相互独立,
Z
=
a
X
+
b
Y
(
b
≠
0
)
⟹
f
Z
(
z
)
=
1
∣
b
∣
∫
−
∞
+
∞
f
X
(
x
)
f
Y
(
z
−
a
x
b
)
Z=aX+bY(b\ne 0)\implies f_Z(z)=\frac{1}{|b|}\int_{-\infty}^{+\infty}f_X(x)f_Y(\frac{z-ax}{b})
Z=aX+bY(b=0)⟹fZ(z)=∣b∣1∫−∞+∞fX(x)fY(bz−ax).
最值:
{
X
i
}
i
=
1
n
\{X_i\}_{i=1}^n
{Xi}i=1n 相互独立,
F
max
{
X
i
}
i
=
1
n
(
u
)
=
P
{
max
{
X
i
}
i
=
1
n
≤
u
}
=
∏
i
=
1
n
F
X
i
(
u
)
F_{\max\{X_i\}_{i=1}^n}(u)=P\{\max\{X_i\}_{i=1}^n\leq u\}=\prod_{i=1}^n F_{X_i}(u)
Fmax{Xi}i=1n(u)=P{max{Xi}i=1n≤u}=∏i=1nFXi(u),
F
min
{
X
i
}
i
=
1
n
(
v
)
=
P
{
min
{
X
i
}
i
=
1
n
≤
v
}
=
1
−
∏
i
=
1
n
[
1
−
F
X
i
(
v
)
]
F_{\min\{X_i\}_{i=1}^n}(v)=P\{\min\{X_i\}_{i=1}^n\leq v\}=1-\prod_{i=1}^n [1-F_{X_i}(v)]
Fmin{Xi}i=1n(v)=P{min{Xi}i=1n≤v}=1−∏i=1n[1−FXi(v)].
期望:
X
∼
f
(
x
)
X\sim f(x)
X∼f(x),
E
X
=
∫
−
∞
+
∞
x
f
(
x
)
d
x
{\rm E}X=\int_{-\infty}^{+\infty}xf(x)\mathrm{d}x
EX=∫−∞+∞xf(x)dx.
Y
=
g
(
X
)
⟹
E
Y
=
∫
−
∞
+
∞
g
(
x
)
f
(
x
)
d
x
Y=g(X)\implies {\rm E}Y=\int_{-\infty}^{+\infty}g(x)f(x)\mathrm{d}x
Y=g(X)⟹EY=∫−∞+∞g(x)f(x)dx.
Z
=
g
(
X
,
Y
)
⟹
E
Z
=
∫
−
∞
+
∞
g
(
x
,
y
)
f
(
x
,
y
)
d
x
d
y
Z=g(X,Y)\implies {\rm E}Z=\int_{-\infty}^{+\infty}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y
Z=g(X,Y)⟹EZ=∫−∞+∞g(x,y)f(x,y)dxdy.
E
(
a
X
±
b
Y
+
c
)
=
a
E
X
±
b
E
Y
+
c
{\rm E}(aX\pm bY+c)=a{\rm E}X\pm b{\rm E}Y+c
E(aX±bY+c)=aEX±bEY+c.
方差:
D
X
=
E
[
(
X
−
E
X
)
2
]
=
E
(
X
2
)
−
(
E
X
)
2
{\rm D}X={\rm E}[(X-{\rm E}X)^2]={\rm E}(X^2)-({\rm E}X)^2
DX=E[(X−EX)2]=E(X2)−(EX)2.
D
(
a
X
±
b
Y
+
c
)
=
a
2
D
X
+
b
2
D
Y
±
2
a
b
C
o
v
(
X
,
Y
)
{\rm D}(aX\pm bY+c)=a^2{\rm D}X+b^2{\rm D}Y\pm 2ab{\rm Cov}(X,Y)
D(aX±bY+c)=a2DX+b2DY±2abCov(X,Y).
协方差:
C
o
v
(
x
,
y
)
=
E
[
(
X
−
E
X
)
(
Y
−
E
Y
)
]
=
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
{\rm Cov}(x,y)={\rm E}[(X-{\rm}EX)(Y-{\rm}EY)]={\rm E}(XY)-{\rm E}(X){\rm E}(Y)
Cov(x,y)=E[(X−EX)(Y−EY)]=E(XY)−E(X)E(Y).
X
,
Y
X,Y
X,Y 不相关
⟺
C
o
v
(
X
,
Y
)
=
0
\iff {\rm Cov}(X,Y)=0
⟺Cov(X,Y)=0.
C
o
v
(
X
,
X
)
=
D
X
{\rm Cov}(X,X)={\rm D}X
Cov(X,X)=DX;
C
o
v
(
X
,
C
)
=
0
{\rm Cov}(X,C)=0
Cov(X,C)=0.
C
o
v
(
a
X
,
b
Y
)
=
a
b
C
o
v
(
X
,
Y
)
{\rm Cov}(aX,bY)=ab{\rm Cov}(X,Y)
Cov(aX,bY)=abCov(X,Y);
C
o
v
(
X
1
±
X
2
,
Y
)
=
C
o
v
(
X
1
,
Y
)
+
C
o
v
(
X
2
,
Y
)
{\rm Cov}(X_1\pm X_2,Y)={\rm Cov}(X_1,Y)+{\rm Cov}(X_2,Y)
Cov(X1±X2,Y)=Cov(X1,Y)+Cov(X2,Y).
相关系数:
ρ
x
y
=
C
o
v
(
X
,
Y
)
D
X
D
Y
\rho_{xy}=\frac{{\rm Cov}(X,Y)}{\sqrt{{\rm D}X{\rm D}Y}}
ρxy=DXDYCov(X,Y).
∣
ρ
x
y
∣
≤
1
|\rho_{xy}|\leq 1
∣ρxy∣≤1.
ρ
x
y
=
1
⟺
∃
a
>
0
,
b
\rho_{xy}=1\iff\exists a>0,b
ρxy=1⟺∃a>0,b s.t.
P
{
Y
=
a
X
+
b
}
=
1
P\{Y=aX+b\}=1
P{Y=aX+b}=1.
原点矩:
E
(
X
k
)
{\rm E}(X^k)
E(Xk); 期望为一阶原点矩
中心矩:
E
[
(
X
−
E
X
)
k
]
{\rm E}[(X-{\rm E}X)^k]
E[(X−EX)k]; 方差为二阶中心矩.
混合原点矩:
E
(
X
k
Y
l
)
{\rm E}(X^kY^l)
E(XkYl).
混合中心矩:
E
[
(
X
−
E
X
)
k
(
Y
−
E
Y
)
l
]
{\rm E}[(X-{\rm E}X)^k(Y-{\rm E}Y)^l]
E[(X−EX)k(Y−EY)l]; 协方差为二阶混合中心矩.
| 分布 | 分布列/概率密度 | 期望 | 方差 |
|---|---|---|---|
| 0-1 分布 | p k ( 1 − p ) 1 − k k = 0 , 1 ; p ∈ ( 0 , 1 ) p^k(1-p)^{1-k}\\ k=0,1;\ p\in(0,1) pk(1−p)1−kk=0,1; p∈(0,1) | p p p | p ( 1 − p ) p(1-p) p(1−p) |
| 二项分布 B ( n , p ) B(n,p) B(n,p) | ( n k ) p k ( 1 − p ) n − k k = 1 , 2 , . . . , n ; p ∈ ( 0 , 1 ) {n\choose k}p^k(1-p)^{n-k}\\ k=1,2,...,n;\ p\in(0,1) (kn)pk(1−p)n−kk=1,2,...,n; p∈(0,1) | n p np np | n p ( 1 − p ) np(1-p) np(1−p) |
| 几何分布 G ( p ) G(p) G(p) | ( 1 − p ) k − 1 p k ∈ N ; p ∈ ( 0 , 1 ) (1-p)^{k-1}p\\ k\in\mathbb{N};\ p\in(0,1) (1−p)k−1pk∈N; p∈(0,1) | 1 p \frac{1}{p} p1 | 1 − p p 2 \frac{1-p}{p^2} p21−p |
| 超几何分布 H ( N , M , n ) H(N,M,n) H(N,M,n) | ( M k ) ( N − M n − k ) / ( N n ) k ∈ N , k ≤ n , k ≤ M M , N , n ∈ N + ; M ≤ N , n ≤ N {M\choose k}{{N-M}\choose{n-k}}/{N\choose n}\\ k\in\mathbb{N},\ k\leq n,\ k\leq M \\ M,N,n\in\mathbb{N}_+;\ M\leq N,\ n\leq N (kM)(n−kN−M)/(nN)k∈N, k≤n, k≤MM,N,n∈N+; M≤N, n≤N | n M N \frac{nM}{N} NnM | n M ( N − n ) ( N − M ) N 2 ( N − 1 ) \frac{nM(N-n)(N-M)}{N^2(N-1)} N2(N−1)nM(N−n)(N−M) |
| 泊松分布 P ( λ ) P(\lambda) P(λ) | λ k k ! e − λ \frac{\lambda^k}{k!}e^{-\lambda} k!λke−λ | λ \lambda λ | λ \lambda λ |
| 均匀分布 U ( a , b ) U(a,b) U(a,b) | { 1 b − a , a < x < b 0 , x ≤ a ∨ x ≥ b \begin{cases}\frac{1}{b-a}, & a<x<b \\ 0, & x\leq a\vee x\geq b\end{cases} {b−a1,0,a<x<bx≤a∨x≥b | a + b 2 \frac{a+b}{2} 2a+b | ( b − a ) 2 12 \frac{(b-a)^2}{12} 12(b−a)2 |
| 指数分布 E ( λ ) E(\lambda) E(λ) | { 0 , x ≤ 0 λ e − λ x , x > 0 ( λ > 0 ) \begin{cases}0, & x\leq 0 \\ \lambda e^{-\lambda x}, & x>0 \end{cases}\ (\lambda>0) {0,λe−λx,x≤0x>0 (λ>0) | 1 λ \frac{1}{\lambda} λ1 | 1 λ 2 \frac{1}{\lambda^2} λ21 |
| 正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2) | 1 2 π σ exp { − ( x − μ ) 2 2 σ 2 } \frac{1}{\sqrt{2\pi\sigma}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\} 2πσ1exp{−2σ2(x−μ)2} | μ \mu μ | σ 2 \sigma^2 σ2 |
均匀分布:
F
(
x
)
=
{
0
,
x
<
a
x
−
a
b
−
a
,
a
≤
x
<
b
1
,
x
≥
b
F(x)=\begin{cases}0, & x<a \\ \frac{x-a}{b-a}, & a\leq x<b \\ 1, & x\geq b\end{cases}
F(x)=⎩
⎨
⎧0,b−ax−a,1,x<aa≤x<bx≥b.
指数分布:
F
(
x
)
=
{
0
,
x
<
0
1
−
e
−
λ
x
,
x
≥
0
F(x)=\begin{cases}0, & x<0 \\ 1-e^{-\lambda x}, & x\geq 0\end{cases}
F(x)={0,1−e−λx,x<0x≥0;
P
{
X
>
s
+
t
∣
X
>
s
}
=
P
{
X
>
t
}
(
s
,
t
≥
0
)
P\{X>s+t|X>s\}=P\{X>t\}\ (s,t\geq 0)
P{X>s+t∣X>s}=P{X>t} (s,t≥0).
切比雪夫:
E
X
,
D
X
{\rm E}X,{\rm D}X
EX,DX 存在时,
∀
ϵ
>
0
\forall\epsilon>0
∀ϵ>0 s.t.
P
{
∣
X
−
E
X
∣
<
ϵ
}
≥
1
−
D
X
ϵ
2
P\{|X-{\rm E}X|<\epsilon\}\geq 1-\frac{{\rm D}X}{\epsilon^2}
P{∣X−EX∣<ϵ}≥1−ϵ2DX 或
P
{
∣
X
−
E
X
∣
≥
ϵ
}
>
D
X
ϵ
2
P\{|X-{\rm E}X|\geq\epsilon\}>\frac{{\rm D}X}{\epsilon^2}
P{∣X−EX∣≥ϵ}>ϵ2DX.
依概率收敛:
{
X
n
}
n
=
1
∞
\{X_n\}_{n=1}^\infty
{Xn}n=1∞,
∀
ϵ
>
0
\forall\epsilon>0
∀ϵ>0 s.t.
lim
n
→
∞
P
{
∣
X
n
−
a
∣
<
ϵ
}
=
1
\lim_{n\to\infty}P\{|X_n-a|<\epsilon\}=1
limn→∞P{∣Xn−a∣<ϵ}=1, 记为
X
n
⟶
P
a
X_n\stackrel{P}{\longrightarrow}a
Xn⟶Pa.
伯努利:
f
A
f_A
fA 为任意多次独立重复试验中事件
A
A
A 发生的频率,
p
A
p_A
pA 为每次试验中事件
A
A
A 发生的概率
⟹
f
A
⟶
P
p
A
\implies f_A\stackrel{P}{\longrightarrow}p_A
⟹fA⟶PpA.
切比雪夫:
{
X
n
}
n
=
1
∞
\{X_n\}_{n=1}^\infty
{Xn}n=1∞ 相互独立,
{
E
X
n
}
n
=
1
∞
\{{\rm E}X_n\}_{n=1}^\infty
{EXn}n=1∞ 存在,
{
D
X
n
}
n
=
1
∞
\{{\rm D}X_n\}_{n=1}^\infty
{DXn}n=1∞ 存在且一致有界
⟹
X
ˉ
⟶
P
E
X
‾
\implies\bar{X}\stackrel{P}{\longrightarrow}\overline{{\rm E}X}
⟹Xˉ⟶PEX.
辛钦:
{
X
n
}
n
=
1
∞
\{X_n\}_{n=1}^\infty
{Xn}n=1∞ 独立同分布,
{
E
X
n
}
n
=
1
∞
=
μ
⟹
X
ˉ
⟶
P
μ
\{{\rm E}X_n\}_{n=1}^\infty=\mu\implies\bar{X}\stackrel{P}{\longrightarrow}\mu
{EXn}n=1∞=μ⟹Xˉ⟶Pμ.
林德伯格-列维:
{
X
n
}
n
=
1
∞
\{X_n\}_{n=1}^\infty
{Xn}n=1∞ 独立同分布,
{
E
X
n
}
n
=
1
∞
=
μ
\{{\rm E}X_n\}_{n=1}^\infty=\mu
{EXn}n=1∞=μ,
{
D
X
n
}
n
=
1
∞
=
σ
2
>
0
⟹
P
{
X
ˉ
−
μ
σ
/
n
≤
x
}
→
Φ
(
x
)
\{{\rm D}X_n\}_{n=1}^\infty=\sigma^2>0\implies P\{\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\leq x\}\to\Phi(x)
{DXn}n=1∞=σ2>0⟹P{σ/nXˉ−μ≤x}→Φ(x).
棣莫弗-拉普拉斯:
{
X
i
}
n
=
1
∞
∼
B
(
n
,
p
)
⟹
P
{
X
n
−
n
p
n
p
(
1
−
p
)
≤
x
}
→
Φ
(
x
)
\{X_i\}_{n=1}^\infty\sim B(n,p)\implies P\{\frac{X_n-np}{\sqrt{np(1-p)}}\leq x\}\to\Phi(x)
{Xi}n=1∞∼B(n,p)⟹P{np(1−p)Xn−np≤x}→Φ(x)
样本均值:
X
ˉ
=
1
n
∑
i
=
1
n
X
i
\bar{X}=\frac{1}{n}\sum_{i=1}^nX_i
Xˉ=n1∑i=1nXi;
E
X
ˉ
=
E
X
{\rm E}\bar{X}={\rm E}X
EXˉ=EX,
D
X
ˉ
=
1
n
D
X
{\rm D}\bar{X}=\frac{1}{n}{\rm D}X
DXˉ=n1DX.
样本方差:
S
2
=
1
n
−
1
∑
i
=
1
n
(
X
i
−
X
ˉ
)
S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})
S2=n−11∑i=1n(Xi−Xˉ);
E
(
S
2
)
=
D
X
{\rm E}(S^2)={\rm D}X
E(S2)=DX - 无偏修正/自由度为
n
−
1
n-1
n−1.
样本原点矩:
A
k
=
1
n
∑
i
=
1
n
X
i
k
A_k=\frac{1}{n}\sum_{i=1}^nX_i^k
Ak=n1∑i=1nXik.
样本中心矩:
B
k
=
1
n
∑
i
=
1
n
(
X
i
k
−
X
ˉ
)
B_k=\frac{1}{n}\sum_{i=1}^n(X_i^k-\bar{X})
Bk=n1∑i=1n(Xik−Xˉ).
矩估计:
A
k
=
E
(
X
k
)
=
μ
k
(
{
θ
i
}
i
=
1
m
)
A_k={\rm E}(X^k)=\mu_k(\{\theta_i\}_{i=1}^m)
Ak=E(Xk)=μk({θi}i=1m).
极大似然估计:
max
∏
i
=
1
n
f
(
X
i
;
{
θ
i
}
i
=
1
m
)
\max{\prod_{i=1}^nf(X_i;\{\theta_i\}_{i=1}^m)}
max∏i=1nf(Xi;{θi}i=1m).
无偏性:
E
θ
^
=
θ
{\rm E}\hat{\theta}=\theta
Eθ^=θ.
有效性: 无偏时,
min
{
D
θ
^
i
}
i
=
1
k
\min\{{\rm D}\hat{\theta}_i\}_{i=1}^k
min{Dθ^i}i=1k.
一致性:
∀
ϵ
>
0
\forall \epsilon>0
∀ϵ>0 s.t.
lim
n
→
∞
P
{
∣
θ
^
n
−
θ
∣
<
ϵ
}
=
1
\lim_{n\to\infty}P\{|\hat{\theta}_n-\theta|<\epsilon\}=1
limn→∞P{∣θ^n−θ∣<ϵ}=1.
上
α
\alpha
α 分位点:
P
{
X
>
F
α
}
=
∫
F
α
+
∞
f
(
x
)
d
x
=
α
P\{X>F_\alpha\}=\int_{F_\alpha}^{+\infty}f(x)\mathrm{d}x=\alpha
P{X>Fα}=∫Fα+∞f(x)dx=α.
正态分布:
X
∼
N
(
μ
,
σ
2
)
X\sim N(\mu,\sigma^2)
X∼N(μ,σ2),
F
(
x
)
=
Φ
(
x
−
μ
σ
)
F(x)=\Phi(\frac{x-\mu}{\sigma})
F(x)=Φ(σx−μ).
ϕ
(
x
)
=
ϕ
(
−
x
)
\phi(x)=\phi(-x)
ϕ(x)=ϕ(−x), 即
Φ
(
x
)
+
Φ
(
−
x
)
=
1
\Phi(x)+\Phi(-x)=1
Φ(x)+Φ(−x)=1.
P
{
X
≤
μ
−
a
}
=
P
{
X
≥
μ
+
a
}
P\{X\leq\mu-a\}=P\{X\geq\mu+a\}
P{X≤μ−a}=P{X≥μ+a};
P
{
∣
X
∣
≥
a
}
=
2
Φ
(
a
)
−
1
P\{|X|\geq a\}=2\Phi(a)-1
P{∣X∣≥a}=2Φ(a)−1.
χ
2
\chi^2
χ2 分布:
{
X
i
}
i
=
1
n
∼
N
(
0
,
1
)
\{X_i\}_{i=1}^n\sim N(0,1)
{Xi}i=1n∼N(0,1) 相互独立,
X
=
∑
i
=
1
n
X
i
2
∼
χ
2
(
n
)
X=\sum_{i=1}^nX_i^2\sim\chi^2(n)
X=∑i=1nXi2∼χ2(n).
E
X
=
n
{\rm E}X=n
EX=n,
D
X
=
2
n
{\rm D}X=2n
DX=2n.
X
1
∼
χ
2
(
n
1
)
X_1\sim\chi^2(n_1)
X1∼χ2(n1),
X
2
∼
χ
2
(
n
2
)
⟹
X
1
+
X
2
∼
χ
2
(
n
1
+
n
2
)
X_2\sim\chi^2(n_2)\implies X_1+X_2\sim\chi^2(n_1+n_2)
X2∼χ2(n2)⟹X1+X2∼χ2(n1+n2).
t
t
t 分布:
X
∼
N
(
0
,
1
)
X\sim N(0,1)
X∼N(0,1),
Y
∼
χ
2
(
n
)
Y\sim\chi^2(n)
Y∼χ2(n) 相互独立,
t
=
X
Y
/
n
∼
t
(
n
)
t=\frac{X}{\sqrt{Y/n}}\sim t(n)
t=Y/nX∼t(n).
f
(
x
)
=
f
(
−
x
)
f(x)=f(-x)
f(x)=f(−x), 即
F
(
x
)
+
F
(
−
x
)
=
1
F(x)+F(-x)=1
F(x)+F(−x)=1;
t
(
n
)
≈
N
(
0
,
1
)
t(n)\approx N(0,1)
t(n)≈N(0,1),
t
→
∞
t\to\infty
t→∞.
F
F
F 分布:
X
∼
χ
2
(
n
1
)
X\sim\chi^2(n_1)
X∼χ2(n1),
Y
∼
χ
2
(
n
2
)
Y\sim\chi^2(n_2)
Y∼χ2(n2) 相互独立,
F
=
X
/
n
1
Y
/
n
2
∼
F
(
n
1
,
n
2
)
F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2)
F=Y/n2X/n1∼F(n1,n2).
1
/
F
∼
F
(
n
2
,
n
1
)
1/F\sim F(n_2,n_1)
1/F∼F(n2,n1);
t
2
∼
F
(
1
,
n
)
t^2\sim F(1,n)
t2∼F(1,n).
单个正态总体:
X
∼
N
(
μ
,
σ
2
)
X\sim N(\mu,\sigma^2)
X∼N(μ,σ2),
X
ˉ
∼
N
(
μ
,
σ
2
n
)
\bar{X}\sim N(\mu,\frac{\sigma^2}{n})
Xˉ∼N(μ,nσ2)
⟹
U
=
X
ˉ
−
μ
σ
/
n
∼
N
(
0
,
1
)
\implies U=\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)
⟹U=σ/nXˉ−μ∼N(0,1)
⟹
χ
2
=
∑
i
=
1
n
(
X
i
−
μ
)
2
σ
2
=
∑
i
=
1
n
(
X
i
−
μ
σ
)
2
∼
χ
2
(
n
)
\implies\chi^2=\frac{\sum_{i=1}^n(X_i-\mu)^2}{\sigma^2}=\sum_{i=1}^n (\frac{X_i-\mu}{\sigma})^2\sim\chi^2(n)
⟹χ2=σ2∑i=1n(Xi−μ)2=∑i=1n(σXi−μ)2∼χ2(n)
⟹
χ
2
=
(
n
−
1
)
S
2
σ
2
=
∑
i
=
1
n
(
X
i
−
μ
σ
−
X
ˉ
−
μ
σ
)
2
=
∑
i
=
1
n
−
1
Z
i
2
∼
χ
2
(
n
−
1
)
\implies\chi^2=\frac{(n-1)S^2}{\sigma^2}=\sum_{i=1}^n(\frac{X_i-\mu}{\sigma}-\frac{\bar{X}-\mu}{\sigma})^2=\sum_{i=1}^{n-1}Z_i^2\sim\chi^2(n-1)
⟹χ2=σ2(n−1)S2=∑i=1n(σXi−μ−σXˉ−μ)2=∑i=1n−1Zi2∼χ2(n−1)
⟹
t
=
X
ˉ
−
μ
S
/
n
=
(
X
ˉ
−
μ
)
/
(
σ
/
n
)
[
(
n
−
1
)
S
2
]
/
[
(
n
−
1
)
σ
2
]
∼
t
(
n
−
1
)
\implies t=\frac{\bar{X}-\mu}{S/\sqrt{n}}=\frac{(\bar{X}-\mu)/(\sigma/\sqrt{n})}{\sqrt{[(n-1)S^2]/[(n-1)\sigma^2]}}\sim t(n-1)
⟹t=S/nXˉ−μ=[(n−1)S2]/[(n−1)σ2](Xˉ−μ)/(σ/n)∼t(n−1).
两个正态总体:
X
∼
N
(
μ
1
,
σ
1
)
X\sim N(\mu_1,\sigma_1)
X∼N(μ1,σ1),
Y
∼
N
(
μ
2
,
σ
2
)
Y\sim N(\mu_2,\sigma_2)
Y∼N(μ2,σ2) 相互独立.
U
=
(
X
ˉ
−
Y
ˉ
)
−
(
μ
1
−
μ
2
)
σ
1
2
/
n
1
+
σ
2
2
/
n
2
∼
N
(
0
,
1
)
U=\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{\sqrt{\sigma_1^2/n_1+\sigma_2^2/n_2}}\sim N(0,1)
U=σ12/n1+σ22/n2(Xˉ−Yˉ)−(μ1−μ2)∼N(0,1).
V
=
(
n
−
1
)
S
1
2
σ
1
2
+
(
n
−
1
)
S
2
2
σ
2
2
∼
χ
2
(
n
1
+
n
2
−
2
)
V=\frac{(n-1)S_1^2}{\sigma_1^2}+\frac{(n-1)S_2^2}{\sigma_2^2}\sim\chi^2(n_1+n_2-2)
V=σ12(n−1)S12+σ22(n−1)S22∼χ2(n1+n2−2).
t
=
U
V
/
(
n
1
+
n
2
−
2
)
∼
t
(
n
1
+
n
2
−
2
)
t=\frac{U}{\sqrt{V/(n_1+n_2-2)}}\sim t(n_1+n_2-2)
t=V/(n1+n2−2)U∼t(n1+n2−2).
F
=
S
1
2
/
σ
1
2
S
2
2
/
σ
2
2
∼
F
(
n
1
+
n
2
−
2
)
F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n_1+n_2-2)
F=S22/σ22S12/σ12∼F(n1+n2−2)
区间估计: 构造分布
W
=
W
(
{
X
i
}
i
=
1
n
;
{
θ
i
}
i
=
1
m
;
θ
^
)
W=W(\{X_i\}_{i=1}^n;\{\theta_i\}_{i=1}^m;\hat{\theta})
W=W({Xi}i=1n;{θi}i=1m;θ^), 由上
α
\alpha
α 分位点(即
1
−
α
1-\alpha
1−α 置信水平)求解
θ
^
\hat{\theta}
θ^ 取值范围.
双侧置信区间:
P
{
F
1
−
α
2
<
W
<
F
α
2
}
=
1
−
α
P\{F_{1-\frac{\alpha}{2}}<W<F_\frac{\alpha}{2}\}=1-\alpha
P{F1−2α<W<F2α}=1−α.
单侧置信区间:
P
{
W
<
F
1
−
α
}
=
1
−
α
P\{W<F_{1-\alpha}\}=1-\alpha
P{W<F1−α}=1−α 及
P
{
W
>
F
α
}
=
1
−
α
P\{W>F_\alpha\}=1-\alpha
P{W>Fα}=1−α.
第一类错误(
α
\alpha
α): “弃真”, 假设
H
0
H_0
H0 为真时拒绝.
第二类错误(
β
\beta
β): “存伪”, 假设
H
0
H_0
H0 为假时接受.
样本容量固定时,
α
\alpha
α 与
β
\beta
β 反向变动.
显著性检验: 只控制犯第一类错误的概率; 给定假设
θ
0
\theta_0
θ0 计算统计量
W
0
=
W
(
{
X
i
}
i
=
1
n
;
{
θ
i
}
i
=
1
m
;
θ
0
)
W_0=W(\{X_i\}_{i=1}^n;\{\theta_i\}_{i=1}^m;\theta_0)
W0=W({Xi}i=1n;{θi}i=1m;θ0), 由上
α
\alpha
α 分位点(即
1
−
α
1-\alpha
1−α 置信水平)给出拒绝域.
θ
=
θ
0
\theta=\theta_0
θ=θ0 拒绝域:
W
0
≤
F
1
−
α
2
W_0\leq F_{1-\frac{\alpha}{2}}
W0≤F1−2α 或
W
0
≥
F
α
2
W_0\geq F_\frac{\alpha}{2}
W0≥F2α.
θ
≤
θ
0
\theta\leq\theta_0
θ≤θ0 拒绝域:
W
0
≥
F
α
W_0\geq F_\alpha
W0≥Fα.
θ
≥
θ
0
\theta\geq\theta_0
θ≥θ0 拒绝域:
W
0
≤
F
1
−
α
W_0\leq F_{1-\alpha}
W0≤F1−α.