在不考虑原总体分布或者不做关于参数假定的前提下澳门亚洲城网址,数理统计的研究对象则是未知分布的随机变量

澳门亚洲城网址 5

12月28日下午,应数学与信息科学学院邀请,北京工业大学博士生导师薛留根和程维虎在数学南楼103室分别作了题为“纵向数据下部分线性模型的广义经验似然推断”和“基于次序统计量的统计推断理论与方法”的学术报告。学院相关专业师生到场聆听了此次讲座。报告会由副院长庞善起主持。

《金融时间序列分析:第3版》
基本信息
原书名:Analysis of Financial Time Series Third Edition
作者: (美)蔡瑞胸(Tsay, R. S.) [作译者介绍]
译者: 王远林 王辉 潘家柱
丛书名: 图灵数学.统计学丛书
出版社:人民邮电出版社
ISBN:9787115287625
上架时间:2012-8-20
出版日期:2012 年8月
开本:16开
页码:1
版次:1-1
所属分类: 数学
澳门亚洲城网址 1

非参数统计推断与参数统计推断

非参数统计推断又称非参数检验。是指在不考虑原总体分布或者不做关于参数假定的前提下,尽量从数据或样本本身获得所需要的信息,通过估计获得分布的结构,并逐步建立对事物的数学描述和统计模型的方式。

非参数统计推断通常称为“分布自由”的方法,即非参数数据分析方法对产生数据的总体分布不做假设,或者仅给出很一般的假设,例如连续型分布,对称分布等一些简单的假设。结果一般有较好的稳定性。

  • 当数据的分布不是很明确,特别是样本容量不大,几乎无法对分布作出推断的时候,可以考虑用非参数统计推断的方法。
  • 当处理定性数据时,采用非参数统计推断方法
  • 参数统计一般用来处理定量数据。但是如果收集到的数据不符合参数模型的假定,比如数据只有顺序没有大小,则很多参数模型都无能为力,此时只能尝试非参数统计推断。

补充:
统计数据按照数据类型可以分为两类:定性数据和定量数据。非参数统计推断可以处理所有的类型的数据。

Note:非参数方法是与总体分布无关,而不是与所有分布无关。

澳门亚洲城网址 2

统计概述

基础的统计理论有助于对机器学习的算法和数据挖掘的结果做出解释,只有做出合理的解读,数据的价值才能够体现。数理统计根据观察或实验得到的数据来研究随机现象,并对研究对象的客观规律做出合理的估计和判断。

虽然数理统计以概率论为理论基础,但两者之间存在方法上的本质区别。概率论作用的前提是随机变量的分布已知,根据已知的分布来分析随机变量的特征与规律;数理统计的研究对象则是未知分布的随机变量,研究方法是对随机变量进行独立重复的观察,根据得到的观察结果对原始分布做出推断。

用一句不严谨但直观的话讲:数理统计可以看成是逆向的概率论。用买彩票打个比方,概率论解决的是根据已知的摇奖规律判断一注号码中奖的可能性,数理统计解决的则是根据之前多次中奖或者不中奖的号码记录以一定的精确性推测摇奖的规律。

在数理统计中,可用的资源是有限的数据集合,这个有限数据集被称为样本。相应地,观察对象所有的可能取值被称为总体。数理统计的任务就是根据样本推断总体的数字特征。样本通常由对总体进行多次独立的重复观测而得到,这保证了不同的样本值之间相互独立,并且都与总体具有相同的分布。

在统计推断中,应用的往往不是样本本身,而是被称为统计量的样本的函数。统计量本身是一个随机变量,是用来进行统计推断的工具。样本均值和样本方差是两个最重要的统计量。

统计推断的基本问题可以分为两大类:参数估计和假设检验。

薛留根首先介绍了常见的现代统计模型和复杂数据,重点讲述了纵向数据下部分线性模型的估计问题,基于二次推断函数和经验似然方法给出了参数分量和非参数分量的估计及其大样本性质,并通过统计模拟和实际数据验证了经验似然方法的优势。

更多关于
》》》《金融时间序列分析:第3版》
内容简介
书籍
数学书籍
  《金融时间序列分析:第3版》全面阐述了金融时间序列,并主要介绍了金融时间序列理论和方法的当前研究热点和一些最新研究成果,尤其是风险值计算、高频数据分析、随机波动率建模和马尔可夫链蒙特卡罗方法等方面。此外,本书还系统阐述了金融计量经济模型及其在金融时间序列数据和建模中的应用,所有模型和方法的运用均采用实际金融数据,并给出了所用计算机软件的命令。较之第2
版,本版不仅更新了上一版中使用的数据,而且还给出了r
命令和实例,从而使其成为理解重要统计方法和技术的奠基石。
  《金融时间序列分析:第3版》可作为时间序列分析的教材,也适用于商学、经济学、数学和统计学专业对金融的计量经济学感兴趣的高年级本科生和研究生,同时,也可作为商业、金融、保险等领域专业人士的参考用书。
目录
《金融时间序列分析:第3版》
第1章  金融时间序列及其特征  1
1.1  资产收益率  2
1.2  收益率的分布性质  6
1.2.1  统计分布及其矩的回顾  6
1.2.2  收益率的分布  13
1.2.3  多元收益率  16
1.2.4  收益率的似然函数  17
1.2.5  收益率的经验性质  17
1.3  其他过程  19
附录r  程序包  21
练习题  23
参考文献  24
第2章  线性时间序列分析及其应用  25
2.1  平稳性  25
2.2  相关系数和自相关函数  26
2.3  白噪声和线性时间序列  31
2.4  简单的自回归模型  32
2.4.1  ar模型的性质  33
2.4.2  实际中怎样识别ar模型  40
2.4.3  拟合优度  46
2.4.4  预测  47
2.5  简单滑动平均模型  50
2.5.1  ma模型的性质  51
2.5.2  识别ma的阶  52
2.5.3  估计  53
2.5.4  用ma模型预测  54
2.6  简单的arma模型  55
2.6.1  arma(1,1)模型的性质  56
2.6.2  一般的arma模型  57
2.6.3  识别arma模型  58
2.6.4  用arma模型进行预测  60
2.6.5  arma模型的三种表示  60
2.7  单位根非平稳性  62
2.7.1  随机游动  62
2.7.2  带漂移的随机游动  64
2.7.3  带趋势项的时间序列  65
2.7.4  一般的单位根非平稳模型  66
2.7.5  单位根检验  66
2.8  季节模型  71
2.8.1  季节性差分化  72
2.8.2  多重季节性模型  73
2.9  带时间序列误差的回归模型  78
2.10  协方差矩阵的相合估计  85
2.11  长记忆模型  88
附录  一些sca  的命令  90
练习题  90
参考文献  92
第3章  条件异方差模型  94
3.1  波动率的特征  95
3.2  模型的结构  95
3.3  建模  97
3.4  arch模型  99
3.4.1  arch模型的性质  100
3.4.2  arch模型的缺点  102
3.4.3  arch模型的建立  102
3.4.4  一些例子  106
3.5  garch模型  113
3.5.1  实例说明  115
3.5.2  预测的评估  120
3.5.3  两步估计方法  121
3.6  求和garch模型  121
3.7  garch-m模型  122
3.8  指数garch模型  123
3.8.1  模型的另一种形式  125
3.8.2  实例说明  125
3.8.3  另一个例子  126
3.8.4  用egarch模型进行预测  128
3.9  门限garch模型  129
3.10  charma模型  130
3.11  随机系数的自回归模型  132
3.12  随机波动率模型  133
3.13  长记忆随机波动率模型  133
3.14  应用  135
3.15  其他方法  138
3.15.1  高频数据的应用  138
3.15.2  日开盘价、最高价、最低价和收盘价的应用  141
3.16  garch模型的峰度  143
附录  波动率模型估计中的一些rats  程序  144
练习题  146
参考文献  148
第4章  非线性模型及其应用  151
4.1  非线性模型  152
4.1.1  双线性模型  153
4.1.2  门限自回归模型  154
4.1.3  平滑转移ar(star)模型  158
4.1.4  马尔可夫转换模型  160
4.1.5  非参数方法  162
4.1.6  函数系数ar  模型  170
4.1.7  非线性可加ar  模型  170
4.1.8  非线性状态空间模型  171
4.1.9  神经网络  171
4.2  非线性检验  176
4.2.1  非参数检验  176
4.2.2  参数检验  179
4.2.3  应用  182
4.3  建模  183
4.4  预测  184
4.4.1  参数自助法  184
4.4.2  预测的评估  184
4.5  应用  186
附录a  一些关于非线性波动率模型的rats  程序  190
附录b  神经网络的s-plus  命令  191
练习题  191
参考文献  193
第5章  高频数据分析与市场微观结构  196
5.1  非同步交易  196
5.2  买卖报价差  200
5.3  交易数据的经验特征  201
5.4  价格变化模型  207
5.4.1  顺序概率值模型  207
5.4.2  分解模型  210
5.5  持续期模型  214
5.5.1  acd模型  216
5.5.2  模拟  218
5.5.3  估计  219
5.6  非线性持续期模型  224
5.7  价格变化和持续期的二元模型  225
5.8  应用  229
附录a  一些概率分布的回顾  234
附录b  危险率函数  237
附录c  对持续期模型的一些rats
程序  238
练习题  239
参考文献  241
第6章  连续时间模型及其应用  243
6.1  期权  244
6.2  一些连续时间的随机过程  244
6.2.1  维纳过程  244
6.2.2  广义维纳过程  246
6.2.3  伊藤过程  247
6.3  伊藤引理  247
6.3.1  微分回顾  247
6.3.2  随机微分  248
6.3.3  一个应用  249
6.3.4  1和?的估计  250
6.4  股票价格与对数收益率的分布  251
6.5  b-s微分方程的推导  253
6.6  b-s定价公式  254
6.6.1  风险中性世界  254
6.6.2  公式  255
6.6.3  欧式期权的下界  257
6.6.4  讨论  258
6.7  伊藤引理的扩展  261
6.8  随机积分  262
6.9  跳跃扩散模型  263
6.10  连续时间模型的估计  269
附录a  b-s  公式积分  270
附录b  标准正态概率的近似  271
练习题  271
参考文献  272
第7章  极值理论、分位数估计与风险值  274
7.1  风险值  275
7.2  风险度量制  276
7.2.1  讨论  279
7.2.2  多个头寸  279
7.2.3  预期损失  280
7.3  var  计算的计量经济方法  280
7.3.1  多个周期  283
7.3.2  在条件正态分布下的预期损失  285
7.4  分位数估计  285
7.4.1  分位数与次序统计量  285
7.4.2  分位数回归  287
7.5  极值理论  288
7.5.1  极值理论的回顾  288
7.5.2  经验估计  290
7.5.3  对股票收益率的应用  293
7.6  var  的极值方法  297
7.6.1  讨论  300
7.6.2  多期var  301
7.6.3  收益率水平  302
7.7  基于极值理论的一个新方法  302
7.7.1  统计理论  303
7.7.2  超额均值函数  305
7.7.3  极值建模的一个新方法  306
7.7.4  基于新方法的var计算  308
7.7.5  参数化的其他方法  309
7.7.6  解释变量的使用  312
7.7.7  模型检验  313
7.7.8  说明  314
7.8  极值指数  318
7.8.1  d(un)条件  319
7.8.2  极值指数的估计  321
7.8.3  平稳时间序列的风险值  323
练习题  324
参考文献  326
第8章  多元时间序列分析及其应用  328
8.1  弱平稳与交叉{相关矩阵  328
8.1.1  交叉{相关矩阵  329
8.1.2  线性相依性  330
8.1.3  样本交叉{相关矩阵  331
8.1.4  多元混成检验  335
8.2  向量自回归模型  336
8.2.1  简化形式和结构形式  337
8.2.2  var(1)模型的平稳性条件和矩  339
8.2.3  向量ar(p)模型  340
8.2.4  建立一个var(p)模型  342
8.2.5  脉冲响应函数  349
8.3  向量滑动平均模型  354
8.4  向量arma模型  357
8.5  单位根非平稳性与协整  362
8.6  协整var模型  366
8.6.1  确定性函数的具体化  368
8.6.2  最大似然估计  368
8.6.3  协整检验  369
8.6.4  协整var模型的预测  370
8.6.5  例子  370
8.7  门限协整与套利  375
8.7.1  多元门限模型  376
8.7.2  数据  377
8.7.3  估计  377
8.8  配对交易  379
8.8.1  理论框架  379
8.8.2  交易策略  380
8.8.3  简单例子  380
附录a  向量与矩阵的回顾  385
附录b  多元正态分布  389
附录c  一些sca命令  390
练习题  391
参考文献  393
第9章  主成分分析和因子模型  395
9.1  因子模型  395
9.2  宏观经济因子模型  397
9.2.1  单因子模型  397
9.2.2  多因子模型  401
9.3  基本面因子模型  403
9.3.1  barra因子模型  403
9.3.2  fama-french方法  408
9.4  主成分分析  408
9.4.1  pca理论  408
9.4.2  经验的pca  410
9.5  统计因子分析  413
9.5.1  估计  414
9.5.2  因子旋转  415
9.5.3  应用  416
9.6  渐近主成分分析  420
9.6.1  因子个数的选择  421
9.6.2  例子  422
练习题  424
参考文献  425
第10章  多元波动率模型及其应用  426
10.1  指数加权估计  427
10.2  多元garch模型  429
10.2.1  对角vec模型  430
10.2.2  bekk模型  432
10.3  重新参数化  435
10.3.1  相关系数的应用  435
10.3.2  cholesky  分解  436
10.4  二元收益率的garch模型  439
10.4.1  常相关模型  439
10.4.2  时变相关模型  442
10.4.3  动态相关模型  446
10.5  更高维的波动率模型  452
10.6  因子波动率模型  457
10.7  应用  459
10.8  多元t  分布  461
附录对估计的一些注释  462
练习题  466
参考文献  467
第11章  状态空间模型和卡尔曼滤波  469
11.1  局部趋势模型  469
11.1.1  统计推断  472
11.1.2  卡尔曼滤波  473
11.1.3  预测误差的性质  475
11.1.4  状态平滑  476
11.1.5  缺失值  480
11.1.6  初始化效应  480
11.1.7  估计  481
11.1.8  所用的s-plus命令  482
11.2  线性状态空间模型  485
11.3  模型转换  486
11.3.1  带时变系数的capm  487
11.3.2  arma模型  489
11.3.3  线性回归模型  495
11.3.4  带arma误差的线性回归模型  496
11.3.5  纯量不可观测项模型  497
11.4  卡尔曼滤波和平滑  499
11.4.1  卡尔曼滤波  499
11.4.2  状态估计误差和预测误差  501
11.4.3  状态平滑  502
11.4.4  扰动平滑  504
11.5  缺失值  506
11.6  预测  507
11.7  应用  508
练习题  515
参考文献  516
第12章  马尔可夫链蒙特卡罗方法及其应用  517
12.1  马尔可夫链模拟  517
12.2  gibbs抽样  518
12.3  贝叶斯推断  520
12.3.1  后验分布  520
12.3.2  共轭先验分布  521
12.4  其他算法  524
12.4.1  metropolis算法  524
12.4.2  metropolis-hasting算法  525
12.4.3  格子gibbs抽样  525
12.5  带时间序列误差的线性回归  526
12.6  缺失值和异常值  530
12.6.1  缺失值  531
12.6.2  异常值的识别  532
12.7  随机波动率模型  537
12.7.1  一元模型的估计  537
12.7.2  多元随机波动率模型  542
12.8  估计随机波动率模型的新方法  549
12.9  马尔可夫转换模型  556
12.10  预测  563
12.11  其他应用  564
练习题  564
参考文献  565
索引  568  

经验似然

经验似然是Owen(1988)在完全样本下提出的一种非参数统计推断方法。它有类似于bootstrap的抽样特性。

Bootstrap是重新改变统计学的一个想法。统计推断的主体总是一个的随机变量分布。在这个分布很复杂无法假设合理的参数模型时,bootstrap提供了一种非参数的推断方法,依靠的是对观测到的样本的重新抽样(resampling),其实是用empirical
distribution去近似真正的distribution。Source
Example:
你要统计你们小区里男女比例,可是你全部知道整个小区的人分别是男还是女很麻烦对吧。于是你搬了个板凳坐在小区门口,花了十五分钟去数,准备了200张小纸条,有一个男的走过去,你就拿出一个小纸条写上“M”,有一个女的过去你就写一个“S”。最后你回家以后把200张纸条放在茶几上,随机拿出其中的100张,看看几个M,几个S,你一定觉得这并不能代表整个小区对不对。然后你把这些放回到200张纸条里,再随即抽100张,再做一次统计。…………
如此反复10次或者更多次,大约就能代表你们整个小区的男女比例了。你还是觉得不准?没办法,就是因为不能知道准确的样本,所以拿Bootstrap来做模拟而已。Source
语言描述
Bootstrap是我们在对一个样本未知的情况下,从中(有放回的)重新抽样,抽样样本大小为n,那么每一次抽样都可以得到一个样本均值,不断地抽样就可以得到一个\bar{x}的分布,接下来就可以构造置信区间并做检验了。

经验似然方法与经典的或现代的统计方法相比,有很多突出的优点:

  • 构造的置信区间有域保持性,变换不变性
  • 置信域的形状由数据自行决定
  • 有Bartlett纠偏性
  • 无需构造轴统计量

解析先验概率,后验概率与似然函数
用“瓜熟蒂落”这个因果例子,从概率(probability)的角度说一下。
先验概率,就是常识、经验所透露出的“因”的概率,即瓜熟的概率。
后验概率,就是在知道“果”之后,去推测“因”的概率,也就是说,如果已经知道瓜蒂脱落,那么瓜熟的概率是多少。后验和先验的关系可以通过贝叶斯公式来求。也就是:
P(瓜熟 | 已知蒂落)=P(瓜熟)×P(蒂落 | 瓜熟)/ P(蒂落)
似然函数,是根据已知结果去推测固有性质的可能性(likelihood),是对固有性质的拟合程度,所以不能称为概率。在这里就是说,不要管什么瓜熟的概率,只care瓜熟与蒂落的关系。如果蒂落了,那么对瓜熟这一属性的拟合程度有多大。似然函数,一般写成L(瓜熟
|
已知蒂落),和后验概率非常像,区别在于似然函数把瓜熟看成一个肯定存在的属性,而后验概率把瓜熟看成一个随机变量
似然函数和条件概率的关系
似然函数就是条件概率的逆反。意为:
L(瓜熟 | 已知蒂落)= C × P(蒂落 | 瓜熟),C是常数。
具体来说,现在有1000个瓜熟了,落了800个,那条件概率是0.8。那我也可以说,这1000个瓜都熟的可能性是0.8C。注意,之所以加个常数项,是因为似然函数的具体值没有意义,只有看它的相对大小或者两个似然值的比率才有意义。
同理,如果理解上面的意义,分布就是一“串”概率。
先验分布:现在常识不但告诉我们瓜熟的概率,也说明了瓜青、瓜烂的概率。
后验分布:在知道蒂落之后,瓜青、瓜熟、瓜烂的概率都是多少
似然函数:在知道蒂落的情形下,如果以瓜青为必然属性,它的可能性是多少?如果以瓜熟为必然属性,它的可能性是多少?如果以瓜烂为必然属性,它的可能性是多少?似然函数不是分布,只是对上述三种情形下各自的可能性描述。
那么我们把这三者结合起来,就可以得到:
后验分布 正比于 先验分布 × 似然函数。
先验就是设定一种情形,似然就是看这种情形下发生的可能性,两者合起来就是后验的概率。
至于似然估计:就是不管先验和后验那一套,只看似然函数,现在蒂落了,可能有瓜青、瓜熟、瓜烂,这三种情况都有个似然值(L(瓜青):0.6、L(瓜熟):0.8、L(瓜烂):0.7),我们采用最大的那个,即瓜熟,这个时候假定瓜熟为必然属性是最有可能的。
Source

翻译 |
AI科技大本营(微信ID:rgznai100,点击查看AI科技大本营更多干货文章)

参数估计

参数估计是通过随机抽取的样本来估计总体分布的方法,又可以进一步划分为点估计和区间估计。在已知总体分布函数形式,但未知其一个或者多个参数时,借助于总体的一个样本来估计未知参数的取值就是参数的点估计。点估计的核心在于构造合适的统计量,并用这个统计量的观察值作为未知参数的近似值。

点估计的具体方法包括矩估计法和最大似然估计法。

矩估计法的思想在于用样本的 k 阶矩估计总体的 k
阶矩,其理论依据在于样本矩的函数几乎处处收敛于总体矩的相应函数,这意味着当样本的容量足够大时,几乎每次都可以根据样本参数得到相应总体参数的近似值。

相对于基于大数定律的矩估计法,最大似然估计法源于频率学派看待概率的方式。对最大似然估计的直观理解是:既然抽样得到的是已有的样本值,就可以认为取到这一组样本值的概率较大,因而在估计参数的时候就需要让已有样本值出现的可能性最大。

在最大似然估计中,似然函数被定义为样本观测值出现的概率,确定未知参数的准则是让似然函数的取值最大化,也就是微积分中求解函数最大值的问题。由于不同的样本值之间相互独立,因而似然函数可以写成若干概率质量函数
/ 概率密度函数相乘的形式,并进一步转化为对数方程求解。

矩估计法和最大似然估计法代表了两种推断总体参数的思路,但对于同一个参数,用不同的估计方法求出的估计量很可能存在差异,这就引出了如何对估计量进行评价的问题。

在实际应用中,估计量的评价通常要考虑以下三个基本标准。

  • 无偏性:估计量的数学期望等于未知参数的真实值;
  • 有效性:无偏估计量的方差尽可能小;
  • 一致性:当样本容量趋近于无穷时,估计量依概率收敛于未知参数的真实值。

以上三个要求构成了对点估计量的整体判定标准。无偏性意味着给定样本值时,根据估计量得到的估计值可能比真实值更大,也可能更小。但如果保持估计量的构造不变,而是进行多次重新抽样,每次都用新的样本计算估计值,那么这些估计值与未知参数真实值的偏差在平均意义上等于
0,这意味着不存在系统误差。

虽然估计值与真实值之间的偏差不可避免,但个体意义上的偏差越小意味着估计的性能越精确,有效性度量的正是估计量和真实值之间的偏离程度。而偏离程度不仅仅取决于估计量的构造方式,还取决于样本容量的大小,一致性考虑的就是样本容量的影响。一致性表示的是随着样本容量的增大,估计量的值将稳定在未知参数的真实值上。不具备一致性的估计量永远无法将未知参数估计得足够精确,因而是不可取的。

对估计量的判别标准涉及了估计误差的影响,这是和估计值同样重要的参量。在估计未知参数
θ的过程中,除了求出估计量,还需要估计出一个区间,并且确定这个区间包含
θ真实值的可信程度。在数理统计中,这个区间被称为置信区间,这种估计方式则被称为区间估计

置信区间可以用如下的方式直观解释:对总体反复抽样多次,每次得到容量相同的样本,则根据每一组样本值都可以确定出一个置信区间,其上界和下界是样本的两个统计量,分别代表了置信上限和置信下限。

每个置信区间都存在两种可能性:包含 θ 的真实值或不包含
θ的真实值。如果对所有置信区间中包含 θ
真实值的比率进行统计,得到的比值就是置信水平。
因此,区间估计相当于在点估计的基础上进一步提供了取值范围和误差界限,分别对应着置信区间和置信水平。

程维虎介绍了样本次序统计量及其分布、次序统计量矩的计算、次序统计量之差矩的计算,详细讲解了几种基于次序统计量的统计推断理论和方法,讨论了统计量的性质,最后给出几类特殊分布的基于样本次序统计量的总体分布的统计推断新方法。

本图书信息来源于:中国互动出版网

经验似然的推广与应用
  • 线性回归模型的统计推断(Owen,1988)
  • 广义线性模型(Kolaczyk,1994)
  • 部分线性模型(Wang&Jing,1999)
  • 非参数回归(Chen&Qin,2000)
  • 偏度抽样模型(Qin,1993)
  • 投影寻踪回归(Owen,1992)
  • 分为回归及M-泛函的统计推断(Zhang,1997)
  • 自回归模型(Chuang&Chan,2002)

近几年统计学家将经验似然方法应用到不完全数据的统计分析,发展了被估计的经验似然,调整经验似然及Bootstrap经验似然。

实践中数据通常是不完全的,主要表现是

  • 数据被随机删失
  • 数据测量有误
  • 数据missing

参与 | 刘畅

假设检验

参数估计的对象是总体的某个参数,假设检验的对象则是关于总体的某个论断,即关于总体的假设。假设检验中的假设包含原假设
H0 和备择假设 H1;检验的过程就是根据样本在 H0和 H1
之间选择一个接受的过程。

理想的情况是假设 H0(H1)
为真并且这个假设被接受。但由于检验是基于样本做出的,错误的决策终归会出现,其形式可以分为两种:
I 类错误
对应假设 H0 为真但是被拒绝的情况,也就是“弃真”类型的错误;
II 类错误
对应假设 H0 不真但是被接受的情况,也就是“取伪”类型的错误。

假设检验的思维方式建立在全称命题只能被证伪不能被证实的基础上。要证明原假设
H0 为真,更容易的方法是证明备择假设 H1
为假,因为只要能够举出一个反例就够了。但在假设检验中,反例并非绝对意义上对假设的违背,而是以小概率事件的形式出现。

在数理统计中,发生概率小于 1%
的事件被称作小概率事件,在单次实验中被认为是不可能发生的。如果在一次观测得到的样本中出现了小概率事件,那么就有理由认为这不是真正意义上的小概率事件,原始的假设也就此被推翻。如果是备择假设被推翻,就意味着接受原假设;反之,如果是原假设被推翻,则意味着拒绝原假设。

(数学与信息科学学院 刘娟芳)

什么是经验似然?

经验似然比渐近于卡方分布(Asymptotic Chi-Square)。

解析概率质量函数,概率密度函数,累积分布函数

  • 概率质量函数 (probability mass function,PMF)
    离散随机变量在各特定取值上的概率。
  • 概率密度函数(probability density
    function,PDF)是对连续随机变量定义的,本身不是概率,只有对连续随机变量的取值进行积分后才是概率。
  • 不管是什么类型的随机变量,都可以定义它的累积分布函数(cumulative
    distribution
    function,CDF)。累积分布函数能完整描述一个实数随机变量X的概率分布,是概率密度函数的积分。也就是说,CDF就是PDF的积分,PDF就是CDF的导数。公式参考这里

经验分布函数
参考博客

澳门亚洲城网址 3

格利文科定理

符号补充:
sup表示一个集合中的上确界,就是说任何属于该集合的元素都小于等于该值。但是不一定有某个元素就正好等于sup的值,只能说明该集合有上界,这是它和max的区别,一般用在无限集中比较多。相对应的下确界用inf表示。
泛函数符号:

澳门亚洲城网址 4

泛函数符号

希尔伯特空间的理解
总结:Source

(线性空间 + 范数 = 赋范空间 + 线性结构) + 内积

内积空间 + 完备性

希尔伯特空间。
解析:
从数学的本质来看,最基本的集合有两类:线性空间(有线性结构的集合)、度量空间(距离空间,有度量结构的集合)。对线性空间而言,主要研究集合的描述,直观地说就是如何清楚地告诉地别人这个集合是什么样子。为了描述清楚,就引入了基(相当于三维空间中的坐标系)的概念,所以对于一个线性空间来说,只要知道其基即可,集合中的元素只要知道其在给定基下的坐标即可。但线性空间中的元素没有“长度”(相当于三维空间中线段的长度),为了量化线性空间中的元素,所以又在线性空间引入特殊的“长度”,即范数。赋予了范数的线性空间即称为赋范线性空间。但赋范线性空间中两个元素之间没有角度的概念,为了解决该问题,所以在线性空间中又引入了内积的概念。因为有度量,所以可以在度量空间、赋范线性空间以及内积空间中引入极限,但抽象空间中的极限与实数上的极限有一个很大的不同就是,极限点可能不在原来给定的集合中,所以又引入了完备的概念,完备的内积空间就称为Hilbert空间
这几个空间之间的关系是:线性空间与度量空间是两个不同的概念,没有交集。赋范线性空间就是赋予了范数的线性空间,也是度量空间(具有线性结构的度量空间),内积空间是赋范线性空间,希尔伯特空间就是完备的内积空间。

近日,圣母大学(University of Notre
Dame)公开了一门统计学课程资源,包括:课程笔记和授课视频,课后作业(以及解决方案)以及课程信息和参考以及课程大纲。

统计和机器学习

从数理统计的角度看,监督学习算法的任务就是在假设空间中搜索能够针对特定问题做出良好预测的假设。学习器通过对测试数据集的学习得到具有普适性的模型,这个模型适用于不属于测试集的新样本的能力被称为泛化能力。显然,泛化能力越强,学习器就越好。

假设检验的作用就在于根据学习器在测试集上的性能推断其泛化能力的强弱,并确定所得结论的精确程度,可以进一步推广为比较不同学习器的性能。由于度量学习器性能的常用指标是错误率,假设检验中的假设就是对学习器的泛化错误率的推断,推断的依据就是在测试数据集上的测试错误率。具体的检验方式有很多种,在此不做赘述。

除了推断之外,对泛化性能的解释也是机器学习算法分析的重要内容。泛化误差的构成可以分为三部分:偏差、方差和噪声

偏差表示算法预测值和真实结果之间的偏离程度,刻画的是模型的欠拟合特性;方差表示数据的扰动对预测性能的影响,刻画的是模型的过拟合特性;噪声表示在当前学习任务上能够达到的最小泛化误差,刻画的是任务本身的难度。对任何实际的模型来说,偏差和方差都难以实现同时优化,反映出欠拟合与过拟合之间难以调和的矛盾。

内容主要整理摘录自王天一老师相关文章


澳门亚洲城网址 5

加入靠谱熊基地,和大家一起交流

这份资源非常丰富,但从营长以往推荐的文章和资源看,大家可真不待见“统计”这个词,从字面上看,它太无聊了,但它对很多机器学习的应用领域又是必不可少的,所以营长这次还是推荐给大家。

1.统计计算和概率统计简介

课程介绍:该部分包括课程,书籍和参考资料,目标,组织的介绍;概率统计学,概率法则,独立性,协方差,相关性等的基本原理;
和与乘的规则,边缘分布和条件分布; 随机变量,矩,离散和连续分布;
单变量高斯分布。【视频地址 课程笔记】

2.概率统计概论简介(续)

二项式分布,伯努利分布,多项式分布,泊松分布,学生T分布,拉普拉斯分布,伽玛分布,贝塔分布,帕累托分布,多元高斯和狄利克雷分布;
联合概率分布; 随机变量的变换; 中心极限定理和基本的蒙特卡罗近似法则;
概率不等式;
信息理论综述,KL散度,熵,互信息,詹森不等式。【视频地址 课程笔记】

3.信息理论,多元高斯,最大似然估计,Robbins-Monro算法

信息理论,KL散度,熵,互信息,詹森不等式(续);
中心极限定理的例子,检查数据集的高斯性质; 多元高斯,马氏距离,几何解释;
单变量和多变量的高斯连续最大似然估计;
连续最大似然估计,用于连续最大似然估计的Robbins-Monro算法。【视频地址 课程笔记】

4.用于连续最大似然的Robbins-Monro算法,维数灾难,条件和边缘高斯分布

高斯Robbins-Monro算法的连续最大似然估计(续);
回到多元高斯,马氏距离,几何解释,均值和矩,限制形式;
维数灾难,高维的多项式回归中的挑战,高维的球体和超立方体的体积/面积,高维的高斯分布;
条件和边缘高斯分布,配方法,伍德伯里矩阵求逆引理,内插无噪数据和数据插补的例子,高斯的信息形式。【视频地址 课程笔记】

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注