欢迎访问华东师范大学在职研究生招生信息网 学校地图 | 周边交通 | 周边宾馆
华东师范大学在职研究生
华东师范大学首页|开课通知|招生专业|报考指南|学校新闻|师资力量|学员风采|证书样本|网上报名
当前位置:中国在职研究生招生培训网 > 在职硕士 > 学校查找 > 华东师范大学 > 报考指南
华东师范大学在职研究生网上报名
  • 在职研究生报名咨询电话
  •  点击在线咨询

专业导航

更多>>

报考指南

更多>>

研修班统计学对数据挖掘的贡献

来源:中国在职研究生招生培训网发布时间:2014-04-22

  统计学是搜集、展示、分析及解释数据的科学。统计学不是方法的集合,而是处理数据的科学。数据挖掘的大部分核心功能的实现都以计量和统计分析方法作为支撑。这些核心功能包括:聚类、估计、预测、关联分组以及分类等。统计学、数据库和人工智能共同构成数据挖掘技术的三大支柱。

  一、统计学近40年的走势

  20世纪60年代是稳健统计盛行的时代。稳健统计开创性地解决了与理论分布假定有偏差的数据分析问题。其成果主要包括回归系数的敏感性分析;对异常值(Outliers)、高杠杆点(Leveragevalues)以及其他一些对少量污染异常敏感的回归诊断;M-估计量(M-estimator)等稳健估计量。稳健统计标志着基于正态假定的理论框架正在打破,打破框架的源动力来自于客观世界里真实的、具有复杂结构的数据。

统计学

  随着信息化水平的提高,统计与数据挖掘的应用平台渐趋统一。从数据分析到KDD,再到数据挖掘,这一过程演变的诱因同样影响着统计学和信息技术的发展。随着数据源的不断膨胀和数据结构的日益复杂,单纯依靠数据挖掘技术,已渐露力不从心之态,而统计学的同步发展,正不断充实、完善着数据挖掘技术。

  二、统计学在数据挖掘技术创新中的贡献

  数据挖掘方法主要包括决策树、关联分析、人工神经网络、遗传算法、机器学习和可视化方法等。最近几年,由于统计的加盟,使这些方法焕发出勃勃生机,为了克服GA因交叉重组导致的连锁问题,人们通过从优选的解集合中提取信息的方式代替重组操作,然后利用这种信息的分布概率产生新的解,由此实现算法的连锁学习,这种将构造性概率模型引入进化算法的思想形成概率分析进化算法(PMEA)的理论依据。此外,如何将压缩遗传算法的概念进一步扩展到其它概率模型,达到降低算法复杂性的目的;如何将问题的预先知识引进PMEA,使得算法更为快速和精确;以及PMEA中的各种参数的选择(如群体规模,选择机制和选择比例等)等等都是目前该领域的热点研究问题。

  三、统计对数据挖掘过程的贡献

  数据挖掘是一个过程,它从大量数据中抽取出有价值的信息或知识。由于不同数据挖掘技术特点和实现步骤各不相同,成功应用数据挖掘技术、达到目标的过程就是一件很复杂的系统工程。一般,数据挖掘项目要经历的过程包括:问题的理解,数据的理解、收集和准备、建立数据挖掘模型、评价所建的模型、应用所建的模型等一系列任务。数据挖掘过程的系统化、结构化和支持系统(软件或工具)对解决问题起着至关重要的作用。统计思想在数据挖掘整个系统中的各个阶段都担负着不可忽视的重任,用统计学方法开发的工具可用于数据的抽取、清洗、转换、整合等方面,统计逻辑推理还可以让数据分析员站在更高层次上进行数据的模式识别。比如,在数据挖掘中,经常面对的问题是,由于各种挖掘算法生成的规则过多,而无法对规则进行筛选、甄别和剔除,这是挖掘模型评估中的关键问题。统计方法在模型评估方面,近年来取得了许多进展,比如:基于统计检验的49er的搜索算法,这一算法用来从杂乱无章的数据中发现那些混沌关系模式。一个非线性系统可以产生许多的数据关系模式,但并不是每一个模式都是有意义的,人们从统计逻辑推理中提出一种解决从复杂关系模式中剔除混沌随机关系的49er方法。49er可以对搜索过程中的每一个假设模式用统计量度量其充分性和预测能力,如果统计量过大则归为虚模式而予以抛弃。49er较传统的神经网络方法具有较强的二维模式识别能力。

  四、数据挖掘为统计学的发展带来了机遇

  “需求乃发明之母”,包括统计学在内的许多科学中,很多方法和思想都来源于现实的需求。40年前,偏离正态的数据分析和探索性数据分析,是对传统统计理论框架的一次巨大的挑战,这次挑战使统计学在数据分析方面喜获丰收,而这次挑战更深刻的意义则在于,它使统计学信心十足地将自己定位于数据分析的科学,这样的定位就要求统计能够实时应对各种环境下数据提出的分析要求。

  我们坚信,随着统计学与现代信息技术的融合,在方法上不断进行新的探索,一定会为统计学和数据挖掘未来的发展开辟一片新的天地。

  • 相关简章
地址:上海市普陀区中山北路3663号 华东师范大学在职研究生招生信息网 报名咨询电话:010-82967841
Copyright ©2016 yanxiupeixun.com 中国在职研究生招生培训网 All Rights Reserved