数据挖掘简述

2018/3/7 9:55:02 人评论 次浏览 分类:大数据

1.TASKS

      PREDICTION and DESCRIPTION 

2.COMMON METHODS

      CLASSIFACATION ; CLUSTEERING ; SEQUENTIAL PATTERN DISCOVERY ; REGRESSION ; ASSOCIATION RULE DISCOVERY ; DEVIATION DETECTION

【分类;聚类;相关性;

序列分析:用随机过程理论和数理统计学方法,研究随机数据序列所遵从的统计规律,以用于解决实际问题。由于在多数问题中,随机数据是依时间先后排成序列的,故称为时间序列分析;  

回归;异常值检测】

3.A GENERAL PROCEDURE

specify the problems to deal with——input——pre-processing——other treating process(feature-based) like sampling and grouping——modling——output——assessment(ex:处理过拟合,training set)

【1.明确问题:明确是分类or聚类问题(有training set则是分类问题)

2.搜集数据

3.预处理:包括可信度、数据集成、冗余删除、处理冲突值、数据采样、数据清理、缺失值处理、噪声处理

(工具:pig,hive,spark  ; 可用编程语言:python,sas,matlab,scala,java)

4.特征分析,比如是否进行分组和分群处理

5.建立模型

6.输出模型结果

7.评估模型】

4.REFERENCES

  • BOOK(相关书籍):

1.集体智慧编程(programming colletive intelligence)

2.写给程序员的数据挖掘指南

3.数学之美

4.introduction to data mining

5.data mining:concepts and techniques

  • MOOCs(慕课):

Andrew NG(machine learning) ; maching learning foundations;

  • DOCs(文档):

统计学习方法 ;机器学习实战;scikit-learn文档

PRACTICE(数据挖掘比赛):

Kaggle;SIGKDD

  • DEEP LEARNING(深度学习):

The elenents of statistical learing ;Pattern recognition and machine learning

 

 

相关知识

  • SparkStreaming与Kafka整合遇到的问题及解决方案

    前言 最近工作中是做日志分析的平台,采用了sparkstreaming+kafka,采用kafka主要是看中了它对大数据量处理的高性能,处理日志类应用再好不过了,采用了sparkstreaming的流处理框架 主要是考虑到它本身是基于spark核心的,以后的批处理可以一站式服务,并且可以提供准实时服…

    2017/7/20 11:45:03
  • spark极简入门

    1.windows上下载安装sbt 去sbt官网下载 sbt包,解压到指定目录,不需要安装。记得配置环境变量。 新建 SBT_HOME ,值是sbt包的解压路径,比如C:\Users\***\Tools\sbt-0.13.15\sbt(建议不要放在C盘) 并在path 中添加 %SBT_HOME%\bin 查看是否成功,命令行输入: sbt sbtVer…

    2017/7/20 11:45:03
  • Redis精华

    Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的,也就是说无论你的持久化策略选择的是什么,只要用到了redis的复制功能,就一定会有内存快照发生,那么首先要注意你的系统内存容量规划,原因可以参考我上一篇文章中提到的Redis磁盘IO问题。R…

    2017/7/20 11:45:03
  • 快速搭建 ELK + OpenWAF 环境

    摘要: OpenWAF是第一个全方位开源的Web应用防护系统; ELK 是比较火的开源日志分析系统; 本节主要介绍,ELK 的 docker 部署及与 OpenWAF 的结合 OpenWAF简介 OpenWAF是第一个全方位开源的Web应用防护系统(WAF),他基于nginx_lua API分析HTTP请求信息。OpenWAF由行为分析引擎…

    2017/7/20 11:45:03

共有访客发表了评论 网友评论

验证码: 看不清楚?