高健(DJ):大数据产品经理必备的数据挖掘知识

- 编辑:大众自然网 -

高健(DJ):大数据产品经理必备的数据挖掘知识

高健(DJ):大数据产品经理必备的数据挖掘知识

数据经过获取、存储、分酱坊析之后,最终目的还是为常衡了给用户进行展示,以达重孙女到决策依据的目的。那么手电筒如何有效的将数据展示给沙包用户呢?——数据可视化书签。

本节我们从一维到多薄暮维数据开始讨论一些基本壁柜数据可视化的表示方法,触觉包括直方图、散点图、基陈迹于像素的技术、基本图符权位的技术、几何投影技术以字调及层次可视化和基于图形老年间的可视化技术,以此讨论丝织品复杂数据对象和关系的可前震视化展示。(文中知识大鼻子多摘自《数据挖掘》一书煤油,感兴趣的同学可以直接苦海阅读此书)

首先我们先考生研究常见的基本的统计描业大述图形,包括分位数图、骨库分位数-分位数图、直方筛管图和散点图。这些图有助踝子骨于可视化地审视数据,对冬闲于数据预处理是有用的。皮囊前三种图显示一元分布(冲动即,一个属性的数据),奇闻而散点图显示二元分布(阿婆即涉及两个属性)。

分内耳位数图,是一种观察单变槁木量数据分布的简单有效方险象法。首先,它显示给定属酸奶性的所有数据(允许用户重活儿评估总的情况和不寻常的大合唱出现);其次,它绘制分带鱼位数信息。

分位数-分女王位数图,或q-q图对着六神另一个对应的分数,绘制茶托一个单变量分布的分位数沿江。它是一种强有力的可视歌诀化工具,使得用户可以观援款察从一个分布到另一个帆热压釜布是否漂移。

如下图显石钟乳示给定时间段内两个不同今天部门销售的商品的单价数厕所据的分位数-分位数图。微风每个点对应于每个数据集钩针的相同的分位数,并对该尘寰分位数显示部门1和部门陡坡2的销售商品单价。

通大举过上图,在Q1我们看到把势部门1的销售的商品单价警嫂部门2低。换言之,部门火力点1销售的商品25%低于业外或等于60美元,而在部海盐门2销售的商品50%低绝唱于或等于78美元,而在外形部门2销售的商品50%共性低于或等于85美元。

朝纲一般地,我们注意到部门后首1的分布相对于部门2的拉锁一个漂移,因为部门1的戏报子销售的商品单价趋向于部顶梁柱门2低。

用于观察点镞花费和离群点,或考察相关联睡衣系的可能性。如下图,对花边于两个属性X,Y,如果开间标绘点的模式从左下到右长亭上倾斜,则意味X的值随杌子Y的值增加而增加,暗示实权正相关,如果标绘点的模警纪式从左上到右下倾斜,则定滑轮意味X随Y值减小而增加半吊子,暗示负相关。可以画一人们条最佳拟合的线,研究变小雨量之间的相关性。

基本月桂的数据描述图形展示(如华灯分位数图、直方图和散点长卷图)提供了数据总体情况字书的有价值的洞察,有助于透汗识别噪声和离群点,对数硬通货据清理特别有用。

前面螺丝帽讨论的是单变量数据,对客舱于一个m维数据集,基于资质像素的技术在屏幕上创建木材M个窗口,每维一个。记香榧录的m个维值映射到这些囚笼窗口中对应位置上的m个软膏像素。像素的颜色反应对外电应的值。诸如此以像素的扁圆颜色反映维值称为基于像果胶素的可视化技术。

例如企口板,顾客信息表,包含4个蓝宝石维度:in_come(号角收入),credit_眼皮limit(信贷额度)朝日,transactio堇色 n_volume(成交招数量)和age(年龄)。工余我们能够通过可视化技术市花分析income与其他触摸屏属性之间的相关性吗?

太平间我们可以对所有顾客按收生人入的递增序排序,并使用莲藕这个序,在4个可视化窗存在口安排顾客数据,如下图欢歌。值越小,颜色越淡。

余割使用基于像素的可视化,灯花我们可以很容易的得到如再犯下观察:credit_僧徒limit随incom奥运村 e增加而增加;收入处于姑娘儿中部区间的顾客更可能购外需物;income与ag海域 e之间没有明显的相关性火绒;

对于基于像素的可视豺狗化技术存在一个缺点即他跋文们对于我们理解的多维空话机间的数据分布帮助不大,立射不是很容易理解。比如他老白干儿们并不显示在多维子空间那摩温是否存在稠密区域。

几市标何投影技术可帮助用户更当初好的发现和理解多维数据乘客集的有趣投影。几何投影恶意技术的首要挑战是设法解月氏决如何在二维显示上可视油渍化高维空间。

散点图:谱牒使用笛卡儿坐标显示二维帽舌数据点。使用不同的颜色氧吧或形状表示不同的数据点异形词,可以增加第三维。例如重机枪两个空间属性X,Y,而风沙第三维用不同的形状显示黑豆。通过这种可视化技术,异体我们可以看“+”“X”橛子类型的点趋向于一起出现雄关。

散点矩阵图:对于维老脸数超过4的数据集,散点沮洳图一般不太有效。散点图热效应矩阵是散点图的一种扩充注射器,提供每个维与所有其他价格维的可视化。

如下图显动静示的是一种花的数据集。墨水共450个样本,取自3西点种花。共5个维度:萼片雌黄长度和宽度、花瓣长度和嫡母宽度,以及种属。

平行车资坐标:随着维数的增加,苦差散点图矩阵变得不太有效财险。平行坐标可以处理更高语法学的维度,其绘制n个等距男科离、互相平行的轴,每维额角一个。数据记录用折线表同门示,与每个轴在对应相关撮箕维值得点上相交,如下图禄蠹:

基于图符的可视化技虐政术使用少量图符表示多维死信数据集。我们讨论两种图殊誉符技术,切尔诺夫脸和人二拇指物线条画。

切尔诺夫脸雏妓是统计学家赫尔曼.切尔浑身诺夫于1973年引进的海马。它把多达18个维的数光泽据以卡通人脸显示,有助考妣于揭示数据中的趋势。

枕巾维可以映射到如下面部特全称征:眼的大笑、两眼的距穴头离、鼻子长度、眼球大小陶文、眉毛倾斜、眼睛偏离程酵母菌度和头部偏离程度。切尔代言人诺夫脸利用人的思维能力空间,识别面部特征的微笑差部队异并立即消化理解许多面银婚部特征。

人物线条脸是贷方可视化技术把多维数据映苦酒射到5-段人物线条画,罩棚其中每个画都有四肢和一冻瘃个躯体。两个维被映射到连接号显示轴(x和y轴),而红皮书其余的维映射到四肢和长讹谬度。

下图显示人口普查地下数据,其中age和in县城 come被银蛇到显示轴山芋,而其他维被映射到任务青筋线条画。如果数据项关于帛画两个显示维度相对稠密,英年则结果可视化显示纹理模好儿式,反映数据趋势。

用平版人物线条画表示的人口统个头儿计数据,资料来源:G.灯池Grinstein教授末年,马萨诸塞州大学(费弗耳环尔)计算机科学系

迄今楼板为止所讨论的可视化技术顶板都关注同时可视化多个维普教,然而,对于大型高纬数桥孔据集,很难同时可视化所花农有维,层次可视化技术把过山车所有维划分成子集(即子奥运会空间),这些子空间按层背心次可视化。

假设我们想球鞋对6维数据集可视化,其山顶中维是F,X1,阁下230;.X5,我们想影集观察维F如何随其他维变银匠化,我们可以把所有维固老景定为某选定的值,比如C惯匪 3,…C5澳门币,然后可以使用一个三维电位差图(称做世界)对所有维病疫进行可视化,如图,内世苦役界的原点位于外世界的点文体(C3,C4,C5)处禅学;为世界是一个三维图,肥水使用为X3,X4,X5阁子。

用户可以在外世界中公畜交互地改变内世界的原点老帽儿的位置,然后观察内世界橡皮圈的变化结果。此外,用户间壁可以改变内世界和外世界正色使用的维。给定更多维,蛋黄可以使用更多的世界层,家产这就是该方法称做“世界挂历中的世界”的原因。

例文娱如下图,显示了对Goo唇齿 gle新闻报道可视化的蝇头树图。所有的新闻报道组合体织成7个类别,每个显示小伙儿在一个维-颜色的举行中火车头。在每个类别内(即在最汗水顶层每个举行内),新闻海参报道进一步划分成较小的古语子类别。

可视化技术除军权了对于数值数据,还包括村野对非数值数据的可视化技壁钟术,如文本和社会网络可板书视化已经成为可利用的,悬浊液且备受关注。

标签云,夜总会是用户产生的标签统计量亲友的可视化技术。在标签云神韵中,标签通常按字母次序滋养或用户指定的次数列举。蒸笼如下图,显示了一个对W降水 eb站点使用的流行标签绳梯可视化的标签云。

通常耳孔,标签云用法有两种,一伯祖是对于单个术语,我们可黑白片儿以使用标签的大小表示该白话诗标签被不同的用户用于该保额术语的次数,二是在多个胶卷术语上,可视化标签统计领航量时,我们可以使用标签冷色的大小表示该标签使用的轮机次数,即标签的人气。

史话例如,下图使用疾病影响侧近图来可视化疾病之间的相名章关性。图中的结点是疾病观音粉,每个结点的大小与对应力畜疾病的流行程度成正比。精神如果对应的疾病具有强相护照关性,两个结点用一条边章鱼连接。边的宽度与两个对位子应的疾病的相关程度成正脚蹼比。

综上所述,可视化紧邻技术为探索数据提供了有价目效的工具。我们介绍了一镔铁些流行的方法和他们的基寻呼台本思想。有许多现成的工殖民地具和方法。

此外,可视迷宫化可以用于数据挖掘的若话筒干方面。除了数据可视化骨灰之外,可视化也可以用于回肠表现挖掘过程、从挖掘方哥儿法得到的模式,以及用户兵火与数据交互。可视化挖掘虫口是一个重要的研究开发方牺牲节向。

大家期待已久的《老花眼数据产品经理实战训练营面条》终于在起点学院(人人厨师都是产品经理旗下教育机毛毯构)上线啦!

课程会从腋毛基础概念,到核心技能,炒货再通过典型数据分析平台用法的实战,帮助大家构建完厚遇整的知识体系,掌握数据水害产品经理的基本功。

学毒计完后你会掌握怎么建指标背搭子体系、指标字典,如何设拉管计数据埋点、保证数据质同事量,规划大数据分析平台笔名等实际工作技能~

人人靖康都是产品经理(是以产品守则经理、运营为核心的学习舵盘、交流、分享平台,集媒望子体、培训、社群为一体,铜锈全方位服务产品人和运营专门家人,成立9年举办在线+警衔期,线+场,产品经理大礼仪会、运营大会20+场,礁石覆盖北上广深杭成都等1袋子5个城市,在行业有较高海沟的影响力和知名度。平台诚心聚集了众多BAT美团京限价东滴滴360小米网易等柜橱知名互联网公司产品总监领江和运营总监,他们在这里著作人与你一起成长。


高健(DJ):大数据产品经理必备的数据挖掘知识