这是笔试/面试题系列的第2篇文章
在了解何为偏态数据前,要先从正态数据说起。
正态分布正态分布是自然界中广泛存在的,我们都知道它是两头低,中间高,整个形态呈现对称钟形的一个分布,之所以叫正态分布,是因为在大量连续数据测量的情况下,我们比较希望看到这种状态,一个标准的正态分布是u(均值)=0,σ(标准差)=1。
从下图可以看出,横坐标代表随机变量X的一个取值,在均值(u=0)附近概率密度最大,越偏离均值,概率密度减小,不在(u-3σ,u+3σ)范围内的数据就属于统计学意义上的异常值了。

但是现实生活中总是会存在不是正态分布的情况,非正态分布,那就是偏态分布了,有两种,左偏(负偏态)和右偏(正偏态),可以用偏度来描述,偏度>0,则频数分布的高峰向左偏移,呈右(正)偏态分布;偏度<0,则频数分布的高峰向右偏移,呈左(负)偏态分布;|偏度|>1,呈高度偏态,0.5<|偏度|<1,呈中等偏态。

对于偏态分布的数据,我们需要做一些处理使其变换为正态分布,常用的变换方式有
对数变换:适用于相乘关系的数据、高度偏态的数据
平方根变换:适用于泊松分布(方差与均数近似相等)的数据、轻度偏态的数据
反正弦变换:适用于百分比的数据、中度偏态的数据
倒数变换1/x:适用于两端波动较大的数据
记得上上小节泰坦尼克数据分析中的fare字段吗,从偏度可以看出是一个很明显的右偏分布的数据

绘制直方图观察也是如此,这时就可以使用对数变换。

双击纵坐标,在弹出的【设置坐标轴格式】中选择对数刻度即可,比之前的右偏好多了。

1 偏态是针对正态而言的
2 描述偏态的有偏度系数这个指标
3 偏态数据通常转换为正态分布的数据,用的较多的转换方式有对数和平方根
系列文章:
数据分析都有哪些岗位?
猜你喜欢:
泰坦尼克号数据分析
深入浅出数据分析
Python实现LRFM模型分析客户价值
Python数据分析:探索性分析
@ 作者:可乐
@ 公众号/知乎专栏/头条/简书:可乐的数据分析之路
@ 个人微信:data_cola

以上就是关于如何处理偏态数据?一片冰心在玉壶什么意思全部的内容,关注我们,带您了解更多相关内容。