统计学原理

(Statistics)

第3章数据的图表展示

Hu Huaping (胡华平)

huhuaping01 at hotmail.com

经济管理学院(CEM)

第三章数据的图表展示

3.1 数据的预处理

数据清洗（data cleaning ）

数据变换（data transformation）

数据子集(data subset)

数据预处理的主要内容

数据审核：检查数据中的错误
数据筛选：找出符合条件的数据
数据排序：升序和降序；寻找数据的基本特征
数据透视：按需要汇总

数据预处理：数据审核

对于原始数据(raw data)需要进行：

完整性审核：

应调查的单位或个体是否有遗漏
所有的调查项目或变量是否填写齐全

准确性审核：

数据是否真实反映实际情况，内容是否符合实际
数据是否有错误，计算是否正确等

数据预处理：数据审核

对于二手数据(second hand data)需要进行：

适用性审核：

弄清楚数据的来源、数据的口径以及有关的背景材料
确定数据是否符合自己分析研究的需要

时效性审核：

尽可能使用最新的数据
确认是否有必要做进一步的加工整理

数据预处理：数据筛选

数据预处理：当数据中的错误不能予以纠正，或者有些数据不符合调查的要求而又无法弥补时，需要对数据进行筛选。

数据筛选的内容：

将某些不符合要求的数据或有明显错误的数据予以剔除
将符合某种特定条件的数据筛选出来，而不符合特定条件的数据予以剔除

数据预处理：数据排序

数据排序的作用：

按一定顺序将数据排列，以发现一些明显的特征或趋势，找到解决问题的线索
排序有助于对数据检查纠错，以及为重新归类或分组等提供依据
在某些场合，排序本身就是分析的目的之一
排序可借助于计算机完成

数据预处理：数据透视表

数据透视表（pivot table）的作用：

可以从复杂的数据中提取有用的信息
可以对数据表的重要信息按使用者的习惯或分析要求进行汇总和作图
形成一个符合需要的交叉表(列联表)
在利用数据透视表时，数据源表中的首行必须有列标题

数据预处理：Excel中的数据透视表

利用Excel软件创建数据透视表的主要步骤：

第1步：在Excel工作表中建立数据清单
第2步：选中数据清单中的任意单元格，并选择【数据】菜单中的【数据透视表和数据透视图】
第3步：确定数据源区域
第4步：在【向导—3步骤之3】中选择数据透视表的输出位置。然后选择【布局】
第5步：在【向导—布局】对话框中，依次将”分类变量“拖至左边的“行”区域，上边的“列”区域，将需要汇总的“变量” 拖至“数据区域”
第6步：然后单击【确定】，自动返回【向导—3步骤之3】对话框。然后单击【完成】，即可输出数据透视表

（演示）Excel数据预处理：数据准备

利用Excel进行数据准备，主要工作包括：

读取或导入其他数据格式（例如.txt或.csv格式）
删除说明性内容
数据表形式（long data VS wide data）
数值表达方式（labels VS values）
备注重要信息

（演示）导入其他数据格式：Excel操作（数据菜单）

（演示）导入其他数据格式：Excel操作（选择文件）

（演示）导入其他数据格式：Excel操作（数据引导）

（演示）删除说明性内容：Excel操作（删除前）

（演示）删除说明性内容：Excel操作（删除后）

（演示）数据表现形式：Excel操作（扁平形式）

（演示）数据表现形式：Excel操作（窄长形式）

数据清洗：Excel常用操作1

查找/替换：CTR+F

提取文本字符：

从左侧：=LEFT(text, [num_chars])
从右侧：=RIGHT(text, [num_chars])
从指定位置：=MID(text,start_num,num_chars)

正确大小写：

全部小写：=LOWER(text)
全部大写：=UPPER(text)
首字母大写：=PROPER(text)
自定义大小写：=UPPER(LEFT(A2,1)&LOWER(MID(A2,2,60)

数据清洗：Excel常用操作2

删除重复值：
合并文本内容：=[Cell 1]&[Cell 2]
清除空格：=TRIM( text )
清除非打印字符：=CLEAN( text )

（演示）Excel数据清洗：查找/替换

（演示）Excel数据清洗：提取文本字符

（演示）Excel数据清洗：自定义大小写

（演示）Excel数据清洗：删除重复值

（演示）Excel数据审核：选择区域

（演示）Excel数据审核：设定类型

（演示）Excel数据审核：设置范围

（演示）Excel数据审核：设置提示

数据清洗：清单

以调查问卷数据的清洗为例：

真实性的清洗：要确认数据来自于受访者。
完整性的清洗：主要看样本无应答，也就是一整份问卷没有应答。以及选项无应答，也就是应该应答的访题没有应答。
可用性的清洗：主要是看编码是否完成，权数是否可行，以及缺失值如何标记和处理。
错误性的清洗：主要是清洗调查环节的错误，比如样本错误、应答人错误、应答方式错误。

案例：家庭税收情况

案例说明：一项家庭税收情况调查，一共收集了样本数 \(n=73262\) 个家庭在13个变量上的基本情况。

Rows: 73,262
Columns: 13
$ id             <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, …
$ custid         <chr> "000006646_03", "000007827_01", "000008359_04", "000008…
$ sex            <fct> Male, Female, Female, Female, Male, Male, Female, Femal…
$ is_employed    <lgl> TRUE, NA, TRUE, NA, TRUE, NA, TRUE, NA, TRUE, TRUE, NA,…
$ income         <dbl> 22000, 23200, 21000, 37770, 39000, 11100, 25800, 34600,…
$ marital_status <fct> Never married, Divorced/Separated, Never married, Widow…
$ health_ins     <lgl> TRUE, TRUE, TRUE, TRUE, TRUE, TRUE, FALSE, TRUE, TRUE, …
$ housing_type   <fct> Homeowner free and clear, Rented, Homeowner with mortga…
$ recent_move    <lgl> FALSE, TRUE, FALSE, FALSE, FALSE, FALSE, FALSE, FALSE, …
$ num_vehicles   <dbl> 0, 0, 2, 1, 2, 2, 2, 2, 5, 3, 2, 2, 5, 1, 1, 2, 1, 1, 2…
$ age            <dbl> 24, 82, 31, 93, 67, 76, 26, 73, 27, 54, 61, 64, 57, 55,…
$ state_of_res   <fct> Alabama, Alabama, Alabama, Alabama, Alabama, Alabama, A…
$ gas_usage      <dbl> 210, 3, 40, 120, 3, 200, 3, 50, 3, 20, 3, 3, 2, 100, 10…

（税收案例）变量视图

（税收案例）数据视图

数据包含的样本数 \(n=73262\) ，下表展示了前500行。

（税收案例）数据清洗问题：存在混合编码（变量取值）

gas_usage变量表示用油支出，该变量在样本数据中的具体取值分布情况如下：

（税收案例）数据清洗问题：存在混合编码（编码问题）

根据“数据集说明”，我们容易发现gas_usage变量数据存在混合编码问题：

混合了数值（number）和字符（string）：

1表示包含在电子支付中；2表示包含在出租或分户中；3表示没有用油；
004-999表示用油支出数（美元）。

有缺失值：

NA表示缺失。

（税收案例）数据清洗问题：存在混合编码（处理办法）

我们需要把原来的变量gass_usage提取构建为4个新变量：gas_usage_new、gas_with_rent、 gas_with_electricity、no_gas_bill。

（税收案例）数据清洗问题：数据范围失常（年龄范围）

我们容易发现，年龄变量age存在取值为0，或大于100的情形。

（税收案例）数据清洗问题：数据范围失常（收入范围）

此外，我们还发现收入变量income存在取值小于0的情形。

上表我们仅展示了收入小于2的样本，实际上收入小于0的样本共有45个。

（税收案例）数据清洗问题：数据范围失常（处理办法）

age取值等于0，则转换为缺失值NA
income取值小于0，则转换为缺失值NA

（税收案例）数据清洗问题：存在缺失值（简单删除法）

处理缺失值最简单粗暴的办法就是直接删除行或列，但是这样也会直接去掉很多样本信息：

行删除(row delete)
列删除(column delete)

（税收案例）数据清洗问题：存在缺失值（填加标签法）

（税收案例）数据清洗问题：存在缺失值（数值替换法）

对于数值型变量的缺失值，可以给缺失值进行补值：

用均值代替
使用各种插值办法

（税收案例）数据清洗问题：R补值工具（处理前变量）

处理前数据集customer_data的变量：

 [1] "id"                   "custid"               "sex"                 
 [4] "is_employed"          "income"               "marital_status"      
 [7] "health_ins"           "housing_type"         "recent_move"         
[10] "num_vehicles"         "age"                  "state_of_res"        
[13] "gas_usage"            "gas_with_rent"        "gas_with_electricity"
[16] "no_gas_bill"          "gas_usage_new"        "age_new"             
[19] "income_new"

（税收案例）数据清洗问题：R补值工具（处理后变量）

采用R包vtreat进行自动补值后新数据集training_prepared的变量：

 [1] "custid"                     "health_ins"                
 [3] "id"                         "sex"                       
 [5] "is_employed"                "is_employed_isBAD"         
 [7] "income"                     "marital_status"            
 [9] "housing_type"               "recent_move"               
[11] "recent_move_isBAD"          "num_vehicles"              
[13] "num_vehicles_isBAD"         "age"                       
[15] "state_of_res"               "gas_usage"                 
[17] "gas_usage_isBAD"            "gas_with_rent"             
[19] "gas_with_rent_isBAD"        "gas_with_electricity"      
[21] "gas_with_electricity_isBAD" "no_gas_bill"               
[23] "no_gas_bill_isBAD"          "gas_usage_new"             
[25] "gas_usage_new_isBAD"        "age_new"                   
[27] "age_new_isBAD"              "income_new"

（税收案例）数据清洗问题：R补值工具（处理前数据缺失情况）

处理前的数据缺失情况（4个变量，前6行）：

（税收案例）数据清洗问题：R补值工具（处理后补齐数据）

补值工具处理后的数据补齐情况（前6行）：

（税收案例）数据变换

数据变换主要目的是为让数据能更适合于建模分析（modeling）。

主要变换操作包括：

中位数（median）变换
均值（mean）变换
对数化（log）变换 \(ln(X_i)\) ：
标准化（sd）变换 \(\frac{(X_i -\bar{X})}{S_{X}}\)
把连续变量转换为离散变量

（税收案例）数据变换：原始收入变量

假设我们还有51个州的收入的中位数数据集（median_income_table）：

（税收案例）数据变换：收入变量的中位数变换（变换公式）

现在我们可以，通过如下步骤进行收入的中位数变换：

把收入的州数据集（median_income_table）与前面的案例数据集（training_prepared）匹配起来
对收入进行中位数变换 \(income\_normalized =\frac{income_i}{median\_income}\) 。

（税收案例）数据变换：收入变量的中位数变换（R计算过程）

下面展示的是用R软件进行前述的匹配和计算过程：

mean_income <- round(mean(training_prepared$income, na.rm = T), 2)
sd_income <- round(sd(training_prepared$income, na.rm = T), 2)

training_prepared <- training_prepared %>%
  #rename("median_income_raw"= "median_income") %>%
  left_join(., median_income_table, by = "state_of_res") %>% #<<
  mutate(
    income_byMedian = income / median_income, #<<
    income_byMean = income / mean_income,
    income_bySd = (income - mean_income) / sd_income,
    income_byLog10 = log10(income)
  )

（税收案例）数据变换：收入变量的中位数变换（变换结果）

最终得到收入的中位数变换结果：

（税收案例）数据变换：收入变量的均值变换（变换公式）

现在我们可以，通过如下步骤进行收入的均值变换：

对收入进行中位数变换 \(income\_byMean =\frac{income_i}{\overline{income}}\) 。

（税收案例）数据变换：收入变量的均值变换（R计算过程）

下面展示的是用R计算过程：

mean_income <- round(mean(training_prepared$income, na.rm = T), 2)
sd_income <- round(sd(training_prepared$income, na.rm = T), 2)

training_prepared <- training_prepared %>%
  left_join(., median_income_table, by = "state_of_res") %>%
  mutate(
    income_byMedian = income / median_income,
    income_byMean = income / mean_income, #<<
    income_bySd = (income - mean_income) / sd_income,
    income_byLog10 = log10(income)
  )

（税收案例）数据变换：收入变量的均值变换（变换结果）

最终得到收入的均值变换结果：

（税收案例）数据变换：收入变量的标准化变换（变换公式）

现在我们可以，通过如下步骤进行收入的标准化变换：

对收入进行标准化变换 \(income\_bySd =\frac{income_i-\overline{income}}{sd\_income}\) 。

（税收案例）数据变换：收入变量的标准化变换（R计算过程）

下面展示的是用R计算过程：

mean_income <- round(mean(training_prepared$income, na.rm = T), 2)
sd_income <- round(sd(training_prepared$income, na.rm = T), 2)

training_prepared <- training_prepared %>%
  left_join(., median_income_table, by = "state_of_res") %>%
  mutate(
    income_byMedian = income / median_income,
    income_byMean = income / mean_income,
    income_bySd = (income - mean_income) / sd_income, #<<
    income_byLog10 = log10(income)
  )

（税收案例）数据变换：收入变量的标准化变换（变换结果）

最终得到收入的标准化变换结果：

（税收案例）数据变换：收入变量的对数化变换（变换公式）

现在我们可以，通过如下步骤进行收入的对数化变换：

\[ income\_byLog10 =log_{10}^{(income_i)} \]

（税收案例）数据变换：收入变量的对数化变换（R计算过程）

下面展示的是用R计算过程：

mean_income <- round(mean(training_prepared$income, na.rm = T), 2)
sd_income <- round(sd(training_prepared$income, na.rm = T), 2)

training_prepared <- training_prepared %>%
  left_join(., median_income_table, by = "state_of_res") %>%
  mutate(
    income_byMedian = income / median_income,
    income_byMean = income / mean_income,
    income_bySd = (income - mean_income) / sd_income,
    income_byLog10 = log10(income)
  ) #<<

（税收案例）数据变换：收入变量的对数化变换（变换结果）

最终得到收入的对数化变换结果：

（税收案例）数据变换：收入变换的比较（原变量）

（税收案例）数据变换：收入变换的比较（中位数变换）

（税收案例）数据变换：收入变换的比较（均值变换）

（税收案例）数据变换：收入变换的比较（标准化变换）

（税收案例）数据变换：收入变换的比较（对数化变换）

（税收案例）数据变换：批量标准化处理（编写R代码）

对于数据集的数值型变量（age,income,num_veicles,gas_usage），我们可以同时进行批量标准化变换。从而为下一步建模分析做准备。

如下是利用R软件函数scale()进行批量标准化处理的代码：

dataf <- training_prepared[, c("age", "income", "num_vehicles", "gas_usage")]

dataf_scaled <- scale(dataf, center = TRUE, scale = TRUE) #<<

（税收案例）数据变换：批量标准化处理（原数据集）

（税收案例）数据变换：批量标准化处理（批处理后数据集）

:::

（税收案例）数据变换：批量变换为分类变量（编写R代码）

我们还可以把连续变量年龄(age)，变换为分类变量(age_range和age_cat)。其中分割依据为brks <- c(0, 18, 45, 65, Inf)。

brks <- c(0, 18, 45, 65, Inf) #<<

training_prepared <- training_prepared %>%
  select(id, age) %>%
  filter(!is.na(age)) %>%
  mutate(
    age_range = cut(age,
      breaks = brks, #<<
      include.lowest = T
    ),
    age_cat = cut(age,
      breaks = brks, #<<
      include.lowest = T, labels = FALSE
    )
  )

（税收案例）数据变换：批量变换为分类变量（变换结果）

数据子集：概念

数据子集（data subset）是对数据集进行抽样（sampling）的过程，形成的数据子集一般用于后续的建模分析。

训练集（training subset）：主要用于参数估计，得到一个最终估计模型。
测试集（test subset）：主要用于对估计模型的预测准确性进行评估。

数据子集：训练集和测试集

（税收案例）数据子集：设置子集样本数量（子集样本数）

对全部数据集custom_data（样本数n=73262），我们可以生成名为gp的新列，采用[0,1]的均匀随机分布（uniform distribution），对应的R函数为runif(n)

假定我们希望数据子集的容量分别为：

训练集样本数 \(n_{train} =\) 90% X 73262 =65421个。
测试集样本数 \(n_{test} =\) 10% X 73262 =7841个。

（税收案例）数据子集：设置子集样本数量（编写R代码）

set.seed(25643)
customer_data <- customer_data %>%
  mutate(gp = round(runif(nrow(.)), 2)) #<<
pct <- 0.1

customer_test <- subset(customer_data, gp <= pct)
customer_train <- subset(customer_data, gp > pct)

n_all <- nrow(customer_data)
n_test <- nrow(customer_test)

n_train <- nrow(customer_train)

（税收案例）数据子集：比较三个数据集（全部数据集）

（税收案例）数据子集：比较三个数据集（训练数据集）

（税收案例）数据子集：比较三个数据集（测试数据集）

（税收案例）数据子集：等比例随机抽取（抽取规则）

下面我们随机抽取数据集的10%作为子集，其中要求按所在州（state_of_res）来等比例分配：

vars_sel <- c("id", "state_of_res", "age", "sex", "income")

spl_state <- customer_data %>%
  select(one_of(vars_sel)) %>%
  group_by(state_of_res) %>% #<<
  sample_frac(0.1) %>% #<<
  arrange(id)

（税收案例）数据子集：等比例随机抽取（抽取结果）

（税收案例）数据子集：等比例随机抽取（按州抽取前）

（税收案例）数据子集：等比例随机抽取（按州抽取后）

3.2 品质数据的整理与展示

分类数据的整理与图示

顺序数据的整理与图示

分类数据：整理与图示的基本过程

列出各类别
分类数据的整理与图示
制作频数分布表
用图形显示数据

分类数据：计算统计量并制表

频数(frequency) ：落在各类别中的数据个数
比例(proportion)：某一类别数据个数占全部数据个数的比值
百分比(percentage) ：将对比的基数作为100而计算的比值
比率(ratio) ：不同类别数值个数的比值

案例：饮料销售

（案例）饮料销售（案例说明）

案例：一家市场调查公司为研究不同品牌饮料的市场占有率，对随机抽取的一家超市进行了调查。

调查员在某天对50名顾客购买饮料的品牌进行了记录，如果一个顾客购买某一品牌的饮料，就将这一饮料的品牌名字记录一次。

（案例）饮料销售（原始数据）

下边就是记录的原始数据：

（案例）单变量制表：饮料类别（类别分组）

根据原始数据，我们可以整理并列出所有饮料类别：

（案例）单变量制表：饮料类别（频次表）

统计得到各饮料类别的购买人数（频次）：

（案例）单变量制表：饮料类别（频率表）

进一步统计得到各饮料类别的购买人数占比（频率）：

（案例）双变量制表：饮料类别VS性别（交叉分组）

根据原始数据，我们可以对饮料类别和性别进行交叉分组：

（案例）双变量制表：饮料类别VS性别（频次表）

统计得到交叉分组下的购买人数（频次）：

（案例）双变量制表：饮料类别VS性别（列频率表）

进一步统计得到交叉分组下购买人数占比（频率）及其列合计：

（案例）双变量制表：饮料类别VS性别（行频率表）

同时，也可统计得到交叉分组下购买人数占比（频率）及其行合计：

（案例）双变量制表：饮料类别VS性别（复合表）

最后，还可以同时统计交叉分组的人数和占比（列合计）：

分类数据：统计制图1（条形/柱状图）

条形/柱状图：用宽度相同的条形的高度或长短来表示各类别数据的图形。

各类别可以放在纵轴，称为条形图(bar Chart)
各类别也可以放在横轴，称为柱形图(column chart)

作用：主要用于反映分类数据的频数分布。

形式：单式条形图/复式条形图。

.footnote[复式条形图主要用于： - 分类变量在不同时间或不同空间上有多个取值 - 对比分类变量的取值在不同时间或不同空间上的差异或变化趋势]

（案例）饮料销售：单变量柱状图

根据饮料类型购买次数的数据表，我们可以绘制出如下柱状图：

（案例）饮料销售：单变量条形图

根据饮料类型购买次数的数据表，还可以绘制出如下条形图：

（案例）饮料销售：双变量柱状图

根据饮料类型（brand）和性别（gender）交叉分组下的购买次数表，可以绘制出如下柱状图：

（案例）饮料销售：双变量条形图

根据饮料类型（brand）和性别（gender）交叉分组下的购买次数表，可以绘制出如下条形图：

分类数据：统计制图2（饼图）

饼图（pie Chart）：也称圆形图，是用圆形及圆内扇形的角度来表示数值大小的图形。

用途：用于表示样本或总体中各组成部分所占的比例，用于研究结构性问题。

绘制要点：

样本或总体中各部分所占的频次/百分比用圆内的各个扇形角度表示。
扇形块的中心角度，进行极坐标变换（按各部分数据占比乘以3600确定）。
排列顺序、标签值显示。

（案例）饮料销售：绘制饼图（次数饼图1）

根据分配数据表，我们可以绘制出如下次数饼图：

（案例）饮料销售：绘制饼图（次数饼图2）

可以进一步调整次数饼图的图例和标签数值显示：

（案例）饮料销售：绘制饼图（占比）

可以进一步调整占比饼图的图例和标签数值显示：

（案例）饮料销售：绘制饼图（占比2）

根据分配数据表，我们可以绘制出如下次数饼图：

顺序数据：统计量和图表

对于顺序型分组（上小下大）数据，主要的统计指标包括：

累积频数（cumulative frequencies）：各类别频数的逐级累加。
累积频率（cumulative percentages）：各类别频率(百分比)的逐级累加。

对于以上累积统计指标，又分别包括：

较小制累积（频数/频率）：又称为向上累积或以下累积，本组及以下次数/频率的逐级累加。
较大制累积（频数/频率）：又称为向下累积或以上累积，本组及以上次数/频率的逐级累加。

制表和绘图分别有：

累积频数/频率表等
累积频数/频率图、环形图等

（案例）住房满意度：案例数据（案例说明）

在一项城市住房满意度问题的研究中，研究人员在甲城市抽样调查300家庭户，其中的一个问题是：

您对您家庭目前的住房状况是否满意？

1.非常不满意；2.不满意；3.一般；4.满意；5.非常满意

（案例）住房满意度：案例数据（案例数据表）

下边就是收集到的不同满意度评价水平的频次和频率数据表：

（案例）住房满意度：计算及制表（较小制累积表）

我们可以计算得到较小制下的累积频次和频率，并制表：

（案例）住房满意度：计算及制表（较大制累积表）

我们也可以计算得到较大制下的累积频次和频率，并制表：

（案例）住房满意度：计算及制表（较小制和较大制对比）

我们可以对比观测较小制和较大制下的累积频次和频率：

（案例）住房满意度：绘图（较小制累积频次图）

（案例）住房满意度：绘图（较小制累积频率图）

（案例）住房满意度：绘图（较大制累积频次图）

（案例）住房满意度：绘图（较大制累积频率图）

（案例）住房满意度：绘制环形图

环形图(doughnut chart)：环形图中间有一个“空洞”，样本或总体中的每一部分数据用环中的一段表示。

用途：用于结构比较研究；用于展示分类和顺序数据。

与饼图的联系与区别：

饼图只能显示一个总体各部分所占的比例。
环形图则可以同时绘制多个样本或总体的数据系列，每一个样本或总体的数据系列为一个环。

（案例）住房满意度：绘制环形图（补充案例数据）

案例说明：继续前述甲城市满意度的研究，为了综合比较城市家庭满意度。研究者继续收集并获得了乙城市家庭的满意度评价数据。甲乙两个城市的家庭住户满意度数据如下表所示：

（案例）住房满意度：绘制环形图（甲城市）

（案例）住房满意度：绘制环形图（乙城市）

（案例）住房满意度：绘制环形图（两个城市）

3.3 数值型数据的整理与展示

数据分组的图表展示

数据未分组的图表展示

统计报表的设计

数据分组：概念和作用

数据分组：把同质总体中的具有不同特点的单位分开，从而正确地认识事物的本质及其规律性。

数据分组的作用：

类型分组：揭露社会经济现象的类型，反映各类型的特点。
结构分组：说明社会经济现象的内部结构。
分析分组：研究经济现象之间的依存关系。

数据分组：选择分组标志

选择分组标志的原则：

科学性
完备性
互斥性

选择分组标志的方法：

根据研究问题的目的来选择。
要选择最能反映被研究现象本质特征的标志。
要结合现象所处的具体历史条件或经济条件来选择。

数据分组：数据分组类型

A.按分组标志的特征分：

品质标志分组：反映事物属性差异
简单分组：如人口按性别分组。
复杂分组：如人口按职业分组。
数量标志分组：反映事物数量差异
单项式数量分组：运用于变量变动幅度小、项目少的分组。
组距式分组：运用于变量变动幅度大、项目多的分组。

B.按总体所选择标志的个数分：

单一分组：按一个标志对总体进行分组。
复合分组：按两个或两个以上标志对同一总体进行分组。

（示例）数据分组类型：按标志特征分组（品质-简单分组）

（示例）数据分组类型：按标志特征分组（品质-复杂分组）

（示例）数据分组类型：按标志特征分组（数量-单项式分组）

（示例）数据分组类型：按标志特征分组（数量-组距式分组）

（示例）数据分组类型：按标志个数分组（单一分组）1/3

（示例）数据分组类型：按标志个数分组（单一分组）2/3

（示例）数据分组类型：按标志个数分组（单一分组）3/3

（示例）数据分组类型：按标志个数分组（复合分组）

分配数列：概念和类型

分配数列：统计总体按照某一标志分组以后，用以反映总体各单位分配情况的统计数列，称为分配数列，又可称次数分配或次数分布。

品质型分配数列。

数值型分配数列。根据分组情况，具体又分为：

单项变量数列：按每个变量值分别列组编制数列。适用于不连续变量或变量能以整数表示，其变动范围不大时。
组距变量数列：按组距分组编制数列。适用于连续变量或变量可用小数表示，其变动范围。

（示例）分配数列的类型：数值型分配数列（单项式）

（示例）分配数列的类型：数值型分配数列（组距式）

组距式数据分组：类型

根据分组是否开口以及是否等距，组距式分配数列可以分为如下类型：

按两端组是否开口分：

开口式分组：最小组与最大组不封口。
闭口式分组：所有组都有明确上限和下限。

按组距是否为等距分：

等距式分组：所有分组的组距全部相等。
异距式分组：各个分组组距不是完全相等。

（示例）组距式分配数列的类型（闭口-等距）

（示例）组距式分配数列的类型（开口-异距）

组距式数据分组：重要概念

关于组距式分配数列，我们需要掌握如下重要概念：

重要概念

组数（bins）：数据分组的总组数。

组限（limits）：组距两端的数值。分为上限和下限。

下限(lower limit) ：一个组的最小值。
上限(upper limit) ：一个组的最大值。

组距（width） ：某组的上限与下限之差。

组中值(class midpoint) ：某组的下限与上限之间的中点值

全距（range）：整个分组数列中，最大组上限与最小组下限之差。

最大组/最小组：整个分组数列中，分组标志数值最大/最小的那一组。

组距式数据分组：分组步骤

分组步骤

组距式数据分组的主要步骤包括：

（1）确定组数：组数的确定应以能够显示数据的分布特征和规律为目的。

在实际分组时，组数一般为 \(5\leq K \leq 15\) 。

（2）确定组距：组距是一个组的上限与下限之差，可根据全部数据的最大值和最小值及所分的组数来确定。

例如， \(组距＝\frac{(最大值 - 最小值)}{组数}\)

（3）确定组限。对于连续变量分组，各组之间的组限也要连续。对于不连续变量分组，组与组之间的组限往往是间断的。此外，在同一个组距数列中，组限标准保持一致。

（4）统计出各组的频数并整理成频数分布表。在登记次数时，应遵守：

上组限不在内：适用于越大越好的变量，如产值。
下组限不在内：适用于越小越好的变量，如成本。

组距式数据分组：组中值的计算

组中值的计算，需要考虑分组是否开口：

闭口式分组的组中值求法：

\[ \begin{align} \text{组中值} = \frac{\text{组上限}+\text{组下限}}{2} &= 组下限 + \frac{\text{组上限}-\text{组下限}}{2} \\ &= 组上限 - \frac{\text{组上限}-\text{组下限}}{2} \end{align} \]

开口式分组的组中值求法：

\[ \begin{align} \text{下开口组的组中值} &= 组上限 - \frac{\text{邻组组距}}{2}\\ \text{上开口组的组中值} &= 组下限 + \frac{\text{邻组组距}}{2} \end{align} \]

（案例）学生考试成绩：原始数据

案例说明：某班级共有40名学生，在《统计学原理》课程考试中成绩如下：

s01 s02 s03 s04 s05 s06 s07 s08 s09 s10 s11 s12 s13 s14 s15 s16 s17 s18 s19 s20 
 63  88  72  69  80  80  61  68  79  81  76  76  77  78  90  89  61  84  92  67 
s21 s22 s23 s24 s25 s26 s27 s28 s29 s30 s31 s32 s33 s34 s35 s36 s37 s38 s39 s40 
 65  57  62  60  66  87  80  92  78  86  71  71  63  74  67  70  91  64  79  65

（案例）学生考试成绩：组距式分组操作1

假定采用等距-闭口分组方法，且设定分组数量为5，组距为10。

利用原始数据，进行分组得到如下结果：

（案例）学生考试成绩：组距式分组操作2

以前述考试成绩案例分组数据为例，相关概念包括（见下表）：

组数（bins）为5
组距（width） 为10
全距（range）为50（注意原始数据的全距）
最小组和最大组分别为第1组和第5组
下限、上限、组距和组中值分别见右表

分组数据表：

组距式数据分组：异矩情形

在异矩分组下，我们需要进一步计算各组的组密度以及标准组距分布：

\[ \begin{align} \text{次数密度} &= \frac{\text{各组次数}}{各组组距}\\ \text{频率密度} &= \frac{\text{各组频率}}{各组组距} \end{align} \]

\[ \begin{align} \text{标准组距次数分布} &= \frac{\text{各组次数}}{标准化组距}\\ \text{标准组距频率分布} &= \frac{\text{各组频率}}{标准化组距} \end{align} \]

（案例）学生考试成绩：异矩分组情形

继续前述考试成绩案例，如果分组时不小心处理成了如下异矩分组：

（案例）学生考试成绩：异矩分组统计量

在异矩分组情形下，频次密度和标准组距频次计算如下：

数据分组：统计制表（制表类型A）

对分组数据进行统计制表，也即用统计表来表示次数/频率等统计量在各组的分布情况，主要包括。

频数表/百分数表（已经展示，见前面slide）

数据分组：统计制表（制表类型B）

累计次数表/累计百分数表。复习之前的定义，具体为：

较小制累计（以下累计、向上累计）：即（上限）以下累计次数，每一组的累计次数表示小于该组上限（变量）值的次数/频率共有多少。
较大制累计（以上累计、向下累计）：即（下限）以上累计次数：每一组的累计次数表示大于该组下限（变量）值的次数/频率共有多少。

数据分组：统计制表（制表类型C）

交叉分析表，又称为交叉列联表（cross-table），是对复合式分组数列的频数或频率统计，便于对两个或多个分组标志（分组变量）关系的直接观察。

数据交叉形式可以是：

品质变量VS品质变量
品质变量VS数值变量（较少用*）
数值变量VS数值变量（较少用*）

（案例）学生考试成绩：累积次数/频率表（较小制累积表）

对于等距式分组情形，我们可以分别计算出较小/较大累计次数/频率：

我们可以计算得到较小制下的累积频次和频率，并制表：

（案例）学生考试成绩：累积次数/频率表（较大制累积表）

我们也可以计算得到较大制下的累积频次和频率，并制表：

（案例）学生考试成绩：较小制和较大制对比

我们可以对比观测较小制和较大制下的累积频次和频率：

（案例）学生考试成绩：等距分组的交叉分析表1

对于前述学生考试成绩案例，研究者还收集了40名学生的性别信息（见下表）。

（案例）学生考试成绩：等距分组的交叉分析表2

此时，可以根据需要绘制出性别变量与成绩分组的交叉分析表（列联表）：

数据分组：统计制图

分组数列的图示方法，也即用统计图形来表示频数/频率在各组的分布情况，主要包括的图形类型有：

条形/柱状图[已讲，见前面slide]
折线图（line chart）
累积频次/频率图（cumulative chart）

（案例）学生考试成绩：绘制柱状图

（案例）学生考试成绩：绘制折线图

（案例）学生考试成绩：较小累积频次图

（案例）学生考试成绩：较小累积频率图

（案例）学生考试成绩：较大累积频次图

（案例）学生考试成绩：较大累积频率图

数据未分组：统计制图1（茎叶图）

茎叶图（stem and leaf diagrams）：用于显示未分组的原始数据的分布。由“茎”和“叶”两部分构成，其图形是由数字组成的，以该组数据的高位数值作树茎，低位数字作树叶，树叶上只保留最后一位数字。

茎叶图与横直方图的区别*：

直方图可观察一组数据的分布状况，但没有给出具体的数值。
茎叶图既能给出数据的分布状况，又能给出每一个原始数值，保留了原始数据的信息。
直方图适用于大批量数据，茎叶图适用于小批量数据。

.footnote[注释：* 茎叶图曾经的优势（简单、可手工绘制）在今天这个计算机时代也显得并不突出，因此，除非特殊情况，建议主要使用直方图作为密度函数估计工具。see link]

（案例）学生考试成绩：绘制茎叶图（原始成绩单）

继续考虑之前的学生考试成绩案例。40名学生课程考试成绩如下：

s01 s02 s03 s04 s05 s06 s07 s08 s09 s10 s11 s12 s13 s14 s15 s16 s17 s18 s19 s20 
 63  88  72  69  80  80  61  68  79  81  76  76  77  78  90  89  61  84  92  67 
s21 s22 s23 s24 s25 s26 s27 s28 s29 s30 s31 s32 s33 s34 s35 s36 s37 s38 s39 s40 
 65  57  62  60  66  87  80  92  78  86  71  71  63  74  67  70  91  64  79  65

（案例）学生考试成绩：绘制茎叶图（按成绩排序）

我们先按成绩由低到高进行排序：

s22 s24 s07 s17 s23 s01 s33 s38 s21 s40 s25 s20 s35 s08 s04 s36 s31 s32 s03 s34 
 57  60  61  61  62  63  63  64  65  65  66  67  67  68  69  70  71  71  72  74 
s11 s12 s13 s14 s29 s09 s39 s05 s06 s27 s10 s18 s30 s26 s02 s16 s15 s37 s19 s28 
 76  76  77  78  78  79  79  80  80  80  81  84  86  87  88  89  90  91  92  92

（案例）学生考试成绩：绘制茎叶图（茎叶图）


  The decimal point is 1 digit(s) to the right of the |

  5 | 7
  6 | 01123345567789
  7 | 011246678899
  8 | 000146789
  9 | 0122

数据未分组：统计制图2（箱线图）

箱线图（box plot）：用于显示未分组的原始数据的分布。由一组数据的5个特征值绘制而成，它由一个箱子和两条线段组成。箱线图也被称为Median/Quartile/Range箱线图。

绘制方法：

首先找出一组数据的5个特征值，即最大值（Max）、最小值（Min）、中位数 \(M_e\) 和两个四分位数（下四分位数 \(Q_L\) 和上四分位数\(Q_U\) ）。
连接两个四分位数画出箱子，再将两个极值点与箱子相连接。

图形分类：

单一箱线图
多批箱线图

（案例）学生考试成绩：绘制单一箱线图（原始成绩单）

继续考虑之前的学生考试成绩案例。40名学生课程考试成绩如下：

s01 s02 s03 s04 s05 s06 s07 s08 s09 s10 s11 s12 s13 s14 s15 s16 s17 s18 s19 s20 
 63  88  72  69  80  80  61  68  79  81  76  76  77  78  90  89  61  84  92  67 
s21 s22 s23 s24 s25 s26 s27 s28 s29 s30 s31 s32 s33 s34 s35 s36 s37 s38 s39 s40 
 65  57  62  60  66  87  80  92  78  86  71  71  63  74  67  70  91  64  79  65

（案例）学生考试成绩：绘制单一箱线图（计算统计量）

我们可以先计算出箱线图的五个制表：

中位数 \(median = 75\)
极大值 \(median = 92\)
极小值 \(median = 57\)
四分之一位数 \(median = 65.75\)
四分之三位数 \(median = 80.25\)

（案例）学生考试成绩：绘制单一箱线图（箱线图）

（案例）学生考试成绩：绘制多批箱线图（原始成绩单）

同时考虑学生性别和考试成绩。40名学生课程考试信息如下：

（案例）学生考试成绩：绘制多批箱线图（计算统计量）

我们可以根据性别分组，分别计算出箱线图的五个指标：

（案例）学生考试成绩：绘制多批箱线图（多批箱线图）

数据未分组：统计制图3（直方图）

直方图（histogram）：用于展示分组数据分布的一种图形，用矩形的宽度和高度来表示频数分布。

本质上是用矩形的面积来表示频数分布。
在直角坐标中，用横轴表示数据分组，纵轴表示频数或频率，各组与相应的频数就形成了一个矩形。

直方图与柱状图的区别：

柱状图是用柱形的高度表示各类别频数的多少，其宽度（表示类别）则是固定的。
直方图是用面积表示各组频数的多少，矩形的高度表示每一组的频数或百分比，宽度则表示各组的组距，其高度与宽度均有意义。
直方图的各矩形通常是连续排列，柱状图则是分开排列。
柱状图主要用于展示分类/分组数据，直方图则主要用于展示数值型数据。

（示例）数据未分组的制图：直方图（案例说明）

案例说明：某个学院共有2000名学生参加《统计学原理》课程考试，考试成绩和性别信息如下：

（示例）数据未分组的制图：直方图（数据概览）

我们再按性别分两类样本数据来看成绩情况：

（示例）数据未分组的制图：直方图（全体直方图）

（示例）数据未分组的制图：直方图（分组直方图）

数据未分组：统计制图4（线图）

线图(line plot)：主要用于表示时间序列数据趋势的图形。

绘制要点：

时间一般绘在横轴，数据绘在纵轴。
图形的长宽比例大致为10:7。
一般情况下，纵轴数据下端应从“0”开始，以便于比较。数据与“0”之间的间距过大时，可以采取折断的符号将纵轴折断。

（案例）全球新冠疫情：数据说明

案例说明：研究人员收集了8个国家（US、France、Norway、Switzerland、United Kingdom、Germany、Italy、Spain），共3260条新冠疫情数据（见下表）。

（案例）全球新冠疫情：死亡率线图

为了比较各国新冠死亡率的变化趋势，绘制得到如下线图：

数据未分组：统计制图5（散点图）

散点图（Scatter plots）：展示两个变量之间的关系。

绘制要点：

用横轴代表变量 \(X_i\) ，纵轴代表变量 \(Y_i\) ，
每组数据 \((X_i, Y_i)\) 在坐标系中用一个点表示，
\(n\) 组数据在坐标系中形成的 \(n\) 个点称为散点，由坐标及其散点形成的二维数据图。

（案例）汽车油耗：绘制散点图（数据表）

案例说明：研究人员希望了解汽车油耗的情况，收集了汽车车重、轴距、气缸数量等的数据信息（见下表）：

（案例）汽车油耗：绘制散点图（散点图1）

（案例）汽车油耗：绘制散点图（散点图2）

数据未分组：统计制图6（气泡图）

气泡图（bubble chart）：显示三个变量之间的关系，图中数据点的大小依赖于第三个变量。

绘制要点：

选择合适的变量：

X轴和Y轴变量应具有相关性
气泡大小变量应能反映数据点的重要程度

气泡大小设置：

气泡面积（而非直径）应与数据成正比
气泡大小范围要适中，避免过大遮挡或过小难辨识

视觉呈现优化：

适当调整气泡透明度，避免重叠遮挡
考虑添加气泡颜色维度，可表达第四个变量

（案例）人均寿命：绘制气泡图（数据表）

案例说明：下表给出了各个地区在2007年的人均寿命、人均GDP等数据。

（案例）人均寿命：绘制气泡图（气泡图）

数据未分组：统计制图7（雷达图）

雷达图（radar chart）：也称为蜘蛛图（spider chart），显示多个变量的图示方法。

用途：

在显示或对比各变量的数值总和时十分有用。
假定各变量的取值具有相同的正负号，总的绝对值与图形所围成的区域成正比。
可用于研究多个样本之间的相似程度。

（案例）领域发展评估：绘制雷达图（数据表）

案例说明：下表给出了三个学生在不同领域发展的评分结果。

（案例）领域发展评估：绘制雷达图（雷达图1）

（案例）领域发展评估：绘制雷达图（雷达图2）

数据分布形态：概述

典型分布形态：

正态分布，也称正态曲线
偏态分布，或称偏态曲线

其他分布形态：

U型分布
双峰分布
J型分布
反J型分布

数据分布形态：偏度系数

偏度（Skewness）系数：分布形态的一个重要衡量标准就是分布偏度。一组数据分布偏度的计算是复杂的，但使用统计软件可以很容易的计算出偏度系数。偏度系数 \(SK\) 的理论计算公式如下：

\[ \begin{align} SK = \frac{n}{(n-1)(n-2)} \sum_1^n{\left(\frac{X_i-\bar{X}}{S_X}\right)^3} \end{align} \]

其中： \(n\) 表示样本数； \(S_X\) 表示样本标准差 \(S_X =\sqrt{\frac{\sum_1^n{(X_i- \bar{X})^2}}{n-1}}\) 。

数据分布形态：偏度系数

若偏度系数 \(SK = 0\) ，则数据分布是对称的（无偏的），此时均值和中位数相等，也即： \(\bar{X} = M_e\) 。
若偏度系数 \(SK < 0\) ，则数据分布是非对称的（左偏的），此时均值小于中位数，也即： \(\bar{X} < M_e\) 。
若偏度系数 \(SK > 0\) ，则数据分布是非对称的（左偏的），此时均值大于中位数，也即： \(\bar{X} > M_e\) 。

（示例）数据分布形态：常见形态（对称分布）

（示例）数据分布形态：常见形态（右偏分布）

（示例）数据分布形态：常见形态（左偏分布）

（示例）数据分布形态：其他形态（U型分布和J型分布）

（示例）数据分布形态：其他形态（M型分布和反J型分布）

数据分布形态：峰度系数

峰度（Kurtosis）系数：峰度刻画数据分布的拖尾长度和集中度。峰度系数 \(KT\) 的理论计算公式如下：

\[ \begin{align} KT = \frac{n(n+1)}{(n-1)(n-2)(n-3)} \frac{\sum_{i=1}^n{(X_i-\bar{X})^4}}{S_X^4} - \frac{3(n-1)^2}{(n-2)(n-3)} \end{align} \]

其中： \(n\) 表示样本数； \(S_X\) 表示样本标准差 \(S_X =\sqrt{\frac{\sum_1^n{(X_i- \bar{X})^2}}{n-1}}\) 。

若峰度系数 \(KT = 0\) ，则数据分布是常峰态的。
若峰度系数 \(KT < 0\) ，则数据分布是低峰态的。
若峰度系数 \(KT > 0\) ，则数据分布是尖峰态的。

（示例）数据分布形态：不同的峰态形状

统计制表：结构

统计表的结构与内容一般为：

从形式上看：统计表由总标题、横行标题、纵栏标题、指标数值构成。

从内容上看：统计表由主词和宾词两部分构成。

主词：说明总体或总体的分组。
宾词：用哪些指标数值来说明总体或总体的分组。

（示例）统计指标的形式和规范

统计制表：特点

统计表的特点

开口式
上下有基线
编号：主词一般按A、B、C…，宾词按1、2、3…
有计量单位
表中不允许有空格：若不需要此资料则用“-”;暂缺某资料则用“……”

待完成：提供示例数据，介绍统计制表类型及技术。

统计制表：设计准则

统计表的一般设计准则包括：

合理安排统计表的结构
总标题内容应满足3W要求
数据计量单位相同时，可放在表的右上角标明，不同时应放在每个变量后或单列出一列标明
表中的上下两条横线一般用粗线，其他线用细线
通常情况下，统计表的左右两边不封口
表中的数据一般是右对齐，有小数点时应以小数点对齐，而且小数点的位数应统一
对于没有数字的表格单元，一般用“—”表示
必要时可在表的下方加上注释

3.4 合理使用图表

图表体系和要素

鉴别图形优劣的准则

制图体系：绘图区 panel（画布区）

制图体系：绘图区 panel（绘图区）

制图体系：绘图区 panel（主网格）

制图体系：绘图区 panel（次网格）

制图体系：坐标轴1 axis（下横轴X）

制图体系：坐标轴1 axis（上横轴X）

制图体系：坐标轴1 axis（左纵轴Y）

制图体系：坐标轴1 axis（右纵轴Y）

制图体系：坐标轴2 axis（轴主标记）

制图体系：坐标轴2 axis（轴次标记）

制图体系：坐标轴2 axis（轴标签值1）

制图体系：坐标轴2 axis（轴标签值2）

制图体系：坐标轴3 axis（横标题）

制图体系：坐标轴3 axis（左纵轴标题）

制图体系：坐标轴3 axis（右纵轴标题）

制图体系：图形类型 geom_xx（点图1）

制图体系：图形类型 geom_xx（点图2）

制图体系：图形类型 geom_xx（线图1）

制图体系：图形类型 geom_xx（线图2）

制图体系：变量数值 data value

制图体系：图例 legend（图例靠右）

制图体系：图例 legend（图例靠下）

制图体系：图注/footnote

制图体系：图题/caption

制表体系

表格要素包括：表序号（numbering）、表题（title）、表头（header）、主体（body）和表注（footer）等部分构成。

Sepal.Lengtha	Sepal.Widthb	Petal.Lengthc	Petal.Width	Species
5.1	3.5	1.4	0.2	setosa
4.9	3.0	1.4	0.2	setosa
4.7	3.2	1.3	0.2	setosa
4.6	3.1	1.5	0.2	setosa
5.0	3.6	1.4	0.2	setosa
5.4	3.9	1.7	0.4	setosa
aThis is footnote one; bThis is footnote two; cThis is footnote three;