002数据科学

描述性统计

位置

均值 截尾均值 中位数

变异

sd MAD（中位数绝对偏差） IQR （75%-25%） range

分布

密度图 箱线图 小提琴图 直方图

相关性

robust:covRob 更稳健

频数统计表

summary函数

psych::describe(mtcars)
psych::describeBy(mtcars, group = mtcars$cyl)
 
table1::table1(~ ., data = mtcars) #医学
#install.packages("gtsummary",type="binary")
library(gtsummary)
mtcars %>% 
    select(mpg, cyl, hp) %>% 
    tbl_summary(by = cyl)

数理统计基础

1. 正态性检验
   1. pearson 卡方检验：假设总体分布预期分批与实际频率的比较 chisq.test()
   2. QQ图
   3. k-S 拟合优度检验 ：累积分布
   4. shapiro-wilk检验

nordata <- rnorm(500, mean=2, sd=5)
car::qqPlot(nordata)
ks.test(x=nordata,"pnorm")

#多元正态检验
#install.packages("MVN")
library(MVN)
result <- mvn(data = iris[,1:4], mvnTest = "mardia")
result$multivariateNormality
result <- mvn(data = iris[,1:4], multivariatePlot = "qq")

相关性

cor(iris[,2:4])
res <- psych::corr.test(iris[,2:4]) 
Hmisc::rcorr(iris[,2:4] %>% as.matrix()) %>% broom::tidy()
library(pheatmap)
cor_matrix <- cor(mtcars, method = "pearson")
pheatmap(cor_matrix)
 
 
# 使用mtcars数据
x <- mtcars$mpg
y <- mtcars$wt
 
# Spearman检验
cor.test(x, y, method = "spearman")
 
# Kendall检验
cor.test(x, y, method = "kendall")
 

如图：长尾 表示极端值很大，大于理论值 是否长尾呢

虽然相关性很高，但是不一定技术重复好，95%下在下面

对于实验组和对照组的
𝑌
Y 数据，检验是否符合正态分布时，应该 单独检验 每个组的数据，而不是合并检验。理由如下：

1. 正态分布假设的独立性
   正态性检验是为了确认数据是否遵循正态分布的假设。每个组的数据（实验组和对照组）是独立的，因此需要分别对每个组的样本数据进行正态性检验。
   合并两组数据进行正态性检验可能会掩盖每个组内部的数据分布特点，因为两个不同组的分布可能不同，即使两个组的整体数据合并后接近正态分布，也不能说明每个组的数据都符合正态分布。

3

1. 分层抽样
   1. 按照比例
   2. 按照标准差
2. 聚类抽样
3. bootstrap抽样
4. 蒙特卡洛抽样

kappa函数
灵敏度 TP/TP+FN
特异性 TN/TN+FP
精度： TP/TP+FP

分层抽样没有考虑本身比例不平衡度问题

5读取 查看维度 描述总结
分布 PLOT

回归
聚类
树
神经网络ann
深度学习AL
集成学习AL

我们平时能够知道样本的平均数，但是不知道标准差，所以需要利用中心极限定理计算偏差的大小。
要求：

1. 大样本
2. 随机取样
3. 独立 比如同一个病人就不是独立的
4. 总体应该有样本数的10倍 比如人

尽责

• 条理 ——有计划
• 精确——细节和准确性
• 责任感
  情绪
• 焦虑
• 忧虑
• 敏感
  宜人性
• 同理心
• 信任
• 利他
  外向
• 乐群
• 活力
• 对抗：喜欢竞争力

进取

• 报负
• 对抗
• 独立

随机区组实验：比如 个体的年龄体重不一致

1. 确定因素
2. 确定水平组合
3. 确定重复

SSE/自由度=MSE 均方误差