数据挖掘 on Clarity

数据挖掘通讲

Sat, 11 Apr 2026 19:27:54 +0000

1import pandas as pd
2import numpy as np
3import warnings
4warnings.filterwarnings('ignore')

1.读取除表头外的前五行\读取数据前五行

1df = pd.read_csv('./titanic_trains.csv',encoding='utf8')
2df.head(5)
3df.shape

(891, 12)

2.缺失值处理(没有要求就遵循80%原则)

2.1.查看缺失值情况，输出缺失值比例、列名、缺失值数量

1for x in df.columns:
2    zb = df[x].isnull().sum()/df.shape[0]*100
3    sl = df[x].isnull().sum()
4    print('缺失值占比为:',round(zb,2),"%,列名:",x,',缺失值数量:',sl)

缺失值占比为: 0.0 %,列名: PassengerId ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Survived ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Pclass ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Name ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Sex ,缺失值数量: 0 缺失值占比为: 19.87 %,列名: Age ,缺失值数量: 177 缺失值占比为: 0.0 %,列名: SibSp ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Parch ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Ticket ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Fare ,缺失值数量: 0 缺失值占比为: 77.1 %,列名: Cabin ,缺失值数量: 687 缺失值占比为: 0.22 %,列名: Embarked ,缺失值数量: 2

数据挖掘通讲：分类算法

Sat, 11 Apr 2026 19:27:54 +0000

1import pandas as pd
2import numpy as np
3import warnings
4warnings.filterwarnings('ignore')

1.读取除表头外的前五行\读取数据前五行

1df = pd.read_csv('./titanic_trains.csv',encoding='utf8')
2df.head(5)
3df.shape

(891, 12)

2.缺失值处理(没有要求就遵循80%原则)

2.1.查看缺失值情况，输出缺失值比例、列名、缺失值数量

1for x in df.columns:
2    zb = df[x].isnull().sum()/df.shape[0]*100
3    sl = df[x].isnull().sum()
4    print('缺失值占比为:',round(zb,2),"%,列名:",x,',缺失值数量:',sl)

数据挖掘通讲：聚类算法

Sat, 11 Apr 2026 19:27:54 +0000

1注意点：
2   1.birch、SpectralClustering这两个算法非常耗资源可能考试环境中的资源不足，运行时会内存溢出，找监考老师。和她说不运行只截图是否可以。

1.读取数据

1import pandas as pd
2import numpy as np

1df = pd.read_csv('./data.csv',encoding='gbk')
2df.head()

客户编号  套餐品牌  信用等级  是否使用4GUSIM卡  是否4G资费   网龄   当月ARPU  当月MOU    当月DOU  视频流量  \

0 10942 2 5 0 1 204 2201.08 2611 54557 22
1 13382 2 5 0 0 201 2181.71 3371 35250 15
2 4192 2 5 1 1 167 2055.60 6913 5884426 1
3 10908 2 5 1 0 171 1827.33 2157 178070 4
4 14130 2 5 0 1 216 1736.40 4218 358592 35