DataMining on Clarity

CNN应用于手写数字识别

Sat, 11 Apr 2026 19:27:54 +0000

1import numpy as np
2from keras.datasets import mnist
3from keras.utils import np_utils
4from keras.models import Sequential
5from keras.layers import Dense,Dropout,Convolution2D,MaxPooling2D,Flatten
6from keras.optimizers import Adam

Using TensorFlow backend.

 1# 载入数据
 2(x_train,y_train),(x_test,y_test) = mnist.load_data()
 3# (60000,28,28)->(60000,28,28,1),最后一维为深度，黑白为1，彩色为3
 4x_train = x_train.reshape(-1,28,28,1)/255.0
 5x_test = x_test.reshape(-1,28,28,1)/255.0
 6# 换one hot格式
 7y_train = np_utils.to_categorical(y_train,num_classes=10)
 8y_test = np_utils.to_categorical(y_test,num_classes=10)
 9
10# 定义顺序模型
11model = Sequential()
12
13# 第一个卷积层
14# input_shape 输入平面
15# filters 卷积核/滤波器个数
16# kernel_size 卷积窗口大小
17# strides 步长
18# padding padding方式 same/valid
19# activation 激活函数
20model.add(Convolution2D(
21    input_shape = (28,28,1),
22    filters = 32,
23    kernel_size = 5,
24    strides = 1,
25    padding = 'same',
26    activation = 'relu',
27))
28# 第一个池化层
29model.add(MaxPooling2D(
30    pool_size = 2,
31    strides = 2,
32    padding = 'same',
33))
34# 第二个卷积层
35model.add(Convolution2D(64,5,strides=1,padding='same',activation='relu'))
36# 第二个池化层
37model.add(MaxPooling2D(2,2,'same'))
38# 把第二个池化层的输出扁平化为1维
39model.add(Flatten())
40# 第一个全连接层
41model.add(Dense(1024,activation='relu'))
42# Dropout
43model.add(Dropout(0.5))
44# 第二个全连接层
45model.add(Dense(10,activation='softmax'))
46
47# 定义优化器
48adam = Adam(lr=1e-4)
49
50# 定义优化器,loss function,训练过程中计算准确率
51model.compile(optimizer=adam,loss='categorical_crossentropy',metrics=['accuracy'])
52
53# 训练模型
54model.fit(x_train,y_train,batch_size=64,epochs=10)
55
56# 评估模型
57loss,accuracy = model.evaluate(x_test,y_test)
58
59print('test loss',loss)
60print('test accuracy',accuracy)

WARNING:tensorflow:From C:\ProgramData\Anaconda3\lib\site-packages\tensorflow\python\ops\resource_variable_ops.py:435: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version. Instructions for updating: Colocations handled automatically by placer. WARNING:tensorflow:From C:\ProgramData\Anaconda3\lib\site-packages\tensorflow\python\ops\math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version. Instructions for updating: Use tf.cast instead. Epoch 1/10 60000/60000 [==============================] - 109s 2ms/step - loss: 0.3392 - accuracy: 0.9022 Epoch 2/10 60000/60000 [==============================] - 110s 2ms/step - loss: 0.0953 - accuracy: 0.9714 Epoch 3/10 60000/60000 [==============================] - 110s 2ms/step - loss: 0.0659 - accuracy: 0.9801 Epoch 4/10 60000/60000 [==============================] - 111s 2ms/step - loss: 0.0521 - accuracy: 0.9842 Epoch 5/10 60000/60000 [==============================] - 111s 2ms/step - loss: 0.0439 - accuracy: 0.9866 Epoch 6/10 60000/60000 [==============================] - 110s 2ms/step - loss: 0.0368 - accuracy: 0.9883 Epoch 7/10 60000/60000 [==============================] - 110s 2ms/step - loss: 0.0313 - accuracy: 0.9897 Epoch 8/10 60000/60000 [==============================] - 110s 2ms/step - loss: 0.0280 - accuracy: 0.9911 Epoch 9/10 60000/60000 [==============================] - 110s 2ms/step - loss: 0.0238 - accuracy: 0.9926 Epoch 10/10 60000/60000 [==============================] - 110s 2ms/step - loss: 0.0223 - accuracy: 0.9927 10000/10000 [==============================] - 5s 540us/step test loss 0.022867686682718342 test accuracy 0.9915000200271606

GAFATA股票数据分析

Sat, 11 Apr 2026 19:27:54 +0000

1import pandas as pd 
2import matplotlib.pyplot as plt

1gupiao={'谷歌':'GOOG','亚马逊':'AMZN','Facebook':'FB',
2            '苹果':'AAPL','阿里巴巴':'BABA','腾讯':'0700.hk'}

1from pandas_datareader import data

阿里巴巴

1start_date = '2017-01-01'
2end_date = '2018-01-01'
3ali=data.get_data_yahoo(gupiao["阿里巴巴"],start_date,end_date)

1ali.head()

             High        Low       Open      Close    Volume  Adj Close

Date
2017-01-03 89.000000 88.080002 89.000000 88.599998 8789400 88.599998 2017-01-04 90.889999 88.580002 88.985001 90.510002 11490200 90.510002 2017-01-05 94.809998 91.639999 91.910004 94.370003 16821500 94.370003 2017-01-06 94.500000 93.000000 94.400002 93.889999 7639800 93.889999 2017-01-09 95.650002 93.309998 94.160004 94.720001 10792900 94.720001

1def  change(column):
2    prichange=(column[column.size-1]-column[0])/column[0]
3    if (prichange > 0):
4        print("股票累计上涨：",prichange*100,"%")
5    elif (prichange == 0):
6        print("股票基本不变：",prichange*100,"%")
7    else :
8        print("股票累计下跌：",prichange*100,"%")
9    return prichange

1alichange=change(ali["Low"])

股票累计上涨： 94.36874817125808 %

共享单车项目分析

Sat, 11 Apr 2026 19:27:54 +0000

共享单车项目分析

作者：马建龙

聚类算法分析

Sat, 11 Apr 2026 19:27:54 +0000

1import pandas as pd

1from sklearn.datasets import make_blobs  #足球数据

1                   # 数据量      列数           类别        标准差         随机种子
2X, y = make_blobs(n_samples=150, n_features=4, centers=3)

1data = pd.DataFrame(data=X)
2data[4] =y

1data

        0         1          2         3  4

0 -8.317893 0.698439 -10.349959 4.291286 0 1 -5.663915 7.060548 0.330762 4.576624 1 2 -9.276754 1.625037 -9.837227 3.494463 0 3 -4.981855 2.015353 -9.270422 4.598429 0 4 -3.461616 8.064244 4.563894 1.690651 1 .. ... ... ... ... .. 145 -5.561548 6.836946 1.549655 3.830984 1 146 -6.841547 -2.699957 -8.790234 -0.604204 2 147 -5.903813 7.357668 2.510227 3.125459 1 148 -8.607808 0.461901 -9.125664 4.522260 0 149 -8.503622 2.326839 -8.911981 3.532953 0

矩阵特征向量与奇异值分解

Sat, 11 Apr 2026 19:27:54 +0000

特征向量-直方图

1from scipy.linalg import eig  # 矩阵分解
2import numpy as np   # 生成矩阵
3import matplotlib.pyplot as plt  # 绘图

1A = [[1, 2],#生成一个2*2的矩阵
2     [2, 1]] 
3A

[[1, 2], [2, 1]]

1
2# 特征分解
3evals, evecs = eig(A) #求A的特征值（evals）和特征向量(evecs)

[[ 0.70710678 -0.70710678] [ 0.70710678 0.70710678]]

1evecs = evecs[:, 0], evecs[:, 1]
2print(evecs)

(array([0.70710678, 0.70710678]), array([-0.70710678, 0.70710678]))

 1fig, ax = plt.subplots()
 2for spine in ['left', 'bottom']:#让在左下角的坐标轴经过原点
 3    ax.spines[spine].set_position('zero')
 4    ax.grid(alpha=0.4)
 5xmin, xmax = -3, 3
 6ymin, ymax = -3, 3
 7ax.set(xlim=(xmin, xmax), ylim=(ymin, ymax))
 8for v in evecs:
 9    ax.annotate(s="", xy=v, xytext=(0, 0),
10                arrowprops=dict(facecolor='blue',
11                shrink=0,
12                alpha=0.6,
13                width=0.5))
14x = np.linspace(xmin, xmax, 3)#在指定的间隔内返回均匀间隔的数字
15for v in evecs:
16    a = v[1] / v[0] #沿特征向量方向的单位向量
17    ax.plot(x, a * x, 'r-', lw=0.4)# 参数 lw 表示图线的粗细
18plt.show()

奇异值分解

1import numpy as np
2import matplotlib.pyplot as plt

1words = ["books","dad","stock","value","singular","estate","decomposition"]

1X=np.array([[0,2,1,0,0,0,0],[2,0,0,1,0,1,0],[1,0,0,0,0,0,1],[0,0,1,0,0,0,0],[0,1,0,0,0,0,0],[0,0,0,1,1,0,1],[0,1,0,0,1,0,0],[0,0,0,0,1,1,1]])

1X

array([[0, 2, 1, 0, 0, 0, 0], [2, 0, 0, 1, 0, 1, 0], [1, 0, 0, 0, 0, 0, 1], [0, 0, 1, 0, 0, 0, 0], [0, 1, 0, 0, 0, 0, 0], [0, 0, 0, 1, 1, 0, 1], [0, 1, 0, 0, 1, 0, 0], [0, 0, 0, 0, 1, 1, 1]])

数据挖掘通讲

Sat, 11 Apr 2026 19:27:54 +0000

1import pandas as pd
2import numpy as np
3import warnings
4warnings.filterwarnings('ignore')

1.读取除表头外的前五行\读取数据前五行

1df = pd.read_csv('./titanic_trains.csv',encoding='utf8')
2df.head(5)
3df.shape

(891, 12)

2.缺失值处理(没有要求就遵循80%原则)

2.1.查看缺失值情况，输出缺失值比例、列名、缺失值数量

1for x in df.columns:
2    zb = df[x].isnull().sum()/df.shape[0]*100
3    sl = df[x].isnull().sum()
4    print('缺失值占比为:',round(zb,2),"%,列名:",x,',缺失值数量:',sl)

缺失值占比为: 0.0 %,列名: PassengerId ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Survived ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Pclass ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Name ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Sex ,缺失值数量: 0 缺失值占比为: 19.87 %,列名: Age ,缺失值数量: 177 缺失值占比为: 0.0 %,列名: SibSp ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Parch ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Ticket ,缺失值数量: 0 缺失值占比为: 0.0 %,列名: Fare ,缺失值数量: 0 缺失值占比为: 77.1 %,列名: Cabin ,缺失值数量: 687 缺失值占比为: 0.22 %,列名: Embarked ,缺失值数量: 2

数据挖掘通讲：分类算法

Sat, 11 Apr 2026 19:27:54 +0000

1import pandas as pd
2import numpy as np
3import warnings
4warnings.filterwarnings('ignore')

1.读取除表头外的前五行\读取数据前五行

1df = pd.read_csv('./titanic_trains.csv',encoding='utf8')
2df.head(5)
3df.shape

(891, 12)

2.缺失值处理(没有要求就遵循80%原则)

2.1.查看缺失值情况，输出缺失值比例、列名、缺失值数量

1for x in df.columns:
2    zb = df[x].isnull().sum()/df.shape[0]*100
3    sl = df[x].isnull().sum()
4    print('缺失值占比为:',round(zb,2),"%,列名:",x,',缺失值数量:',sl)

数据挖掘通讲：聚类算法

Sat, 11 Apr 2026 19:27:54 +0000

1注意点：
2   1.birch、SpectralClustering这两个算法非常耗资源可能考试环境中的资源不足，运行时会内存溢出，找监考老师。和她说不运行只截图是否可以。

1.读取数据

1import pandas as pd
2import numpy as np

1df = pd.read_csv('./data.csv',encoding='gbk')
2df.head()

客户编号  套餐品牌  信用等级  是否使用4GUSIM卡  是否4G资费   网龄   当月ARPU  当月MOU    当月DOU  视频流量  \

0 10942 2 5 0 1 204 2201.08 2611 54557 22
1 13382 2 5 0 0 201 2181.71 3371 35250 15
2 4192 2 5 1 1 167 2055.60 6913 5884426 1
3 10908 2 5 1 0 171 1827.33 2157 178070 4
4 14130 2 5 0 1 216 1736.40 4218 358592 35

数值型使用众数填充后类型可能会变成object类型,进而导致建模报错

Thu, 26 Mar 2026 08:49:31 +0000

考试情况： 1.题目形式没有较大的变化，填空题目数量有增加。如果填空题较多一定注意考试时间。 2.论述题上，目前几次去考试。题目都是集中在聚类和集成算法上。 3.z-scale(特征缩放),scale。推荐使用这种方式进行解答from sklearn.preprocessing import scale 4.能够掌握具体的方法的使用再去考试。 5.多去看sklearn的文档数据挖掘流程：读取数据：数据预处理：缺失值处理()、异常值处理、特征缩放()、特征离散化、特征编码()、特征选择()、特征降维(***)。拆分数据：建模：分类、聚类模型评估：分类模型评估(交叉验证)、聚类模型评估模型优化过采样、网格搜索

1import pandas as pd
2import numpy as np
3import warnings
4warnings.filterwarnings('ignore')

1.读取除表头外的前五行\读取数据前五行注意点： 1.数据读取不到，检查路径和文件名是否有误，记得同步到obs上 2.注意编码,gbk、utf8

1df = pd.read_csv('./titanic_trains.csv',encoding='utf8')
2df.head(5)
3df.shape

(891, 12)

2.缺失值处理(没有要求就遵循80%原则) 注意点： 1.名义型变量(一般在题目中都会指定那几列)，没有指定就是值object类型。 2.有时题目中会指定处理那几列，但是一定要检查其他的列中是否还有缺失值。如果一定要处理掉。 3.数值型使用均值或者中位数,object类型使用众数。目标列如果有缺失值一定使用众数。 2.1.查看缺失值情况，输出缺失值比例、列名、缺失值数量

1for x in df.columns:
2    zb = df[x].isnull().sum()/df.shape[0]*100
3    sl = df[x].isnull().sum()
4    print('缺失值占比为:',round(zb,2),"%,列名:",x,',缺失值数量:',sl)

缺失值占比为: 0.0 %,列名: PassengerId ,缺失值数量: 0
缺失值占比为: 0.0 %,列名: Survived ,缺失值数量: 0
缺失值占比为: 0.0 %,列名: Pclass ,缺失值数量: 0
缺失值占比为: 0.0 %,列名: Name ,缺失值数量: 0
缺失值占比为: 0.0 %,列名: Sex ,缺失值数量: 0
缺失值占比为: 19.87 %,列名: Age ,缺失值数量: 177
缺失值占比为: 0.0 %,列名: SibSp ,缺失值数量: 0
缺失值占比为: 0.0 %,列名: Parch ,缺失值数量: 0
缺失值占比为: 0.0 %,列名: Ticket ,缺失值数量: 0
缺失值占比为: 0.0 %,列名: Fare ,缺失值数量: 0
缺失值占比为: 77.1 %,列名: Cabin ,缺失值数量: 687
缺失值占比为: 0.22 %,列名: Embarked ,缺失值数量: 2

2.2.对缺失值进行处理

DataMining on Clarity

CNN应用于手写数字识别

GAFATA股票数据分析

阿里巴巴

共享单车项目分析

共享单车项目分析

目录

1、提出问题

2、理解数据

2.1 采集数据

2.1 导入数据

2.3 查看数据信息

聚类算法分析

矩阵特征向量与奇异值分解

数据挖掘通讲

数据挖掘通讲：分类算法

数据挖掘通讲：聚类算法

数值型使用众数填充后类型可能会变成object类型,进而导致建模报错