1import pandas as pd 2import matplotlib.pyplot as plt 1gupiao={'谷歌':'GOOG','亚马逊':'AMZN','Facebook':'FB', 2 '苹果':'AAPL','阿里巴巴':'BABA','腾讯':'0700.hk'} 1from pandas_datareader import data 阿里巴巴 1start_date = '2017-01-01' 2end_date = '2018-01-01' 3ali=data.get_data_yahoo(gupiao["阿里巴巴"],start_date,end_date) 1ali.head() High …

阅读更多

共享单车项目分析 作者：马建龙 目录 提出问题 理解数据 采集数据 导入数据 查看数据集信息 数据清洗 数据预处理 数据分析 数据可视化 方案实施 报告撰写 1、提出问题 根据kaggle项目：共享单车的数据进行描述性统计分析，查看不同因素对共享单车使用数量的影响。 2、理解数据 2.1 采集数据 从kaggle网站下载，https://www.kaggle.com/c/bike-sharing-demand 2.1 导入数据 1import numpy as np 2import pandas as pd 3import datetime 1%matplotlib inline …

阅读更多

1import pandas as pd 1from sklearn.datasets import make_blobs #足球数据 1 # 数据量 列数 类别 标准差 随机种子 2X, y = make_blobs(n_samples=150, n_features=4, centers=3) 1data = pd.DataFrame(data=X) 2data[4] =y 1data 0 1 2 3 4 0 -8.317893 0.698439 -10.349959 4.291286 0 1 -5.663915 7.060548 0.330762 4.576624 1 2 -9.276754 1.625037 …

阅读更多

特征向量-直方图 1from scipy.linalg import eig # 矩阵分解 2import numpy as np # 生成矩阵 3import matplotlib.pyplot as plt # 绘图 1A = [[1, 2],#生成一个2*2的矩阵 2 [2, 1]] 3A [[1, 2], [2, 1]] 1 2# 特征分解 3evals, evecs = eig(A) #求A的特征值（evals）和特征向量(evecs) [[ 0.70710678 -0.70710678] [ 0.70710678 0.70710678]] 1evecs = evecs[:, 0], evecs[:, 1] …

阅读更多

1import pandas as pd 2import numpy as np 3import warnings 4warnings.filterwarnings('ignore') 1.读取除表头外的前五行\读取数据前五行 1df = pd.read_csv('./titanic_trains.csv',encoding='utf8') 2df.head(5) 3df.shape (891, 12) 2.缺失值处理(没有要求就遵循80%原则) 2.1.查看缺失值情况，输出缺失值比例、列名、缺失值数量 1for x in df.columns: 2 zb = df[x].isnull().sum()/df.shape[0]*100 …

阅读更多

1import pandas as pd 2import numpy as np 3import warnings 4warnings.filterwarnings('ignore') 1.读取除表头外的前五行\读取数据前五行 1df = pd.read_csv('./titanic_trains.csv',encoding='utf8') 2df.head(5) 3df.shape (891, 12) 2.缺失值处理(没有要求就遵循80%原则) 2.1.查看缺失值情况，输出缺失值比例、列名、缺失值数量 1for x in df.columns: 2 zb = df[x].isnull().sum()/df.shape[0]*100 …

阅读更多

1注意点： 2 1.birch、SpectralClustering这两个算法非常耗资源可能考试环境中的资源不足，运行时会内存溢出，找监考老师。和她说不运行只截图是否可以。 1.读取数据 1import pandas as pd 2import numpy as np 1df = pd.read_csv('./data.csv',encoding='gbk') 2df.head() 客户编号 套餐品牌 信用等级 是否使用4GUSIM卡 是否4G资费 网龄 当月ARPU 当月MOU 当月DOU 视频流量 \ 0 10942 2 5 0 1 204 2201.08 2611 54557 22 1 13382 2 5 0 0 201 …

阅读更多

考试情况： 1.题目形式没有较大的变化，填空题目数量有增加。如果填空题较多一定注意考试时间。 2.论述题上，目前几次去考试。题目都是集中在聚类和集成算法上。 3.z-scale(特征缩放),scale。推荐使用这种方式进行解答from sklearn.preprocessing import scale 4.能够掌握具体的方法的使用再去考试。 5.多去看sklearn的文档 数据挖掘流程： 读取数据： 数据预处理：缺失值处理()、异常值处理、特征缩放()、特征离散化、特征编码()、特征选择()、特征降维(***)。 拆分数据： 建模：分类、聚类 模型评估： 分类模型评估(交叉验证)、聚类模型评估 模型优化 过采样、 …

阅读更多