附python3操作MySQL（增删改查、事务）

导入支持库

In [1020]:

import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
import pandas as pd
from pandas import Series, DataFrame


#在GUI中显示
# %matplotlib tk 
#在行内显示(默认)
%matplotlib inline

mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False

载入数据 合并数据 data_obj

In [226]:

users_df = pd.read_csv('./data/users.dat', sep='::', engine='python', names=['UserID', 'Gender', 'Age', 'Occupation', 'Zip-code'])
movies_df = pd.read_csv('./data/movies.dat', sep='::', engine='python', names=['MovieID', 'Title', 'Genres'])
ratings_df = pd.read_csv('./data/ratings.dat', sep='::', engine='python', names=['UserID', 'MovieID', 'Rating', 'Timestamp'])
# print(users_df)
# print(movies_df)
# print(ratings_df)

combine_movies_ratings_df = pd.merge(movies_df, ratings_df, on='MovieID')
combine_movies_ratings_users_df = pd.merge(combine_movies_ratings_df, users_df, on='UserID')
data_obj = combine_movies_ratings_users_df
data_obj

Out[226]:

1000209 rows × 10 columns

1.查看每部电影中两类性别的平均分

In [79]:

# a_movie = data_obj.groupby(['MovieID', 'Gender']).mean()
# out = DataFrame(a_movie['Rating'])
# out
out = DataFrame.pivot_table(data_obj, values='Rating', index='MovieID', columns='Gender', aggfunc='mean')
out

Out[79]:

554 rows × 2 columns

2.查看每部电影中两类性别的均分差异最大的前3的电影

In [113]:

noNaN = out.dropna()
noNaN = noNaN.copy()
noNaN['|F-M|'] = abs(noNaN['F'] - noNaN['M'])
noNaN.sort_values("|F-M|",ascending=False)
noNaN.head(3)

Out[113]:

3.查找出热门电影热度榜单 （计算表中电影出现的次数，取前3）

In [275]:

ratings_df.groupby('MovieID').count().sort_values('UserID', ascending=False).head(3)

Out[275]:

4.每部电影的评分（平均分） 获取排名前10的高分榜单

In [141]:

DataFrame(ratings_df.groupby('MovieID').mean().sort_values('Rating', ascending=False)['Rating'].head(10))

Out[141]:

5.前十大热门电影__的评分

In [274]:

hot = ratings_df.groupby('MovieID').count().sort_values('UserID', ascending=False)['Rating']
DataFrame(hot.head(10))

Out[274]:

6.前20名高分电影的__热度 (使用第3.热度表)

In [276]:

height20 = ratings_df.groupby('MovieID').mean().sort_values('Rating', ascending=False)['Rating']
DataFrame(height20.head(20))

Out[276]:

7.查询出前十好电影

好电影：

1.看的人多（点击在1000以上）

2.分数还高（按Rating降序）

In [277]:

DataFrame(height20[hot[hot>1000].head(20).index].sort_values(ascending=False))

Out[277]:

使用的数据集是美国人口普查的数据

In [286]:

census_df = pd.read_csv('./data/census.csv', engine='python')
census_df

Out[286]:

3193 rows × 100 columns

2010年中 以每个州(STNAME)人口中 最多的 3 个县的人口总和为这个州人口的衡量标准，问哪 3 个州对应的人口最多？

DataFrame(census_df.sort_values(['STNAME', 'POPESTIMATE2010'],ascending=[True,False]).groupby(['STNAME']).head(3).groupby('STNAME')['POPESTIMATE2010'].sum().sort_values(ascending=False).head(3))

Out[329]:

各个州、县 在 2010 年至 2012 年间人口平均量是怎么样的？

In [351]:

temp = census_df[["POPESTIMATE2010","POPESTIMATE2011","POPESTIMATE2012"]]
# census_df["three-year-total"] = temp.sum(axis=1) #axis 0为列，1为行
census_df["three-year-avg"] = temp.mean(axis=1)
# census_df[['STNAME', 'CTYNAME', 'three-year-total', 'three-year-avg']]
census_df[['STNAME', 'CTYNAME', 'three-year-avg']].head(10)

Out[351]:

在 2010 年至 2012 年间人口增加数量最多的是哪3个县？

In [352]:

census_df['Δ/➖'] = census_df['POPESTIMATE2012'] - census_df['POPESTIMATE2010']
DataFrame(census_df[['STNAME', 'CTYNAME', 'Δ/➖']].sort_values('Δ/➖', ascending=False).head(3))

Out[352]:

yuehui.163.com 数据分析

In [1041]:

girls_df = pd.read_csv('./data/girls', encoding='utf-8', sep='::', engine='python')
girls_df.head(10)

Out[1041]:

-1. 得到男女生数据总和

In [1042]:

sex_count = DataFrame(girls_df.groupby('性别').count()['会员ID'])
sex_count.rename(columns={'会员ID': '人数'}, inplace=True)
sex_count

Out[1042]:

0. 分析每个地区的男女生比例

In [1043]:

temp_copy = girls_df
# 改名
temp_copy['性别'] = girls_df['性别'].replace([0,1],['女','男'])
# 总和
total = temp_copy.groupby('省市')[['会员ID']].count()
# 人数 / 总和
province_sex = temp_copy.groupby(['省市', '性别'])[['会员ID']].count()
evey_province_sex_percent = province_sex / total
evey_province_sex_percent.rename(columns={'会员ID': '人数所占百分比'}, inplace=True)
evey_province_sex_percent

Out[1043]:

68 rows × 1 columns

1. 查看那5个星座发布的交友信息最多

In [1044]:

# 计数
mostPostStart = DataFrame(girls_df.groupby('星座').count()['会员ID'])
# 改一下列名
mostPostStart.rename(columns={'会员ID': '发部次数'}, inplace=True)
# 输出前5
mostPostStart.sort_values(by='发部次数', ascending=False).head(5)

Out[1044]:

2. 查看薪资排名前10 的省份

薪资为保密,0,空值的不进行计算

薪资在区间内的取其均值

50000以上的视为50000 2000以下的视为2000

In [1045]:

# 过滤掉工资为 -1 的行 不统计
have_income = girls_df[~girls_df['工资'].isin([-1])]

# 省份人数总工资 / 计数
DataFrame(have_income.groupby('省市').sum()['工资'] / girls_df.groupby('省市').count()['会员ID'], columns=['平均薪资']).sort_values(by='平均薪资', ascending=False).head(10)

Out[1045]:

3. 查看哪10个年龄的交友需求比较多 (过滤掉所有无效数据)

In [1046]:

# 计数
mostPostAge = DataFrame(girls_df.groupby('年龄').count()['会员ID'].sort_values(ascending=False))
mostPostAge.rename(columns={'会员ID': '发布次数'}, inplace=True)
mostPostAge.head(10)

Out[1046]:

4. 得到各个年龄段的男女的人数

In [1047]:

# 创建副本
temp_copy = girls_df
temp_copy['性别']=temp_copy['性别'].replace([0,1],['女','男'])
# 按年龄 性别 计算数量
all_age_count = DataFrame(DataFrame(temp_copy.groupby(['年龄', '性别']).count())['会员ID'])
all_age_count.rename(columns={'会员ID': '人数'}, inplace=True)
all_age_count

Out[1047]:

142 rows × 1 columns

5. 各个学历的占比

In [1076]:

# 合并 空 和 高中以下学历
# girls_df['学历']=girls_df['学历'].replace(['空'],['高中以下'])
# degree_percent.groupby(['学历']).count()
# temp_copy.groupby(['学历']).count()
# 计算 每个学历 对应的总数
degree_temp = DataFrame(DataFrame(temp_copy.groupby(['学历']).count())['会员ID'])
# degree_temp
# 换列名
degree_temp.rename(columns={'会员ID': '百分比'}, inplace=True)

# degree_temp

# degree_temp['学历']['高中以下'] + degree_temp['学历']['空'] 

# 按列计算每个元素所占百分比
DataFrame(degree_temp['百分比'].apply(lambda x :str((x/degree_temp['百分比'].sum()) * 100) + '%')).sort_values(by='百分比', ascending=False)

Out[1076]:

6. 得出前10个平均学历最高的城市

无学历的默认为高中学历

假设学历满分为100

高中以下30分，高中40分，专科50分，本科60分，硕士70分，博士80分

In [1049]:

degree_height = girls_df.groupby(['省市', '市区县']).mean().sort_values(by='学历转分数', ascending=False)[['学历转分数']]
# 换列名
degree_height.rename(columns={'学历转分数': '平均学历分数'}, inplace=True)
degree_height.head(10)

Out[1049]:

7. 得到身材相对匀称 人数最多的10个省份

按照BMI指数得到结果

按照：70kg÷（1.75×1.75）=22.86)的比例

结果 如果在18.5-23.9之间的 属于标准身材

In [1067]:

body_thin = girls_df
# body_thin.copy()
# 过滤掉 身高 / 体重 为 0 的行 不统计
body_thin = body_thin[~body_thin['身高'].isin([0])]
body_thin = body_thin.copy()

body_thin['BMI'] = body_thin['体重'] / (body_thin['身高'] * body_thin['身高'] / 10000)

thin_filter = body_thin[(body_thin['BMI'] >= 18.5) & (body_thin['BMI'] <= 23.9)]
thin_temp = thin_filter.groupby('省市').count()[['会员ID']].sort_values(by='会员ID', ascending=False).head(10)
thin_temp

Out[1067]:

8. 三个图

身高 体重散点图

top10 薪资省份（图任选）

满足bmi指数的人数最多的10个省份（柱状图，类似效果）

In [1051]:

temp = girls_df
temp = temp[(girls_df['身高'] < 240) & (girls_df['体重'] < 400)]
plt.scatter(temp['身高'], temp['体重'])

Out[1051]:

<matplotlib.collections.PathCollection at 0x1d418b075f8>

# 过滤掉工资为 -1 的行 不统计
# 省份人数总工资 / 计数
income_10 = DataFrame(girls_df[~girls_df['工资'].isin([-1])].groupby('省市').sum()['工资'] / girls_df.groupby('省市').count()['会员ID'], columns=['平均薪资']).sort_values(by='平均薪资', ascending=False).head(10)
plt.bar(Series(income_10.index), income_10['平均薪资'], width=0.5)
plt.show()

plt.bar(Series(thin_temp.index), thin_temp['会员ID'], width=0.5)
plt.show()