python 爬取 44130 條用戶觀影數據，分析挖掘用戶與電影之間的隱藏信息！
Andrew2021-02-17 02:42:48
前言
明天就是大年初一，很多電影也上映，看電影前很多人都喜歡去『豆瓣』看影評，所以我爬取44130條『豆瓣』的用戶觀影數據，分析用戶之間的關系，電影之間的聯系，以及用戶和電影之間的隱藏關系。
爬取觀影數據
數據來源
https://movie.douban.com/
在『豆瓣』平臺爬取用戶觀影數據。
爬取用戶列表
網頁分析
為了獲取用戶，我選擇了其中一部電影的影評，這樣可以根據評論的用戶去獲取其用戶名稱（后面爬取用戶觀影記錄只需要『用戶名稱』）。
https://movie.douban.com/subject/24733428/reviews?start=0url中start參數是頁數（page20，每一頁20條數據），因此start=0、20、40…，也就是*20的倍數，通過改變start參數值就可以獲取這4614條用戶的名稱。**
查看網頁的標簽，可以找到『用戶名稱』值對應的標簽屬性。
編程實現
i=0
url = "https://movie.douban.com/subject/24733428/reviews?start=" + str(i * 20)
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
for item in selector.xpath('//*[@class="review-list "]/div'):
userid = (item.xpath('.//*[@class="main-hd"]/a[2]/@href'))[0].replace("https://www.douban.com/people/","").replace("/", "")
username = (item.xpath('.//*[@class="main-hd"]/a[2]/text()'))[0]
print(userid)
print(username)
print("-----")
爬取用戶的觀影記錄
上一步爬取到『用戶名稱』，接著爬取用戶觀影記錄需要用到『用戶名稱』。
網頁分析
#https://movie.douban.com/people/{用戶名稱}/collect?start=15&sort=time&rating=all&filter=all&mode=grid
https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=a通過改變『用戶名稱』，可以獲取到不同用戶的觀影記錄。
url中start參數是頁數（page15，每一頁15條數據），因此start=0、15、30…，也就是*15的倍數，通過改變start參數值就可以獲取這1768條觀影記錄稱。**
查看網頁的標簽，可以找到『電影名』值對應的標簽屬性。
編程實現
url = "https://movie.douban.com/people/mumudancing/collect?start=15&sort=time&rating=all&filter=all&mode=grid"
r = requests.get(url, headers=headers)
r.encoding = 'utf8'
s = (r.content)
selector = etree.HTML(s)
for item in selector.xpath('//*[@class="grid-view"]/div[@class="item"]'):
text1 = item.xpath('.//*[@class="title"]/a/em/text()')
text2 = item.xpath('.//*[@class="title"]/a/text()')
text1 = (text1[0]).replace(" ", "")
text2 = (text2[1]).replace(" ", "").replace("\n", "")
print(text1+text1)
print("-----")
保存到excel
定義表頭
# 初始化execl表
def initexcel(filename):
# 創建一個workbook 設置編碼
workbook = xlwt.Workbook(encoding='utf-8')
# 創建一個worksheet
worksheet = workbook.add_sheet('sheet1')
workbook.save(str(filename)+'.xls')
##寫入表頭
value1 = [["用戶", "影評"]]
book_name_xls = str(filename)+'.xls'
write_excel_xls_append(book_name_xls, value1)excel表有兩個標題（用戶, 影評）
寫入excel
# 寫入execl
def write_excel_xls_append(path, value):
index = len(value) # 獲取需要寫入數據的行數
workbook = xlrd.open_workbook(path) # 打開工作簿
sheets = workbook.sheet_names() # 獲取工作簿中的所有表格
worksheet = workbook.sheet_by_name(sheets[0]) # 獲取工作簿中所有表格中的的第一個表格
rows_old = worksheet.nrows # 獲取表格中已存在的數據的行數
new_workbook = copy(workbook) # 將xlrd對象拷貝轉化為xlwt對象
new_worksheet = new_workbook.get_sheet(0) # 獲取轉化后工作簿中的第一個表格
for i in range(0, index):
for j in range(0, len(value[i])):
new_worksheet.write(i+rows_old, j, value[i][j]) # 追加寫入數據，注意是從i+rows_old行開始寫入
new_workbook.save(path) # 保存工作簿定義了寫入excel函數，這樣爬起每一頁數據時候調用寫入函數將數據保存到excel中。
最后采集了44130條數據（原本是4614個用戶，每個用戶大約有500~1000條數據，預計400萬條數據）。但是為了演示分析過程，只爬取每一個用戶的前30條觀影記錄（因為前30條是最新的）。
最后這44130條數據會在下面分享給大家。
數據分析挖掘
讀取數據集
def read_excel():
# 打開workbook
data = xlrd.open_workbook('豆瓣.xls')
# 獲取sheet頁
table = data.sheet_by_name('sheet1')
# 已有內容的行數和列數
nrows = table.nrows
datalist=[]
for row in range(nrows):
temp_list = table.row_values(row)
if temp_list[0] != "用戶" and temp_list[1] != "影評":
data = []
data.append([str(temp_list[0]), str(temp_list[1])])
datalist.append(data)
return datalist
從豆瓣.xls中讀取全部數據放到datalist集合中。
分析1：電影觀看次數排行
###分析1：電影觀看次數排行
def analysis1():
dict ={}
###從excel讀取數據
movie_data = read_excel()
for i in range(0, len(movie_data)):
key = str(movie_data[i][0][1])
try:
dict[key] = dict[key] +1
except:
dict[key]=1
###從小到大排序
dict = sorted(dict.items(), key=lambda kv: (kv[1], kv[0]))
name=[]
num=[]
for i in range(len(dict)-1,len(dict)-16,-1):
print(dict[i])
name.append(((dict[i][0]).split("/"))[0])
num.append(dict[i][1])
plt.figure(figsize=(16, 9))
plt.title('電影觀看次數排行(高->低)')
plt.bar(name, num, facecolor='lightskyblue', edgecolor='white')
plt.savefig('電影觀看次數排行.png')
分析
由于用戶信息來源于『心靈奇旅』評論，因此其用戶觀看量最大。
最近的熱播電影中，播放量排在第二的是『送你一朵小紅花』，信條和拆彈專家2也緊跟其后。
分析2：用戶畫像（用戶觀影相同率最高）
###分析2：用戶畫像（用戶觀影相同率最高）
def analysis2():
dict = {}
###從excel讀取數據
movie_data = read_excel()
userlist=[]
for i in range(0, len(movie_data)):
user = str(movie_data[i][0][0])
moive = (str(movie_data[i][0][1]).split("/"))[0]
#print(user)
#print(moive)
try:
dict[user] = dict[user]+","+str(moive)
except:
dict[user] =str(moive)
userlist.append(user)
num_dict={}
# 待畫像用戶(取第一個）
flag_user=userlist[0]
movies = (dict[flag_user]).split(",")
for i in range(0,len(userlist)):
#判斷是否是待畫像用戶
if flag_user != userlist[i]:
num_dict[userlist[i]]=0
#待畫像用戶的所有電影
for j in range(0,len(movies)):
#判斷當前用戶與待畫像用戶共同電影個數
if movies[j] in dict[userlist[i]]:
# 相同加1
num_dict[userlist[i]] = num_dict[userlist[i]]+1
###從小到大排序
num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
#用戶名稱
username = []
#觀看相同電影次數
num = []
for i in range(len(num_dict) - 1, len(num_dict) - 9, -1):
username.append(num_dict[i][0])
num.append(num_dict[i][1])
plt.figure(figsize=(25, 9))
plt.title('用戶畫像（用戶觀影相同率最高）')
plt.scatter(username, num, color='r')
plt.plot(username, num)
plt.savefig('用戶畫像（用戶觀影相同率最高）.png')
分析
以用戶『mumudancing』為例進行用戶畫像
從圖中可以看出，與用戶『mumudancing』觀影相同率最高的是：“請帶我回布拉格”，其次是“李校尉”。
用戶：’絕命紙牌’, ‘笨小孩’, ‘私享史’, ‘溫衡’, ‘沈唐’, ‘修左’，的觀影相同率**相同**。
分析3:用戶之間進行電影推薦
###分析3：用戶之間進行電影推薦（與其他用戶同時被觀看過）
def analysis3():
dict = {}
###從excel讀取數據
movie_data = read_excel()
userlist=[]
for i in range(0, len(movie_data)):
user = str(movie_data[i][0][0])
moive = (str(movie_data[i][0][1]).split("/"))[0]
#print(user)
#print(moive)
try:
dict[user] = dict[user]+","+str(moive)
except:
dict[user] =str(moive)
userlist.append(user)
num_dict={}
# 待畫像用戶(取第2個）
flag_user=userlist[0]
print(flag_user)
movies = (dict[flag_user]).split(",")
for i in range(0,len(userlist)):
#判斷是否是待畫像用戶
if flag_user != userlist[i]:
num_dict[userlist[i]]=0
#待畫像用戶的所有電影
for j in range(0,len(movies)):
#判斷當前用戶與待畫像用戶共同電影個數
if movies[j] in dict[userlist[i]]:
# 相同加1
num_dict[userlist[i]] = num_dict[userlist[i]]+1
###從小到大排序
num_dict = sorted(num_dict.items(), key=lambda kv: (kv[1], kv[0]))
# 去重（用戶與觀影率最高的用戶兩者之間重復的電影去掉）
user_movies = dict[flag_user]
new_movies = dict[num_dict[len(num_dict)-1][0]].split(",")
for i in range(0,len(new_movies)):
if new_movies[i] not in user_movies:
print("給用戶（"+str(flag_user)+"）推薦電影："+str(new_movies[i]))
分析
以用戶『mumudancing』為例，對用戶之間進行電影推薦
根據與用戶『mumudancing』觀影率最高的用戶（A）進行進行關聯，然后獲取用戶（A）的全部觀影記錄
將用戶（A）的觀影記錄推薦給用戶『mumudancing』（去掉兩者之間重復的電影）。
分析4:電影之間進行電影推薦
###分析4：電影之間進行電影推薦（與其他電影同時被觀看過）
def analysis4():
dict = {}
###從excel讀取數據
movie_data = read_excel()
userlist=[]
for i in range(0, len(movie_data)):
user = str(movie_data[i][0][0])
moive = (str(movie_data[i][0][1]).split("/"))[0]
try:
dict[user] = dict[user]+","+str(moive)
except:
dict[user] =str(moive)
userlist.append(user)
movie_list=[]
# 待獲取推薦的電影
flag_movie = "送你一朵小紅花"
for i in range(0,len(userlist)):
if flag_movie in dict[userlist[i]]:
moives = dict[userlist[i]].split(",")
for j in range(0,len(moives)):
if moives[j] != flag_movie:
movie_list.append(moives[j])
data_dict = {}
for key in movie_list:
data_dict[key] = data_dict.get(key, 0) + 1
###從小到大排序
data_dict = sorted(data_dict.items(), key=lambda kv: (kv[1], kv[0]))
for i in range(len(data_dict) - 1, len(data_dict) -16, -1):
print("根據電影"+str(flag_movie)+"]推薦："+str(data_dict[i][0]))
分析
以電影『送你一朵小紅花』為例，對電影之間進行電影推薦
獲取觀看過『送你一朵小紅花』的所有用戶，接著獲取這些用戶各自的觀影記錄。
將這些觀影記錄進行統計匯總（去掉“送你一朵小紅花”），然后進行從高到低進行排序，最后可以獲取到與電影『送你一朵小紅花』關聯度最高排序的集合。
將關聯度最高的前15部電影給用戶推薦。
總結
分析爬取豆瓣平臺數據思路，并編程實現。
對爬取的數據進行分析（電影觀看次數排行、用戶畫像、用戶之間進行電影推薦、電影之間進行電影推薦）
本文涉及的代碼和數據集在下方獲取。
完整源碼和數據集地址如下：
Andrew
暫無描述