有小半个月没有发博客了，因为一直在研究python的GUI，买了一本书学习了一些基础，用我所学做了我的第一款GUI——微博图片爬取工具。本软件源代码已经放在了博客中，另外软件已经打包好上传到网盘中以供下载学习。
一．准备工作
本次要用到以下依赖库：re json os random tkinter threading requests PIL 其中后两个需要安装后使用
二．预览
1.启动
2.运行中
3.结果
这里只将拿一张图片作为展示。
三．设计流程
设计流程分为总体设计和详细设计，这里我会使用viso画出几个流程图，用以展示我的思路，其中详细设计部分，我列举了两个函数实现的具体流程。
1.总体设计
此图为整个系统的整体流程也是本GUI软件的使用过程。
2.详细设计
在此列举两个函数一个是搜索按钮触发的wb_search函数，一个是开始爬取按钮触发的wb_pics_parse函数。
2.1wb_search函数
2.2wb_pics_parse函数
四．源代码
import json
import random
import re
import os
from tkinter import *
from tkinter import messagebox
from tkinter import ttk
import requests
import threading
from PIL import Image,ImageTk
\"\"\"
1.07使用check button 实现下载完打开文件夹操作，注册了enter、esc热键，优化了一些体验
1.08 1.更新了关键字、磁盘、用户判断逻辑
2.将之前的线程池改为多线程来执行下载操作
1.13说明：如果在下载过程变慢，可能是软件正在解析图片地址或者就是您的网络不行
\"\"\"
class WeiBo_pics_Spider(object):
def __init__(self,start_url):
self.start_url=start_url
#解析出图片地址
def get_pics_url(self):
i = 1
global a_flag
a_flag = True
while True:
url = self.start_url + \'&page={}\'.format(i)
headers = {\'User-Agent\': get_ua()}
r = requests.get(url, headers=headers)
_json = json.loads(r.text)
items = _json[\"data\"][\"cards\"]
flag = _json[\'ok\']
if flag == 1 and a_flag: # 爬取数据标志+一个手动控制标志
for v in items:
picslist = v.get(\'mblog\')
if picslist is not None:
img_urls = picslist.get(\'pics\')
if img_urls != None:
for img_url_ in img_urls:
img_url = img_url_[\'large\'][\'url\']
yield img_url
else:
#1.06页数显示出现问题
t1.insert(END, f\'***在第{i}页终止***\\n\')
t1.see(END)
t1.update()
if r1_var.get() == 1:
big_dir=disk+\':/WeiBo_Pics\'
os.startfile(big_dir)
break
i += 1
#下载图片
def download_pics(self,url,filename):
headers={\'User-Agent\': get_ua()}
r = requests.get(url, headers=headers)
big_dir=disk+\':/WeiBo_Pics\'
aim_path=big_dir+\'/\'+user_name_selected
try:
os.makedirs(aim_path)
except:
pass
with open(aim_path + \'\\\\\' + filename, \'wb\')as f:
f.write(r.content)
# 保证焦点始终在最下
t1.see(END)
# 下载完一张刷新一次 防止界面卡死崩溃
t1.insert(END, f\'{filename}\\n\')
window.update()
def get_ua():
first_num = random.randint(55, 62)
third_num = random.randint(0, 3200)
fourth_num = random.randint(0, 140)
os_type = [
\'(Windows NT 6.1; WOW64)\', \'(Windows NT 10.0; WOW64)\', \'(X11; Linux x86_64)\',
\'(Macintosh; Intel Mac OS X 10_12_6)\'
]
chrome_version = \'Chrome/{}.0.{}.{}\'.format(first_num, third_num, fourth_num)
ua = \' \'.join([\'Mozilla/5.0\', random.choice(os_type), \'AppleWebKit/537.36\',
\'(KHTML, like Gecko)\', chrome_version, \'Safari/537.36\']
)
return ua
def wb_search():
#先清空lsibox1内容，便于新内容显示
listb1.delete(0,END)
url1=\'https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D3%26q%3D{}%26t%3D0\'
headers={\'User-Agent\':get_ua()}
key_word = e1.get()
global user_id_list
user_id_list=list()
if len(key_word)!=0:
#若用户输入了user_id，则去获取screen_name
if re.match(\'\\d{10}\',key_word):
user_id_list.append(key_word)
url2 = f\'https://m.weibo.cn/api/container/getIndex?uid={key_word}&containerid=100505{key_word}\'
r1 = requests.get(url2, headers=headers)
_data = json.loads(r1.text)
screen_name = _data[\'data\'][\'userInfo\'].get(\'screen_name\')
l3.place(x=120, y=42)
l3_var.set(f\'搜索成功\')
l3[\'background\'] = \'green\'
listb1.insert(END, screen_name)
#否则根据关键字去搜索用户信息，显示在listbox中
else:
aim_url=url1.format(key_word)
r=requests.get(aim_url,headers=headers)
_json=json.loads(r.text)
try:
#若出现了IndexError则表明没有检索到用户信息
users=_json[\'data\'][\'cards\'][1].get(\'card_group\')
relevant_num=len(users)
l3.place(x=105, y=42)
l3_var.set(f\'搜索到了 {relevant_num} 个用户\')
l3[\'background\']=\'green\'
for user_ in users:
user_info=user_.get(\'user\')
user_name=user_info.get(\'screen_name\')
id = user_info.get(\'id\')
\"\"\"
1.02的一种思路，使用一个列表存储screen_name和uid，两者用;(自定义字符，但应避免较少冲突)
当获取Uid时，直接切割字符串，取Listbox所选项索引，按索引在列表表值（uid）
#使用字符串拼接 格式：screen_name+\';\'+str(id)
# user_data = user_name + \';\' + str(id)
\"\"\"
user_id_list.append(id)
listb1.insert(END,user_name)
except IndexError:#如果没有检索到用户，就会报列表索引错误
messagebox.showinfo(title=\'提示\', message=\'没有检索到相关用户，请更换关键字或使用用户id搜索！\')
l3.place(x=85, y=42)
l3_var.set(f\'请更换关键字或用户id搜索！\')
l3[\'background\']=\'yellow\'
#没有检索到用户的话，提示之后，e1获得焦点之后，清除用户之前输入
e1.bind(\'WM_TAKE_FOCUS\', e1_clear())
else:#处理没有输入关键字
messagebox.showinfo(title=\'info\',message=\'请输入关键字！\')
l3.place(x=110, y=42)
l3_var.set(f\'请输入关键字！\')
l3[\'background\'] = \'red\'
def wb_pics_parse():
key_word=e1.get()
select_path=c1.get()
#1.先判断关键字是否输入
if len(key_word)!=0:
#2.再判断是否选择了磁盘
if len(select_path)==1:
#3.判断所选路径是否存在
if not os.path.exists(select_path):
#4.判断是否在列表框选择了用户名
try:
# 直接获取选中项目
\"\"\"1.05获取Listbox user_name_selected真费劲\"\"\"
global user_name_selected
user_name_selected=listb1.get(listb1.curselection())
user_name_index = listb1.curselection()[0]
user_id = user_id_list[user_name_index]
container_id = \'107603\' + str(user_id)
start_url = f\'https://m.weibo.cn/api/container/getIndex?containerid={container_id}\'
spider = WeiBo_pics_Spider(start_url)
t1.config(state=\'normal\') # 将Text开启，置为可读可写状态
l3.place(x=120, y=42)
l3_var.set(f\'正在运行......\')
l3[\'background\'] = \'green\'
for pic_url in spider.get_pics_url():
filename = pic_url.split(\'/\')[-1]
# 字符串切割，切割出前10个字符串
filename = filename[10:]
thread_it(spider.download_pics,pic_url,filename)
#搜索后，但是没选择用户，会报TclError错误，此except就用来捕获这个异常
except TclError:
messagebox.showwarning(title=\'警告\', message=\'请选择一个用户！\')
l3.place(x=105, y=42)
l3_var.set(f\'请选择一个用户！\')
l3[\'background\'] = \'red\'
#获取当前选中项目(使用索引)
else:
messagebox.showwarning(title=\'警告\',message=\'请检查路径！\')
l3.place(x=80, y=42)
l3_var.set(f\'请检查路径！\')
l3[\'background\'] = \'red\'
else:
messagebox.showwarning(title=\'警告\', message=\'您未选择磁盘!\')
l3.place(x=85, y=42)
l3_var.set(f\'请检查是否选择了磁盘！\')
l3[\'background\'] = \'red\'
else:
messagebox.showwarning(title=\'警告\', message=\'请输入关键字！\')
l3.place(x=110, y=42)
l3_var.set(f\'请输入关键字！\')
l3[\'background\'] = \'red\'
def open_disk():
disk=c1.get()
big_dir=disk+\':/WeiBo_Pics\'
if len(disk)==1:
try:
if not os.path.exists(big_dir):
os.mkdir(big_dir)
os.startfile(big_dir)
except:
messagebox.showwarning(title=\'警告\',message=\'选中的磁盘不存在！\')
l3.place(x=110, y=42)
l3_var.set(f\'选中的磁盘不存在！\')
l3[\'background\'] = \'red\'
else:
messagebox.showwarning(title=\'警告\', message=\'您未选中磁盘！\')
l3.place(x=115, y=42)
l3_var.set(f\'您未选中磁盘！\')
l3[\'background\'] = \'red\'
def window_quit():
ret=messagebox.askyesno(title=\'提示\',message=\'是否要退出？\')
if ret==True:
window.destroy()
window.quit()
def e1_clear():
e1.delete(0,END)
def print_path(event):
#要使用完整的路径
global disk
disk = c1.get()
disk_path=c1.get()+\':/\'
if len(disk)==1:
if os.path.exists(disk_path):
messagebox.showinfo(title=\'提示\',message=f\'文件将存储到：{disk}:/WeiBo_Pics目录下\')
else:
messagebox.showerror(title=\'错误\',message=\'选定磁盘不存在!\')
l3.place(x=100, y=42)
l3_var.set(f\'选中的磁盘不存在！\')
l3[\'background\'] = \'red\'
else:
messagebox.showwarning(title=\'警告\', message=\'请先选定磁盘！\')
l3.place(x=120, y=42)
l3_var.set(f\'请先选定磁盘！\')
l3[\'background\'] = \'red\'
def switch():
if r1_var.get()==0:
r1_var.set(1)
else:
r1_var.set(0)
def escape(event):
window_quit()
def enter(event):
wb_search()
\'\'\'解决程序卡死的重要方法，避免子线程和Ui线程在同一个线程\'\'\'
def thread_it(func, *args):
\'\'\'将函数打包进线程\'\'\'
# 创建
t = threading.Thread(target=func, args=args)
# 守护 !!!
t.setDaemon(True)
# 启动
t.start()
# 阻塞--卡死界面！
# t.join()
window=Tk()
width=310
height=395
screenWidth = window.winfo_screenwidth() # 获取显示区域的宽度
screenHeight = window.winfo_screenheight() # 获取显示区域的高度
left = (screenWidth - width) / 2
top = (screenHeight - height) / 2
window.geometry(\"%dx%d+%d+%d\" % (width, height, left, top))
window.resizable(0,0)
window.title(\'微博图片采集工具-v1.08\')
#设置图标
ico_path=r\'./rely/icon.ico\'
window.iconbitmap(ico_path)
#插入图片到Label中
photo = Image.open(\"./rely/w_b.png\") # 括号里为需要显示在图形化界面里的图片
photo = photo.resize((150, 40)) # 规定图片大小
img0 = ImageTk.PhotoImage(photo)
l1=ttk.Label(window,imag=img0,justify=\'center\')
l1.pack()
l3_var=StringVar()
l3=ttk.Label(window,background=\'yellow\',textvar=l3_var)
l3.place(x=120,y=42)
l3_var.set(\'还没搜索\')
l1=ttk.Label(window,text=\'关键字或\\n用户id：\')
l1.place(x=13,y=60)
e1=ttk.Entry(window,justify=\'center\')
e1.place(x=80,y=65)
l4=ttk.Label(window,text=\'磁盘:\')
l4.place(x=13,y=100)
disk_list=[\'C\',\'D\',\'E\',\'F\',\'G\',\'H\',\'I\']
c1=ttk.Combobox(window,justify=\'center\',state=\'readonly\',width=17,value=disk_list)
#Combobox默认选中索引为0的项目 即 C盘
c1.bind(\'<<ComboboxSelected>>\', print_path)
c1.place(x=80,y=100)
r1_var=IntVar()
r1_var.set(1)#默认选中为1
check1=Checkbutton(window,text=\'下载完\\n打开文件夹\',command=switch)
check1.place(x=223,y=90)
b1=ttk.Button(window,text=\'搜索\',command=lambda:thread_it(wb_search),width=7)
b1.place(x=230,y=63)
l5=ttk.Label(window,text=\'用户列表:\')
l5.place(x=13,y=150)
lb1_var=StringVar()
listb1=Listbox(window,justify=\'center\',listvariable=lb1_var,width=20,height=4)
listb1.place(x=80,y=135)
b2=ttk.Button(window,text=\'开始爬取\',command=lambda :thread_it(wb_pics_parse,),width=7)
b2.place(x=230,y=160)
l6=ttk.Label(window,text=\'状态：\')
l6.place(x=13,y=280)
t1=Text(window,width=23,font=(\'times new roman\',10),state=\'disable\')
t1.place(x=80,y=230,height=140)
b3=ttk.Button(window,text=\' 打开\\n文件夹\',width=7,command=open_disk)
b3.place(x=230,y=230)
b3=ttk.Button(window,text=\'退出\',width=7,command=window_quit)
b3.place(x=230,y=315)
f1 = ttk.LabelFrame(window)
f1.place(x=65,y=350)
l6=ttk.Label(f1,text=\'敬告：本软件仅供学习交流使用！\',foreground=\'red\')
l6.pack(anchor=\"w\",fill=X)
#绑定esc键---退出
window.bind(\'<Escape>\',escape)
#使用return键给输入框Entry绑定enter事件---search搜索
e1.bind(\'<Return>\',enter)
#加入主窗口销毁事件
window.protocol(\'WM_DELETE_WINDOW\',window_quit)
window.mainloop()
五．总结说明
本软件仅供学习交流使用！图源水印，在此仅作举例！
由于这是第一次做GUI，因此遇到了一些问题，在此列举一下：
1.窗口布局问题（GUI基础）
2.主窗口执行一个比较耗时操作导致卡死、崩溃（线程问题）。
3.主窗口关闭后，后台线程还在运行（线程问题）。
以上问题已经全部解决，软件切实可用。
另外,本软件有四大亮点：
1.使用线程下载图片
2.智能标签提醒
3.输入关键字直接敲回车能够完成搜索
4.Esc快速退出软件
软件打包好了放在了蓝奏云https://wws.lanzous.com/iPSpzkchj5i
以上就是python制作微博图片爬取工具的详细内容，更多关于python 微博图片爬取的资料请关注自学编程网其它相关文章！
