Python on 日日是好日-我的生活记录

Python爬虫踩坑

Sun, 22 Dec 2019 17:53:58 +0800

　　这两天跟着徐徐大佬学了一下爬虫，想用 python 爬一下cfda网站上的药品数据，徐徐试了**requests和selenium**的办法，发现爬到的都是一串神秘字符串，如图，

　　因为浏览器能正常打开，所以猜测是服务器端用了某种压缩/动态渲染，就想着能不能用 Selenium + PhantomJs/ChromeDriver 这种无头浏览器来弄，结果每次结果都是空的，Google了各种方法，StackOverflow上的办法大多是加命令参数/改程序版本，结果好像加了各种命令选项都不行，这是最后的代码，

　　得到的driver.page_source结果永远都是空的：
<html><head></head><body></body></html>
　　用driver.save_screenshot('1.png')截图也只能截到空白的图片。
　　后来去掉#options.add_argument("--headless"),弹出chrome浏览器的时候看了一下它的Cookie，发现比真实浏览器的少了一个名字叫JSESSIONID的Cookie，代码输出一下Cookie：
print(driver.get_cookies())
　　发现确实只有后两个Cookie：

    [{'domain': 'mobile.cfda.gov.cn', 'expiry': 1892368214, 'httpOnly': False, 'name': 'tuNQaYE2WCOr80T', 'path': '/', 'secure': False, 'value': '44Kn.5S4Qs9FYazHg9cvpAh7RvvkX6CHCFFLnsNw3CWLTJqQ6uRw0fI8bg5vrYGQEX6hJa0J.RsRZXrnLpG9ViGS6qQB.h0ihFdotILVHmKWMi8rTSe4I7l24OjHVvISZagZFyCmw23._.vUSDK3RsDU47zozbhS.mSlLRCcnw4tiTC6vzgime927xft3LdtTnQXjiYoqH.ONQGdKHPdqzeGiwGMEjgoxEebyhgXrJn2tAr5hqtntejwrroOnMyvm77CXd8_V5QkuK5aINNj2DYlMrReJ7uKRLSx3FeepzkKvtT5WFd.hbAsVYU5eqbtb_Mq'},        
    {'domain': 'mobile.cfda.gov.cn', 'expiry': 1892368213.81084, 'httpOnly': True, 'name': 'tuNQaYE2WCOr80S', 'path': '/', 'secure': False, 'value': 'hPNhBHTwoBvnsQ5znkw4QCEmXQJ7.5vsBR2r8eDpRyWyiYBaMsjvKkr75trGzXPe'}]

　　这是真实浏览器的Cookie：

　　可能就是因为这个原因打不开浏览器。
　　后来试着去群里问了一下，感谢@姬大神还有群里的@耿欣大佬，他俩告诉我可以用**Postman**发请求，然后生成带Header的代码，如图，Postman能显示所有Cookie和Header信息,可以看到Header信息里，服务端用了gzip还有gb2312的编码格式(图3)：

　　点击右上角的Code按钮可以生成各种版本的请求代码，生成之前可以设置一下 Include Temporary Headers 选项让生成的代码含有现在的**Headers**

Python提取Win10锁屏Spotlight

Wed, 27 Nov 2019 19:10:14 +0800

　　刚才看见Win10锁屏界面的星空图特别好看，想要下载下来发微博。查了一下知乎上的方法：

　　win + r然后在弹出的运行框中运行

%localappdata%\Packages\Microsoft.Windows.ContentDeliveryManager_cw5n1h2txyewy\LocalState\Assets

　　会弹出一个文件夹，貌似锁屏图片文件就是存在这个文件夹里，只不过文件都没有后缀，想要看得手动加.jpg才能打开看。

　　使用python实现，先查了一下用python怎么得到这个%localappdata%路径,具体实现:

    import os 
    localappdata = os.environ['LOCALAPPDATA']

　　有了路径然后就可以用pillow把图片转存出来。这是全部代码：

    import os 
    from PIL import Image
    from shutil import copy2

    localappdata = os.environ['LOCALAPPDATA']
    srcPath = fr'{localappdata}\Packages\Microsoft.Windows.ContentDeliveryManager_cw5n1h2txyewy\LocalState\Assets'
    destPath = fr'{os.getcwd()}\pics'

    fileList = os.listdir(srcPath)
    os.makedirs(destPath, exist_ok = True)
    for item in fileList:
        im=Image.open(srcPath + '\\' + item)
        copy2(srcPath + '\\' + item, destPath + '\\' + item + '.jpg')
        print('成功拷到一个图片~~')

Ubuntu16.04升级Python3.7

Tue, 26 Nov 2019 00:23:55 +0800

Ubuntu16.04默认带的Python是2.7.12和3.5，升级到Python3.7的步骤如下：

第一步，增加ppa仓库:

$sudo add-apt-repository ppa:jonathonf/python-3.7

第二步，升级apt索引，更新python:

$sudo apt-get update

$sudo apt-get install python3.7

第三步，更换系统默认的软链命令Python3到新的Python3.7:

$sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.5 1

$sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.7 2

最后，update-alternatives命令可以修改系统默认命令的软链指向，通过以下命令，可以切换Python3的指向:

$sudo update-alternatives --config python3

查看python2 和 python3的版本:

$python2 --version

$python3 --verison

Python实现微博爬取+统计高频词

Sat, 23 Nov 2019 13:57:11 +0800

帮小乔爬了一下共青团中央的所有微博，做了一下高频词统计。

爬取数据

爬数据用的github上别人的项目，地址是https://github.com/dataabc/weibo-crawler
爬之前需要设置好要爬的微博的微博id，以及时间范围、原创微博还是转发微博、是否爬图片、视频等选项。然后直接运行

python weibo.py

这里把时间设置成1900-01-01，爬了共青团中央至2019-11-23的所有原创微博。
这是爬好的数据，一共有两万多条数据。

统计高频词

使用jieba分词并统计高频词频率
先把微博内容提取出来

    import csv
    with open('3937348351.csv','r' , encoding='utf-8') as csvfile:
        reader = csv.DictReader(csvfile)
        column = [row['正文'] for row in reader]
    with open("C:\\Users\\Lenovo\\Desktop\\词频统计\\in.txt", "w", encoding='utf-8') as f:
        f.write(''.join(column))

然后使用jieba处理

    stop = input('stop路径: ')
    jieba.analyse.set_stop_words(stop)
    file = input('输入文件路径: ')
    lines = open(file,encoding= 'utf8').read()
    new = input('输出文件路径: ')
    newfile = open(new,"w",encoding= 'utf8')
    num=int(input('高频词个数: '))
    newfile.write("  ".join(analyse.extract_tags(lines, topK=num, withWeight=False, allowPOS=())))
    newfile.close()

高频词个数输入100，就可以得到共青团中央前100的高频词了，这是结果：