- Python网络爬虫从入门到精通
- 明日科技编著
- 2066字
- 2025-02-14 21:27:51
1.4 搭建开发环境
1.4.1 安装Anaconda
Anaconda是一个完全免费的大规模数据处理、预测分析和科学计算工具。该工具中不仅集成了Python解析器,还有很多用于数据处理和科学计算的第三方模块,其中也包含许多网络爬虫所需要使用的模块,如requests模块、Beautiful Soup模块、lxml模块等。
在Windows系统下的浏览器中打开Anaconda的官方地址(https://www.anaconda.com/distribution/)下载对应的安装文件,如图1.2所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P16_52455.jpg?sign=1739624967-ReHJbXf77HzJWRXn26Nz3cdo64Ks2l0i-0-7cb43e593877254083151ba4be8d2bb4)
图1.2 下载Anaconda
这里笔者所选择的是Windows(64-Bit Graphical Installer为当时的最新版本),下载完成后直接双击运行下载的文件,在Welcome to Anaconda3(自己下载的版本)窗口中直接单击Next按钮,如图1.3所示。
在License Agreement窗口中直接单击I Agree按钮,如图1.4所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52456.jpg?sign=1739624967-6RM3gFGT8gAEhDNUmMe3H6qNnWp4Sc9N-0-4b72b0dc84b16ea4e119e276e771dd22)
图1.3 Welcome to Anaconda3窗口
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52457.jpg?sign=1739624967-YW9k7K3oztLcuyvQ9Mh9hFe8IVKNhKyL-0-059b7a774430f28a7d4557e361a2703e)
图1.4 License Agreement窗口
在Select Installation Type窗口内选中All Users(requires admin privileges)单选按钮,然后单击Next按钮,如图1.5所示。
在Choose Install Location窗口中选择自己的安装路径(建议不要使用中文路径),这里笔者选择一个自定义的安装路径,然后单击Next按钮,如图1.6所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52458.jpg?sign=1739624967-r2vtHpf7jHkGp0jPJ5GhCdt5FRnR4Gps-0-39e753dc05c63faabf9c11f764b509d9)
图1.5 选中All Users(requires admin privileges)单选按钮
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P17_52459.jpg?sign=1739624967-w4CddK84QaxsKzykjsgB5fv2PpBs5qyb-0-aeb904b3849d7700111ff9407e81fd92)
图1.6 选择安装路径
在Advanced Installation Options窗口中,选中第一个复选框,将Anaconda加入环境变量,然后单击Install按钮进行安装,如图1.7所示。
由于Anaconda中包含的模块较多,所以在安装过程中需要等待的时间较长,安装进度如图1.8所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52462.jpg?sign=1739624967-IQ6suEWO2vkCUPGioSvbpiMr0hYurtY5-0-49bb92863e5887c0e8a0560f722e07f5)
图1.7 将Anaconda加入环境变量
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_4507.jpg?sign=1739624967-f4xYZjmhaSRrjexU9JCWMFXjl58sppfs-0-39247c72d08629f500d93098bf02e01b)
图1.8 安装进度
安装进度完成以后,将进入Installation Complete窗口中,在该窗口中直接单击Next按钮,如图1.9所示。
由于Anaconda与JetBrains为合作关系,所以官方推荐使用PyCharm开发工具,在该窗口中直接单击Next按钮,如图1.10所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52463.jpg?sign=1739624967-LwlQ1AutWVD4Lf8SBxkjmj9naFVJZAsp-0-66c9eb16ba514480348d735c6d76330d)
图1.9 安装完成
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P18_52464.jpg?sign=1739624967-tQAKpYS2vonnCGlsum3ph1cdeNVFPKne-0-e0a345939a628656eccf3621bc8beb04)
图1.10 PyCharm开发工具提示
最后在“Thanks for installing Anaconda3!”窗口中根据个人需求,选中或取消选中(笔者选择取消选中)两个复选框,再单击Finish按钮,如图1.11所示。
将Anaconda安装完成以后并保证已经添加系统环境变量的情况下,打开“命令提示符”窗口,然后输入“conda list”后按Enter键,即可查看当前Anaconda已经安装好的所有模块,如图1.12所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_52465.jpg?sign=1739624967-lgiwFVE7yq166lDxLD2eieRh5mcwObEW-0-50e80b90e4e2546ff4835acb2d547601)
图1.11 安装结束
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_4598.jpg?sign=1739624967-bR4UuJmxUesuFxc67zJ5Kre49kfOdaFp-0-b052c3170ed82b84314b0082d190c0fb)
图1.12 查看当前Anaconda已经安装好的所有模块
1.4.2 PyCharm的下载与安装
PyCharm是由JetBrains公司开发的Python集成开发环境,由于其具有智能代码编辑器,可实现自动代码格式化、代码完成、智能提示、重构、单元测试、自动导入和一键代码导航等功能,目前已成为Python专业开发人员和初学者使用的有力工具。
打开PyCharm官网的下载地址(https://www.jetbrains.com/pycharm/download/),然后选择下载PyCharm的操作系统平台为Windows,单击开始下载社区版PyCharm(Community),如图1.13所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P19_52466.jpg?sign=1739624967-kXzMABqAfDUXYdJ9GrWNnxkBHjY9A7aW-0-f3ab202b086fd38c6bd26848b3bb33d5)
图1.13 PyCharm环境与版本下载选择页面
双击PyCharm安装包进行安装,在欢迎界面单击Next按钮进入软件安装路径设置界面,如图1.14所示。
在Choose Install Location窗口中选择一个需要安装的路径,这里不建议将安装路径设置在默认的C盘中,笔者选择自定义安装路径,确认安装路径后单击Next按钮,如图1.15所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52467.jpg?sign=1739624967-QHblyynhbtWCf6SAKhF3GsuP8jauoZw1-0-2948d62cbdc8b02b76ff1a9772dc167d)
图1.14 PyCharm欢迎界面
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52468.jpg?sign=1739624967-3wmjdJ1giDhpYefZ6mkmzATU7uD7cE8g-0-a7e89fb3447120fe6f3306946a628335)
图1.15 设置PyCharm安装路径
在Installation Options窗口中首先在桌面快捷方式(Create Desktop Shortcut)中设置PyCharm程序的快捷方式,笔者系统为64位,所以选中64-bit launcher复选框,然后设置关联文件(Create Associations),选中“.py”复选框,这样以后再打开.py(.py文件是Python脚本文件,接下来编写的很多程序都是后缀名为.py的文件)文件时,会默认调用PyCharm打开,如图1.16所示。
在Choose Start Menu Folder窗口中直接单击Install按钮,如图1.17所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52469.jpg?sign=1739624967-lnV40Tr5lDIIbYToWJslhSIkKxRVIvU2-0-d8e2ce48e37eb560a76a2c9d7ee7b0f4)
图1.16 设置快捷方式和关联
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P20_52470.jpg?sign=1739624967-Pi988329xB3jkxZzWhXw2F0RcexwqfQw-0-c628c07169e734d53cd3263f785f2e80)
图1.17 选择开始菜单文件夹窗口
安装进度完成以后,在Completing PyCharm Community Edition Setup窗口中,在不直接运行PyCharm开发工具的情况下,单击Finish按钮即可,如图1.18所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P21_52471.jpg?sign=1739624967-M6TA29NhQX1C5Xt6QNWRzj4HtypJzFKd-0-09b40f21da551cebe6dc5be5aa45a5ea)
图1.18 完成安装
1.4.3 配置PyCharm
双击PyCharm桌面快捷方式,启动PyCharm程序。选择是否导入开发环境配置文件,这里选择不导入,单击OK按钮,进入阅读协议页,如图1.19所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P21_52472.jpg?sign=1739624967-iR7sCcZQAL0GCfSaj12oH7aSt4uKNcaE-0-912178fbc4eb0c3c89f606d3b8f1cadf)
图1.19 环境配置文件窗口
在Set UI theme窗口中可以根据个人需求选择开发工具的主题样式,笔者这里选中Light,使用白色的主题颜色,然后单击Next:Featured plugins按钮,如图1.20所示。
在Download featured plugins窗口中,直接单击Start using PyCharm按钮,如图1.21所示,此时程序将进入欢迎界面。
进入PyCharm欢迎页,单击Create New Project,创建一个新工程文件,如图1.22所示。
在New Project窗口中,首先选择工程文件保存的路径,然后单击Create按钮,如图1.23所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P22_52473.jpg?sign=1739624967-FXHtZTRsQ2zujhPx6QMhkRMtPxoQaXls-0-b94092792f2b2fea2876827bf4b57bea)
图1.20 选择主题颜色
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P22_52474.jpg?sign=1739624967-rrQ9s2Wu5Z0tzK1ws0DfULwFFS8q2ysA-0-ce03a5c47151ecfc0f020ceae0cbed44)
图1.21 下载特色插件
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52475.jpg?sign=1739624967-FEDx5oc7q2Bjdd2A1y8hRhEO4RxkMevo-0-9c4aba162ddf4ecf17b4c9096bebedb3)
图1.22 PyCharm欢迎界面
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52476.jpg?sign=1739624967-LKSTYxkMrk8srI6Bix9MW7wSl8DG9NId-0-26b9f6312b166c3fa02e901319b334a8)
图1.23 设置Python存储路径
工程创建完成以后,关闭Tip of the Day窗口,然后依次选择File→Settings选项,如图1.24所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P23_52477.jpg?sign=1739624967-suemt09z0iTccGRJMwpaydaIupck2RJx-0-eeb5f7f35f2e4ee20de881ee8cfab3da)
图1.24 打开设置窗口
在Settings窗口中依次选择Project:demo(demo为自己编写的工程名称)→Project Interpreter,然后在右侧的下拉列表中选择Show All…,将打开Project Interpreters窗口,如图1.25所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52478.jpg?sign=1739624967-vBwjhqcFfebmxANZaHfuMaVHLzkAoggi-0-4936e0c2f015aa407c2a4db1d94c7294)
图1.25 进入设置窗口
在Project Interpreters窗口中,单击右侧的“+”按钮,如图1.26所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52479.jpg?sign=1739624967-2TvNROaxL91ehLRKcAgfK1YOsn2vLUST-0-b09bb31c7235b13c1c75c8fa86c5a5a0)
图1.26 单击按钮
在Add Python Interpreter窗口中,首先单击左侧的System Interpreter选项,然后在右侧的下拉列表中选择Anaconda中的python.exe,最后单击OK按钮,如图1.27所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P24_52480.jpg?sign=1739624967-QU0ucMyXfsH0NZXBTz48DVArdze52vi8-0-319289091fa10c6adc0b0955cfd7f69d)
图1.27 添加Python编译器
返回Project Interpreters窗口后,选择新添加的Anaconda中的python.exe编译器,然后单击OK按钮,如图1.28所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P25_52481.jpg?sign=1739624967-jNAVyZIlzawqm0w1GQ3ogu7kpfKRkoBw-0-b0768a9a5a91a62a07e142d542f0fa0e)
图1.28 选择Anaconda中的Python编译器
返回Settings窗口,此时窗口中将自动显示出Anaconda内已经安装的所有Python模块,然后单击OK按钮,如图1.29所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P25_52482.jpg?sign=1739624967-THrIBPS9ZCyDLSXeb9Vg6iHFlsnv07kv-0-8635583598a5b038a5254e405546a100)
图1.29 显示Anaconda内已经安装的Python模块
1.4.4 测试PyCharm
右击新建好的demo项目,在弹出的快捷菜单中选择New→Python File命令(一定要选择Python File项,这个至关重要,否则无法后续学习),如图1.30所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52483.jpg?sign=1739624967-vWA9Nn0M3SXlQKfNt8K22BUGYy3Mgjdd-0-f6d4660201310951ac7c0dbfc9ec058b)
图1.30 新建Python文件
在新建文件对话框输入要建立的Python文件名hello world,如图1.31所示。随后按Enter键,即可完成新建Python文件工作。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52484.jpg?sign=1739624967-LlzxwGgkiFmHv5L993LHTWFHfVLWElfP-0-3a7183082dd25ef9668959ae5da375f7)
图1.31 输入新建的Python文件名称
在新建文件的代码编辑区输入代码“print ("hello world!")”,如图1.32所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P26_52485.jpg?sign=1739624967-SruLFM1ddMPxnP9nIJiYe5dekhAX15aw-0-88dc5270ac5574fb8ee9d41ebcc7cf5c)
图1.32 输入代码
在编写代码的区域右击,在弹出的快捷菜单中选择Run 'hello world'命令,运行测试代码,如图1.33所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P27_52486.jpg?sign=1739624967-fpSHOXoBTS3qsGLUWHJGrveKRPRqvzln-0-cc9240c36c8e5eb320ae3f361a5d4094)
图1.33 运行Python测试代码
如果程序代码没有错误,那么将显示运行结果,如图1.34所示。
![](https://epubservercos.yuewen.com/8BF9E9/23721540501937606/epubprivate/OEBPS/Images/Figure-P27_52487.jpg?sign=1739624967-2tmnINFZ5HorzHk3N71Eoensj1DoZcXn-0-25a56ff94a1a7079e31c1a546e57d4a0)
图1.34 显示程序运行结果