3

文章分类:python_小项目

python开发的一些小项目

python对城市距离爬取-小型完整项目

本地创建数据库,将excel数据存储到city表中,再取|湖北省|的所有地级市和县、县级市、区数据作为样表数据记录在样表中。利用python的xlrd包,定义process_data包来存放操作excel数据,生成sql语句的类,定义op_postgresql包来存放数据库的操作对象,定义各种方法

python操作postgresql数据库,线程并行修改5w条数据,性能优化

之前的任务中,我们创建了,日志系统,操作excel文档和数据库的接口、高德地图的接口。但是城市的数据有2000多条,我们每次单线程地去存取数据,太慢了。后来我们测试、例如OP文档OP数据库都属于IO操作比较密集的操作。子优化操作数据库的时候,我们选定线程池并行,创建新的xls表,接下来让我们从新的额xls表中读取数据并存入数据库POSTGRE吧🙃

python操作excel文档IO频繁,多线程/线程池修改2800条数据

之前的任务中,我们创建了,日志系统,操作excel文档 和 postgresql数据库的接口、高德地图的接口。但是城市的数据有2000多条,我们每次单线程地去存取数据,太慢了。我们来试试集中并发执行地方式,并比较一下。测试用进程、协程、线程来分别测试。看看哪个效果好。