python操作postgresql数据库,线程并行修改5w条数据,性能优化

之前的任务中,我们创建了,日志系统,操作excel文档和数据库的接口、高德地图的接口。但是城市的数据有2000多条,我们每次单线程地去存取数据,太慢了。后来我们测试、例如OP文档OP数据库都属于IO操作比较密集的操作。子优化操作数据库的时候,我们选定线程池并行,创建新的xls表,接下来让我们从新的额xls表中读取数据并存入数据库POSTGRE吧🙃

k-邻近算法实现约会网站的配对效果

k- 近邻 (k-NearestNeighbor,kNN) 分类算法是数据挖掘分类技术中最简单的方法之一。K- 近邻算法是通过测量不同特征值之间的距离进行分类的。基本思路是:如果一个样本在特征空间中的k 个最邻近样本中的大多数属于某一个类别,则该样本也属于这个类别。该方法在决定类别上只依据最近的一个或几个样本的类别来决定待分类样本所属的类别。KNN 算法中,所选择的邻居都是已经正确分类的对象。该方法在分类决策上只依据最邻近的一个或几个样本的类别来决定待分类

分类算法-AdaBoot 算法

AdaBoost 是英文"Adaptive Boosting"(自适应增强)的缩写,是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器 ( 弱分类器 ),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。AdaBoost 是 Adaptive Boosting(自适应)的缩写,它的自适应在于:前一个基本分类器分错的样本会得到加强,加权后的样本再次被用来训练下一个基本分类器。同时,在每一轮中加入一个新的弱分类器,直到达到某个预定的足

使用朴素贝叶斯过滤垃圾邮件

朴素贝叶斯分类器 (Naive Bayes Classifier, NBC) 发源于古典数学理论,有着坚实的数学基础,以及稳定的分类效率。同时,NBC 模型所需估计的参数很少,对缺失数据不太敏感,算法也比较简单。之所以成为 “朴素” 是因为整个形式化过程只做最原始、最简单的假设。朴素贝叶斯在数据较少的情况下仍然有效,可以处理多类别问题。

数据预处理-数据归约

数据归约是指在尽可能保持数据原貌的前提下,最大限度地精简数据量。原数据可以用来得到数据集的归约表示,它接近于保持原数据的完整性,但数据量比原数据小得多,与非归约数据相比,在归约的数据上进行挖掘,所需的时间和内存资源更少,挖掘将更有效,并产生相同或几乎相同的分析结果。

数据预处理-数据清理

主要是针对数据之中包含缺失的数据,存在异常数据和数据包含噪声的情况。当出现这些情况的时候,需要对数据进行过滤清洗清理。

百度推送工具开发

百度站长平台官方提供的推送接口 工具的作用是批量提交网站链接,推送给百度收录