用Python 做策略回测,耗时很长,有什么加速办法

用Python 做策略回测,耗时很长,有什么加速办法,第1张

不是,这里测不出真的网速,应该用电脑管家测。不过我觉得是系统问题。在给你推荐一种方法,可以提高20的宽带。一、每天关机前清洗1、双击“我的电脑”2、右键点C盘3、点“属性”4、点“磁盘清理”5、点“确定”6、再点“是”7、再点“确定”。8、清理过程中,您可看得到未经您许可(您可点“查看文件”看,就知道了)进来的“临时文件”被清除了,盘的空间多了。对D,E,F盘也用此法进行。二、随时进行清理1、打开网页2、点最上面一排里的“工具”3、点“Internet选项”4、再点中间的“Internet临时文件”中的“删除文件”5、再在“删除所有脱机内容”前的方框里打上勾6、再点“确定”7、清完后又点“确定”。8、这样,可为打开网页和空间提速 三、一星期进行所有盘的垃圾清理1、点“开始”2、用鼠标指着“所有程序”3、再指着“附件”,4、再指着“系统工具”5、点“磁盘粹片整理程序”6、点C盘,再点“碎片整理”(这需要很长时间,最好在您去吃饭和没用电脑时进行。清理中您可看到您的盘里的状况,可将清理前后对比一下)7、在跳出“清理完成”后点“关闭”。8、按上述方法,对D,E,F盘分别进行清理。四、给宽带加速,一分钟学会释放电脑保留的20%宽带资源。1、单击“开始——运行”,输入gpeditmsc回车后即可打开“组策略对象编辑器”。2、“计算机配置——管理模板——网络——QoS数据包计划程序”,双击右面设置栏中的“限制可保留带宽”,在打开的属性对话框中的“设置”选项卡中将“限制可保留带宽”设置为“已启用”,然后在下面的“带宽限制(%)”栏将带宽值“20”设置为“0”即可。3、修改完之后,我们可重新打开IE浏览器或者用BT或迅雷下载文件,发现上网和下载的速度明显提升。此项修改对XP和VISTA均有效。

单线程的达到最大化的要求如下

硬件提升:

1、网速,要2M每秒

2、cpu或者运行内存大,越大越好,单线程要求8G

程序提升:

1、少几个for啦,没事写那么多循环干嘛

另一个方法就是多线程,将网页请求放到数组里面,一股脑全部发送出去,然后就看网络的下载了,网络好就能快速的读取储存反馈的信息

一 关于爬虫

爬虫,是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。

反爬虫,从不是将爬虫完全杜绝;而是想办法将爬虫的访问量限制在一个可接纳的范围,不要让它过于频繁。

二 提高爬虫效率的方法

协程。采用协程,让多个爬虫一起工作,可以大幅度提高效率。

多进程。使用CPU的多个核,使用几个核就能提高几倍。

多线程。将任务分成多个,并发(交替)的执行。

分布式爬虫。让多个设备去跑同一个项目,效率也能大幅提升。

打包技术。可以将python文件打包成可执行的exe文件,让其在后台执行即可。

其他。比如,使用网速好的网络等等。

三 反爬虫的措施

限制请求头,即request header。解决方法:我们可以填写user-agent声明自己的身份,有时还要去填写origin和referer声明请求的来源。

限制登录,即不登录就不能访问。解决方法:我们可以使用cookies和session的知识去模拟登录。

复杂的交互,比如设置“验证码”来阻拦登录。这就比较难做,解决方法1:我们用Selenium去手动输入验证码;方法2:我们用一些图像处理的库自动识别验证码(tesserocr/pytesserart/pillow)。

ip限制。如果这个IP地址,爬取网站频次太高,那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法:使用timesleep()来对爬虫的速度进行限制,建立IP代理池或者使用IPIDEA避免IP被封禁。

以上就是关于用Python 做策略回测,耗时很长,有什么加速办法全部的内容,包括:用Python 做策略回测,耗时很长,有什么加速办法、如何提高 python requests 抓取页面一级二级链接的效率、Python爬虫如何避免爬取网站访问过于频繁等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/web/9320742.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-27
下一篇2023-04-27

发表评论

登录后才能评论

评论列表(0条)

    保存