【试验】用PowerQuery处理SQL数据库的2000万行数据失败

【试验】用PowerQuery处理SQL数据库的2000万行数据失败,第1张

最近无意中得到一个有2000万行记录的数据,我将其折腾到SQL Server中,然后用PowerQuery来分析。

首先,将所有列导入PowerQuery来处理,是不现实的:建立步骤都OK,但是步骤运行失败——提示内存不足,进而计算机黑屏,按任何按键都没用,只能重启。我是Q2760的CPU和16G的内存。单单启动SQL Server就占去了差不多7G内存。

其次,尝试在PowerQuery建立数据源的时候,就用SQL查询语句提取出两列,然后对这两列进行分组计数,结果还是提示内存不足,计算机无响应黑屏,只能重启。

尝试在SQL Server 中选取两列并截取其中包含日期和时间的列,运算失败,提示内存不足。

尝试在SQL Server中提取出小时并对记录按原始的时间列分组,得到700多万行数据。(目前我正在自学SQL Server,尝试用提取出来的小时分组时报错,不知原因;只好用原始的时间列分组)。将查询结果导出为csv文件(还不会将查询结果添加到SQL Server中的新表),用PowerQuery分析这700多万行数据,得出24小时内每个小时区间的记录数,成功。

可能是因为user是数据库中的关键字所以出错了

如果你写的是这样的话

select

*

from

user

就可能出错

可以修改表名或者

修改select语句为

select

*

from

'user'

就可以了


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9775727.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-01
下一篇2023-05-01

发表评论

登录后才能评论

评论列表(0条)

    保存