
1、首先明确一点,如果每条数据需要一秒的时间,假如是一亿条数据至少需要2年左右,意味着你两年都不能使用这个数据库,在现实生活中,你认为可能这样做吗?
2、解决这类问题的最好办法就是:时间换空间,例如:最早的新浪微薄的用户登陆日志就这样实现的,他的登陆日志并不是在用户每次登陆后进行更新的,而当用户量少的时间段进行数据的更新 *** 作,或则每次用户登陆的时候多执行一条更新的语句,不过这样做,缺少实时性。
3、正所谓:“鱼和熊掌二者不可得兼”,我认为并没有空间和时间可以得到完全平衡的方法,只是看你更在意空间还是时间问题。
您好,Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的 适应高吞吐量的数据库解决方案。
ORACLE数据库系统是美国ORACLE公司(甲骨文)提供的以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。比如SilverStream就是基于数据库的一种中间件。ORACLE数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管理功能;作为一个关系数据库,它是一个完备关系的产品;作为分布式数据库它实现了分布式处理功能。但它的所有知识,只要在一种机型上学习了ORACLE知识,便能在各种类型的机器上使用它。
你可以看一下Moebius集群
Moebius集群由一组数据库服务器组成,每个服务器上安装相同的数据库,集群支持无共享磁盘架构,各机器可以不连接一个共享设备,数据可以存储在每个机器自己的存储介质中。
依据数据是否分区,Moebius集群架构分为标准架构和高级架构:
标准架构:每个节点中具有完全相同的数据,每个节点都拥有数据全集。
高级架构:每个节点中数据是不同的,每个节点只拥有数据全集的一部分。
建议你使用高级架构,因为你的数据比较多需要分区,这样才能提高查询效果。
标准架构一般用来做双机备份。
Moebius For SQL Server高级结构支持两种分区方式:Hash分区和线性分区。
Hash分区:是将表按某一字段的值均匀地分布到若干个指定分区中的一种分区方法。
优点:每个分区内分配的数据比较平均,承载的压力也就比较平均,机器能够得到充分的利用。
缺点:不易扩展,如果扩展新的分区会涉及到数据的重新分配,因此在设计的时候要提前规划好。
Moebius For SQL Server支持把多个分区数据放在一个机器上然后再根据压力逐个的拆到新机器中去,这样既可以保证了分区的规划又不浪费机器,实现了线性扩展。
线性分区:即范围分区,将表按某一字段的取值范围进行分区,如按时间,每个月的数据在一个分区中。
优点:扩展性能比较好,因为数据的增长是有一定规律的。
缺点:每个分区内数据的压力不是很平均,大部分业务都存在这种现象,越老的数据被访问的频率越低,从而导致各机器面临的压力也不同,因此使机器的利用率不高。
Moebius For SQL Server支持把多个分区数据放在一个机器上,所以可以通过新老分区的交替使用来提高机器的利用率。
你可以根据自身是扩展性优先 还是 服务器利用率优先 选择相应的分区
高级架构的中间件会帮助你并行执行SQL语句。
当需要在Excel中对数据进行分类计算时,除了使用数据透视表,还可以使用分类汇总命令。与数据透视表不同的是,它可以直接在数据区域中插入汇总行,从而可以同时看到数据明细和汇总。下面是分类汇总的使用方法:
在进行分类汇总前,需保证数据具有下列格式,即数据区域的第一行为标题行,数据区域中没有空行和空列,数据区域四周是空行和空列,如下图是几种商品在一些城市的销售数据。另外,如果数据区域在应用分类汇总前已被设置成Excel 2003列表或Excel 2007表,需将其转换为普通区域。因为对于Excel 2003列表或Excel 2007表无法使用分类汇总。
一、仅对某列进行分类汇总
例如上例中需要对各城市的销售量进行分类汇总,方法如下:
1 首先对数据按需要分类汇总的列(本例为“城市”列)进行排序。
选择“城市”列中的任意单元格,在Excel 2003中单击工具栏中的排序按钮如“A→Z”。在Excel 2007中,选择功能区中“数据”选项卡,在“排序和筛选”组中单击“A→Z”按钮。
2 选择数据区域中的某个单元格,在Excel 2003中单击菜单“数据→分类汇总”。如果是Excel 2007,则在“数据”选项卡的“分级显示”组中单击“分类汇总”。
3 在d出的“分类汇总”对话框中,在“分类字段”下选择“城市”,在“汇总方式”中选择某种汇总方式,可供选择的汇总方式有“求和”、“计数”、“平均值”等,本例中选择默认的“求和”。在“选定汇总项”下仅选择“销售额”。
4单击确定,Excel将按城市进行分类汇总。
二、对多列进行分类汇总
如上例中需要同时对“城市”列和“商品名称”列进行分类汇总,可以插入嵌套分类汇总。
1对数据进行多列排序,即进行多关键字排序。
首先选择数据区域中的某个单元格。
在Excel 2003中,单击菜单“数据→排序”。d出“排序”对话框,其中主要关键字选择“城市”,次要关键字选择“商品名称”,其他选择默认。
如果是Excel 2007,在“数据”选项卡的“排序和筛选”组中单击“排序”命令,在d出的“排序”对话框中,单击“添加条件”按钮添加次要关键字排序条件,然后主要关键字选择“城市”,次要关键字选择“商品名称”,其他选择默认。
2对“城市”列进行分类汇总(外部分类汇总)。
按上述方法打开“分类汇总”对话框,在“分类字段”下选择“城市”,在“汇总方式”中选择默认的“求和”,在“选定汇总项”下仅选择“销售额”。单击“确定”。
3对“商品名称”列进行分类汇总(嵌套分类汇总)。
再次打开“分类汇总”对话框,在“分类字段”下选择“商品名称”,取消选择“替换当前分类汇总”,单击“确定”。
这时Excel将按“城市”列和“商品名称”列对“销售额”进行分类汇总。
如果不需要显示明细数据,可以单击左侧的分级显示符号,如本例中右上角的数字和左侧的减号来隐藏明细数据。
三、删除分类汇总
在“分类汇总”对话框中,单击“全部删除”即可。
上亿条的数据 ,什么数据会用多大资源 怎么处理的 数据库作出处理时会用多少资源 这多不是简单能预见的,所以无法给出配置建议,如果你们有程序员做测试的话就好解决了。要是不了解就直接配个好点的。
步骤如下:
1 建新表(t2);
2 将旧表t数据插入到新表t2;
3 将旧表删除;
4 重建约束和索引;
其实事情已经做完了, 2亿7千万条数据存储过程分批插入大概3小时完成, 只是探索一下:
有无更好更方便的方式来做这个事情
oracle SQL优化 主表(ZS_YJSF)数据量上亿,已分区
要看数据多到何种程度。
比如一个表的笔数只是几百,如果不需要和其他大表关联查询数据,连索引都不用建。
如果是几十万级别的表,一般正确建索引就可以。
如果是千万级别的表,不但要正确建索引,而且要定时手工进行收集统计信息维护,不建议系统自动维护,以免影响使用性能。
如果是亿以上级别的表,则可考虑按一定条件拆分表资料,将旧资料归档,这样可改善生成表的使用。
数据库优化的同时,程序也要进行相应优化,程序和数据科学搭配,才能使性能达到最佳。
以上就是关于oracle面试题:在一个上亿条数据的表中,批量插入大量数据,并根据内容重新定义索引,怎么做最有效率全部的内容,包括:oracle面试题:在一个上亿条数据的表中,批量插入大量数据,并根据内容重新定义索引,怎么做最有效率、请问如何快速为oracle数据库表的行编号,数据量达到上亿、,用SQL Server2000做数据库,现在表里有上亿条纪录,怎么样尽可能的提高查询速度(已加索引)等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)