您好!欢迎访问北京赛车投注平台! 2018年05月16日   星期三
VIP登录 热线电话:010-86008600
当前位置: 北京赛车投注平台 > 北京赛车资讯 > 产业数据 >

产业数据

数据库 SQL 优化大总结之:百万级数据库优化方案


发布时间:2018-11-03 02:09    来源:未知    阅读次数:()

  网上关于SQL优化的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充。

  这篇文章我花费了大量的时间查找资料、修改、排版,希望大家阅读之后,感觉好的话推荐给更多的人,让更多的人看到、纠正以及补充。

  1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。

  2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:

  最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库.

  备注、描述、评论之类的可以设置为 NULL,其他的,最好不要使用NULL。

  不要以为 NULL 不需要空间,比如:char(100) 型,在字段建立时,空间就固定了, 不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。

  可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:

  Apache Thrift....这个牛掰,貌似用的最多,百度吧,不说了

  3.应尽量避免在 where 子句中使用 != 或 操作符,否则将引擎放弃使用索引而进行全表扫描。

  4.应尽量避免在 where 子句中使用 or 来连接条件,如果一个字段有索引,一个字段没有索引,将导致引擎放弃使用索引而进行全表扫描,如:

  5.in 和 not in 也要慎用,否则会导致全表扫描,如:

  尽管还未实现,但主流观点认为,「量子霸权」时代必然会到来,这是一场谁都输不起的竞争。毕竟一旦量子计算技术突破,掌握这种能力的国家,在经济、军事、科研、安全等领域将迅速建立全方位优势。

  7.如果在 where 子句中使用参数,也会导致全表扫描。因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然 而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:

  8.应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如:

  9.应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:

  10.不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。

  量子计算将给现有的计算理论带来深刻变革,将极大加深人类对物质与信息的理解;将是一种前所未有的计算微观世界的强大工具。

  11.在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。

  这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:

  13.Update 语句,如果只更改1、2个字段,不要Update全部字段,否则频繁调用会引起明显的性能消耗,同时带来大量日志。

  2008年,Aram Harrow、Avinatan Hassidim和Seth Lloyd提出HHL算法:在一系列前提假设下,量子计算机可以在对数复杂度内求解一些特殊的线性方程组,这是很多拟合、推断、优化问题的基础。HHL的各种衍生算法与人工智能的结合,让量子机器学习成为可能,也让量子计算机第一次拥有了商业价值。

  从这两个指标出发,世界各地相关领域的科学家从不同的方向朝着同一目标努力实现通用量子计算机。目前,鹿死谁手还未可知。

  浙江竹木纤维集成墙板装修效果图竹木纤维集成墙板因为要配套使用,所以有的时候要进行刷漆,虽然刷漆比较简单,但是在这过程中也要注意一些问题,这样才能保证刷漆成本。今天竹木纤维集成墙板厂家就给大家介绍一下。首先在刷漆前要准备好油漆,保证油漆的质量,其次就是对生态板线条进行清洁,使用干抹布清洁,上面不能有灰尘和水渍,清洁完成后进行*次刷漆,*边不用太仔细,刷出大概轮廓就可以,二次刷漆要精细很多,不能有凸点等,刷漆完成后一定要晾晒干在使用。晾晒干要仔细检查一下,看是否平整,如果不平整可以使用砂带进行打磨,北京赛车投注平台_>>PK10正规投注网站〖国内最佳赛车安全平台】:打磨完成后就可以使用了。

  14.对于多张大数据量(这里几百条就算大了)的表JOIN,要先分页再JOIN,否则逻辑读会很高,性能很差。

  15.select count(*) from table;这样不带任何条件的count会引起全表扫描,并且没有任何业务意义,是一定要杜绝的。

  16.索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有 必要。

  养老金也称退休金、退休费,是一种最主要的社会养老保险待遇。即国家有关文件规定:在劳动者...

  17.应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。

  18.尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连 接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。

  19.尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。

  20.任何地方都不要使用 select * from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段。

  经常看到有大咖在语录中提及:有了Spark,就永远不要Hadoop了,真有大咖这么说的,不信百度能看见。

  超导电路方案:这种方案虽然退相干时间短,但其可扩展性一枝独秀。IBM、Google等信息巨头们正大力投入这一方向。Google投资了加州大学圣芭芭拉分校(UCSB)的Martinis团队,成立了Google-UCSB联合实验室;阿里巴巴集团投资了潘建伟院士团队,在中国科学技术大学上海研究院成立了中科院阿里巴巴量子计算联合实验室,把超导方案作为重心来支持。

  存续期是债券价格对利率变动敏感度的指标,亦可视为投资人收回其债券投资的资金所需时间的一个指标。 存续期越长,债券价格对利率的变动越敏感。 存续期与债券的年期(maturity)是不同的概念,年期一定程度上亦反映债券对利率风险的敏感度,在其他条件相同的情况下,年期越长,价格对利率的变 动越敏感。 但由于债券价格对利率风险的敏感度同时受票面利率、付息的频率及年期这些因素所影响,单是年期并不是债券对利率风险敏感度的好指标。

  存续期是描述现金支付流(如债券、抵押贷款)的主要时间特征方面优于到期期限的概念。

  21.尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。

  为了更早地让量子计算机展现出它的优势,物理学家们想到了针对一些特殊的问题,可以用专用型量子计算机来解决。这些专用型量子计算机可以不需要逻辑门(操作一个小数量量子位元的量子线路),只靠自身系统的特点来通过模拟的方式针对性地解决问题。

  22.避免频繁创建和删除临时表,以减少系统表资源的消耗。临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件, 最好使用导出表。

  23.在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,然后insert。

  24.如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。

  25.尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。

  对于过程中涉及到非结构化搜索的任务以及机器学习相关的任务来说,量子计算相较于传统计算方式具有一定程度的速度优势。

  26.使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。

  传统计算机采用顺序计算的方式,因此无力处理特别复杂的问题。以「将大数拆解为素数乘积」问题为例,由于不存在已知的解决方案,计算机需要依靠试验与猜测求解。被拆解的大数越大,计算复杂度越高,所需时间呈几何级增长。

  安装竹木纤维集成墙板的要求竹木纤维集成墙板厂家生产的板材在很多地方都有使用,当我们在使用竹木纤维集成墙板装修时,应该注意些什么呢?首先,应该要对整体装修有十分的了解,在弹线后要检查好预埋件,看看木砖或木楔是否符合设计要求,排列间距尺寸、位置是否满足钉装竹木纤维集成墙板的要求。其次还要量测门窗及洞口位置的尺寸是否方正垂直且与设计要求是否相符。而在施工中遇到电源开关等时,可用凿子凿出略小于开关的洞,遇到柱子时可用阳角。其实,使用竹木纤维集成墙板装修的效果还是很明显的,但是需要大家注意的是*还是去正规的厂家选购。

  27.与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时 间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。

  28.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。

  30.尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。

  实际案例分析:拆分大的 DELETE 或INSERT 语句,批量提交SQL语句

  如果你需要在一个在线的网站上去执行一个大的 DELETE 或 INSERT 查询,你需要非常小心,要避免你的操作让你的整个网站停止相应。因为这两个操作是会锁表的,表一锁住了,别的操作都进不来了。

  波士顿咨询预计,到2030年,量子模拟技术将催生一个高达200亿美元的药品市场,以及70亿美元的包括化学、材料科学及其他材料密集型产业在内的市场。

  Apache 会有很多的子进程或线程。所以,其工作起来相当有效率,而我们的服务器也不希望有太多的子进程,线程和数据库链接,这是极大的占服务器资源的事情,尤其是内存。

  如果你把你的表锁上一段时间,比如30秒钟,那么对于一个有很高访问量的站点来说,这30秒所积累的访问进程/线程,数据库链接,打开的文件数,可能不仅仅会让你的WEB服务崩溃,还可能会让你的整台服务器马上挂了。

  因为量子芯片是通过半导体工艺进行加工,量子位数目可以任意增加,但是仅有量子比特数目的增加是远远不够的。在技术上更加困难的是对多量子比特的相干控制能力。如果一个芯片对多量子比特的相干控制能力没有获得好的测试结果,那么这个芯片就没有科学或实用价值。

  所以,如果你有一个大的处理,你一定把其拆分,使用 LIMIT oracle(rownum),sqlserver(top)条件是一个好的方法。下面是一个mysql示例:

  好了,到这里就写完了。我知道还有很多没有写到的,还请大家补充。后面有空会介绍一些SQL优化工具给大家。让我们一起学习,一起进步吧!

  如果大家有原创好文投稿,请直接给公号发送留言。返回搜狐,查看更多

咨询热线

咨询服务热线

友情链接

Copyright 2018 北京赛车投注平台_>>PK10正规投注网站〖国内最佳赛车安全平台】 京ICP备12004330号-5 网站地图