SQL Server数据访问程序优化指南
经过紧张的调查,你发现问题出在数据库上,当应用程序尝试访问/更新数据时,数据库执行得相当慢,再次深入调查数据库后,你发现数据库表增长得很大,有些表甚至有上千万行数据,测试团队开始在生产数据库上测试,发现订单提交过程需要花5分钟时间,但在网站
经过紧张的调查,你发现问题出在上,当应用程序尝试访问/更新数据时,执行得相当慢,再次深入调查数据库后,你发现数据库表增长得很大,有些表甚至有上千万行数据,测试团队开始在生产数据库上测试,发现订单提交过程需要花5分钟时间,但在网站上线前的测试中,提交一次订单只需要2/3秒。
类似这种故事在世界各个角落每天都会上演,几乎每个开发人员在其开发生涯中都会遇到这种事情,我也曾多次遇到这种情况,因此我希望将我解决这种问题的经验和大家分享。
如果你正身处这种项目,逃避不是办法,只有勇敢地去面对现实。首先,我认为你的应用程序中一定没有写数据访问程序,我将在这个系列的文章中介绍如何编写最佳的数据访问程序,以及如何优化现有的数据访问程序。
范围
在正式开始之前,有必要澄清一下本系列文章的写作边界,我想谈的是“事务性(OLTP)SQL Server数据库中的数据访问性能优化”,但文中介绍的这些技巧也可以用于其它数据库平台。
同时,我介绍的这些技巧主要是面向程序开发人员的,虽然DBA也是优化数据库的一支主要力量,但DBA使用的优化方法不在我的讨论范围之内。
当一个基于数据库的应用程序运行起来很慢时,90%的可能都是由于数据访问程序的问题,要么是没有优化,要么是没有按最佳方法编写代码,因此你需要审查和优化你的数据访问/处理程序。
我将会谈到10个步骤来优化数据访问程序,先从最基本的索引说起吧!
第一步:应用正确的索引
我之所以先从索引谈起是因为采用正确的索引会使生产系统的性能得到质的提升,另一个原因是创建或修改索引是在数据库上进行的,不会涉及到修改程序,并可以立即见到成效。
我们还是温习一下索引的基础知识吧,我相信你已经知道什么是索引了,但我见到很多人都还不是很明白,我先给大家将一个故事吧。
很久以前,在一个古城的的大图书馆中珍藏有成千上万本书籍,但书架上的书没有按任何顺序摆放,因此每当有人询问某本书时,图书管理员只有挨个寻找,每一次都要花费大量的时间。
[这就好比数据表没有主键一样,搜索表中的数据时,数据库引擎必须进行全表扫描,效率极其低下。]
更糟的是图书馆的图书越来越多,图书管理员的工作变得异常痛苦,有一天来了一个聪明的小伙子,他看到图书管理员的痛苦工作后,想出了一个办法,他建议将每本书都编上号,然后按编号放到书架上,如果有人指定了图书编号,那么图书管理员很快就可以找到它的位置了。
[给图书编号就象给表创建主键一样,创建主键时,会创建聚集索引树,表中的所有行会在文件系统上根据主键值进行物理排序,当查询表中任一行时,数据库首先使用聚集索引树找到对应的数据页(就象首先找到书架一样),然后在数据页中根据主键键值找到目标行(就象找到书架上的书一样)。]
于是图书管理员开始给图书编号,然后根据编号将书放到书架上,为此他花了整整一天时间,但最后经过测试,他发现找书的效率大大提高了。
[在一个表上只能创建一个聚集索引,就象书只能按一种规则摆放一样。]
但问题并未完全解决,因为很多人记不住书的编号,只记得书的名字,图书管理员无赖又只有扫描所有的图书编号挨个寻找,但这次他只花了20分钟,以前未给图书编号时要花2-3小时,但与根据图书编号查找图书相比,时间还是太长了,因此他向那个聪明的小伙子求助。
[这就好像你给Product表增加了主键ProductID,但除此之外没有建立其它索引,当使用Product Name进行检索时,数据库引擎又只要进行全表扫描,逐个寻找了。]
聪明的小伙告诉图书管理员,之前已经创建好了图书编号,现在只需要再创建一个索引或目录,将图书名称和对应的编号一起存储起来,但这一次是按图书名称进行排序,如果有人想找“Database Management System”一书,你只需要跳到“D”开头的目录,然后按照编号就可以找到图书了。
于是图书管理员兴奋地花了几个小时创建了一个“图书名称”目录,经过测试,现在找一本书的时间缩短到1分钟了(其中30秒用于从“图书名称”目录中查找编号,另外根据编号查找图书用了30秒)。
图书管理员开始了新的思考,读者可能还会根据图书的其它属性来找书,如作者,于是他用同样的办法为作者也创建了目录,现在可以根据图书编号,书名和作者在1分钟内查找任何图书了,图书管理员的工作变得轻松了,故事也到此结束。

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

Java 中的 DAO(数据访问对象)用于分离应用程序代码和持久层,其优点包括:分离:与应用程序逻辑独立,便于对其进行修改。封装:隐藏数据库访问细节,简化与数据库的交互。可扩展性:可轻松扩展以支持新数据库或持久性技术。通过 DAO,应用程序可以调用方法来执行数据库操作,如创建、读取、更新和删除实体,无需直接处理数据库细节。

FP8和更低的浮点数量化精度,不再是H100的“专利”了!老黄想让大家用INT8/INT4,微软DeepSpeed团队在没有英伟达官方支持的条件下,硬生生在A100上跑起FP6。测试结果表明,新方法TC-FPx在A100上的FP6量化,速度接近甚至偶尔超过INT4,而且拥有比后者更高的精度。在此基础之上,还有端到端的大模型支持,目前已经开源并集成到了DeepSpeed等深度学习推理框架中。这一成果对大模型的加速效果也是立竿见影——在这种框架下用单卡跑Llama,吞吐量比双卡还要高2.65倍。一名

U盘是我们日常工作和生活中常用的存储设备之一,但有时候会遇到U盘写保护无法写入数据的情况。本文将介绍几种简单有效的方法,帮助你快速解除U盘写保护,恢复U盘的正常使用。工具原料:系统版本:Windows1020H2、macOSBigSur11.2.3品牌型号:SanDiskUltraFlairUSB3.0闪存盘、金士顿DataTraveler100G3USB3.0闪存盘软件版本:DiskGenius5.4.2.1239、ChipGenius4.19.1225一、检查U盘物理写保护开关部分U盘设计有

MySQL 是一种关系型数据库管理系统,提供以下主要功能:数据存储和管理:创建和组织数据,支持各种数据类型、主键、外键和索引。数据查询和检索:使用 SQL 语言查询、过滤和检索数据,优化执行计划以提高效率。数据更新和修改:通过 INSERT、UPDATE、DELETE 命令添加、修改或删除数据,支持事务以保证一致性和回滚机制以撤销更改。数据库管理:创建和修改数据库、表,备份和还原数据,提供用户管理和权限控制。

API接口是软件组件之间交互的规范,用于实现不同应用程序或系统之间的通信和数据交换。API接口充当“翻译器”,将开发人员的指令转换为计算机语言,让应用程序协同工作。其优势包括便捷的数据共享、简化开发、提高性能、增强安全性、提升生产效率和互操作性。

MySQL 中的 Schema 是用于组织和管理数据库对象(如表、视图)的逻辑结构,以确保数据一致性、数据访问控制和简化数据库设计。Schema 的功能包括:1. 数据组织;2. 数据一致性;3. 数据访问控制;4. 数据库设计。

Redis 缓存机制通过键值对存储、内存存储、过期策略、数据结构、复制和持久化来实现。它遵循获取数据、缓存命中、缓存不命中、写入缓存、更新缓存的步骤,提供快速的数据访问和高性能的缓存服务。

Java 中 Service 层负责业务逻辑和执行应用程序的业务规则,包括处理业务规则、数据封装、集中业务逻辑和提高可测试性。在 Java 中,Service 层通常被设计为独立模块,与 Controller 和 Repository 层交互,并通过依赖注入实现,遵循创建接口、注入依赖和调用 Service 方法等步骤。最佳实践包括保持简洁、使用接口、避免直接操作数据、处理异常和使用依赖注入。
