现在业务中由于一些表越来越大,read的时候压力很大(write的需求比较小),所以在数据库端决定把一些数据量特别大的表切表, 但是在后端代码中有很多代码/query需要做join这些表,请问这样的情况下大家是怎么样解决的?
比如我们现在有 SampleTable 有大概1亿条数据,我们根据逻辑切成了大概16个不同的表:SampleTable 1,SampleTable2...SampleTable31,
以前代码中有query 类似于:
select * from SampleTable join test_table
现在需要执行这样的query 多次然后把数据聚合起来做为返回结果吗?
select * from SampleTable1 join test_table
有没有更好的方法或者library推荐?有没有什么beset practice或者sample code?
如果之后我们要多个表拆分到不同的database server上,是否在后端代码得加上不同db 的数据库连接?
数据库Sharding的基本思想和切分策略
这篇文章更多的是数据库切分的策略,是否有人能提供下实际的项目code sample?
Database sharding and JPA
what-to-do-instead-of-sql-joins-while-scaling-horizontally
stackoverflow 上的一些答案
可以考虑引入数据库中间件
sharding-jdbc client级别
mycat-server server级别
朋友介绍 Spark 不错,支持 SQl 式的查询,1 亿条数据 0.5 秒左右返回结果
只针对目前我们项目中的情况: 在分表时根据hash算法落到特定表,然后取的时候先根据算法获取数据的分布位置,然后就是正常的select了
不建议连表查询
1.数据库资源比较宝贵,连表查询会占用大量的内存,导致数据库性能下降
2.不支持数据在多个数据库实例,分库情况无法处理,扩展性较差
通用做法是将连表查询,查分成多个单表查询,然后将结果在应用中汇总。
1.能够上述连表查询的问题
2.多次查询也可以在程序中对每一次查询的中间结果做处理,这是一个灵活性。
3.应用也可以随时扩展,更加灵活
如果是离线场景,建议使用MR(mapreduce)框架来处理,例如:hadoop等,相应的,需要将数据写入到hdfs上。
http://blog.csdn.net/tianyale...
详解分库分表