java - 日均2.5个亿查询量的系统架构？

Question

负责的模块 每天要承接2.5个亿（3000QPS）的查询量（根据ID查找hbase数据 业务很简单）

目前是两台128g内存的物理服务器

ehcache单机缓存

数据存在hbase当中

还没有做压力测试

请问：
这种场景下 一般的tomcat能抗住多少QPS
我觉着两台不够 大概需要几台服务器
有什么优化的思路？

-我能想到的是
改用redis分布式缓存
tomcat jvm -gc优化
http和内核配置
代码优化
加机器不知道加几台现在

`

Answer 1

Trouvez un outil de test de stress pour vérifier jmeter pour le savoir.
Pour le SNS que nous faisions auparavant, l'indicateur de performance d'une application Tomcat était de 3000TPS.
La machine est une machine lame Huawei R3 avec 16 cœurs.

En même temps, vous pouvez surveiller le temps d'exécution de la logique via XRebel.

Answer 2

Le QPS de 3k n'est pas particulièrement élevé S'il y a un cache, la base de données fonctionne bien et peut le gérer. C'est juste que le QPS de Tomcat est généralement de niveau K. Pouvons-nous envisager d'utiliser d'autres serveurs (comme nginx) pour lire et écrire le cache ? Cela réduit la charge sur Tomcat, améliorant ainsi le débit global.

Answer 3

Le stockage de type bigtable de Baidu, reconstruit en C++, peut atteindre une lecture et une écriture aléatoires sur une seule machine de 30 000 qps. Bien que hbase ait des performances relativement médiocres, il devrait être capable d'atteindre au moins 10 000 qps, la base de données ne pose donc pas de problème.

Au vu des machines et ressources que vous évoquez, vous pouvez envisager de co-localiser deux machines, avec hbase et tomcat sur chaque machine. De plus, vous pouvez envisager d'ajuster le nombre de threads de manière appropriée en fonction du mécanisme de service de Tomcat et de la consommation de temps de votre logique.

Si les deux machines sont relativement haut de gamme à tous égards, il est recommandé d'utiliser des solutions d'isolation et de virtualisation des ressources

Answer 4

Vous n'avez pas besoin de Tomcat, vous pouvez utiliser autre chose, Tomcat est un peu lourd