Rumah pembangunan bahagian belakang tutorial php 听豆瓣架构变迁分享会总结_PHP教程

听豆瓣架构变迁分享会总结_PHP教程

Jul 13, 2016 pm 05:17 PM
server kongsi ubah kira-kira ringkaskan nombor Seni bina mendaftar pengguna pada masa ini Perkara utama Douban

要点如下:


目前23台pc server


每天pv数2k万左右。注册用户数300万。
表的数据,大部分是行数量是千万的。

5个人算法团队。另外开发人员总共11个,包括全职和兼职(以前看百姓网分享其技术也只有10名)

06年的时候每天120万左右动态请求。这个时候主要瓶颈在磁盘i/0上面,拿到风投,有钱购买硬件设备。购买两台iu服务器(双核,4g内存)
一台作为应用服务器,一台作为数据库服务器,迁移到双线ip机房,使用dns解析不同网段ip(自己去找哪些网段是电信的哪些网段是网通,然后自己进行解析)。看演讲后面提到的机房调整感觉到,其实这是走了弯路,可以选择一个好的机房来解决dns解析方面(后来总结是靠ip段来分布数据不靠谱)

具体怎么做,就是放到一个支持多线的(教育网铁通等)机房,现在我们公司用的阿里云就是多线)
那么这样子就不需要自己多ip段分配了(就是判断访问用户是电信还是网通等)。

使用内存缓存(豆瓣使用的是memcached)的两点原则:
1、对于需要比较消耗资源的数据
2、需要重复使用的数据。如果只需要使用一次,那么即便是比较消耗资源,丢入缓存也没多少意义

理解:内存缓存也需要内存,没必要浪费。如果不需要重复使用,丢入内存中也比较浪费(毕竟内存不便宜,也占用服务器资源)

豆瓣的memached命中率挺高的。靠这个也缓解了很多压力。



innodb并发访问支持好,因为支持行级存储。使用myisam还是innodb他们的的业务特点是:读多写少使用myisam,写多读少使用innodb

数据库切分方面:目前是按照功能进行分区(作者没有详细解释,应该是按照功能模块划分表。一个功能模块相关的表放到一个库中去),提到,采用了经典的mysql主从架构。所以每个库其实是重复三份的(他说的主辅库)。应该是三个mysql从服务器

分库之后,操作多个库,使用游标的方式获取具体的库和具体的表。传入参数进去(具体没看懂)

数据库主从复制延迟问题一直是一个常见问题。

购买硬盘是一个教训:刚开始还是宁愿投资多点钱购买好的点的磁盘,因为磁盘这东西升级不太可能。到时候网站扛不住了。仍然得换。那么,刚开始宁愿多花点钱,购买高速磁盘,因为业务如果发展快了的话,就得换。即便贵点,磁盘仍然没有浪费的。



200万每天的动态请求的时候,豆瓣提到,静态的小文件服务(用户头像、封面图片)使得磁盘i/0成为瓶颈,以前愚蠢得把图片都放到一个目录下面,这个目录下面有几十万个小文件(直接导致不能使用ls命令,一使用服务器就死掉了),这个时候把文件分目 录。分成每个目录存储10000个文件。



有专门的数据挖掘团队。算法团队进行矩阵计算,把结果放入mysql,供前端查询显示出来。


豆瓣的fs是专门针对图片存储,自己开发的。其实机制是参考了amazon的,写的时候写三份数据。


磁盘随机寻道比吞吐量更加重要,当时的性能瓶颈在磁盘寻道速度上(这点跟之前看淘宝的图片文件系统分析的大量的图片访问带来的磁盘磁头频繁定位造成的延时类似)


后来把所有myisam表改为innodb表。

innodb的缓存:是在进程中自我管理(也就是内存中),而myisam的缓存是基于文件中(受操作系统控制)。以前既用myisam表也用innodb表,导致两种类型的表相互竞争内存,效率不高。索引全部换成innodb存储引擎(这点我不是很理解,只明白其考虑点是为了更好利用内存)



应用服务器故障:nginx自带功能。


图片的流量成为很大成本:迁移到天津机房是因为更加便宜点。机柜比较便宜,把数据挖掘方面的数据和图片数据都搬过去。

北京与天津两个机房。里面各自搭建mysql的master-slave结构。



搜索方面:以前一直使用mysql的全文索引。后来迁移使用sphinx(这个结合mysql来使用,作为mysql的一个存储引擎),后来又变为xapain

为什么没使用sphinx了?没有详细解释


使用MogileFS来存储图片,后来又自己开发了doubanfs存储。迁移的原因:mogilefs出现性能瓶颈,由于mogilefs是把元数据(命名空间, 和文件在哪里)存储在mysql中,数据库行数变多之后,就会变得越来越慢。而大量的小文件需要读取数据库,也影响了速度。当时的行数增长非常快,当时瓶颈在于mysql数据库上。



大字段影响了数据库的性能,实际上数据表行数并不多。就是大字段的影响。大文本字段移除出去,存储到自己开发的doubanDB中(是一个key-value数据库,参考了亚马逊的dymamo,进行简化)。底层存储基于tokyocabinet。后来把doubanfs重写,基于doubandb实现,把图片存储进去。


使用双master方案。解决了复制延迟问题,因为写和读都是对同一个master,读取到的数据是最新的。而以前:从master写入,然后从slave读,存在数据延迟



部署lvs。

之前使用spread作为消息队列,后来使用rabbitMQ替代


=========================================================


总结:照搬其架构和技术方案是不可行的。借鉴他的错误经验和背后的设计思想才能学到本质(主要了解为什么那样子做,出于什么考虑)。

教训:磁盘的选择和机房的选择。磁盘选择转数快的,开始成本贵点值得。

分库,首先从功能角度划分区。暂时还没必要去做水平分区。功能相关表放到一个库中或者单独的服务器上这是必经的阶段。

把钱花在内存上是值得的的,一台机器的内存永远不嫌多,数据库消耗的内存比较多,一般内存往往会成为瓶颈(大量连接,计算数据都能导致内存不够用)。memcached并不廉价(网络i/0,消耗cpu)。放入memcached的东西要慎重。

避免数据库的join操作(这点与以前看的石展分享的观点类似,减少join操作,宁愿拆分成多次获取数据,facebook的架构中也提到不做JOIN 操作)



总体感觉,从豆瓣中学到数据库方面的经验是分库方面。他们的访问量级别还不需要进行到水平切分,进行分库即可了,按照业务功能分区。一个业务功能模块相关的表都拆分到同一个库中去。然后对数据库服务器做主从同步保持数据热备份。

Sharding 在业界的应用场景基本上也就是这种读应用比较重的情况,而且对事务的安全性要求不高,这样的场景会非常适合。

sata*3查了一下 450G 1000多块钱一个。

sata硬盘故障率比较高,换了scsi硬盘。

针对图片存储或者小文件存储方面,因为量大(流量成本,存储成本),开发了自己的文件系统

图片存储如果依赖于数据库做存储,数据量大之后,确实会成为瓶颈(难怪淘宝的图片文件系统,将一部分元数据隐藏到图片的保存文件名上)


疑问:北京和天津跨机房,两边的mysql之间进行同步数据,或者是天津那边的数据挖掘程序往北京写入数据,这个速度如何?

这个我查了一下资料,一般是需要使用专用光钎网络通道。

www.bkjia.comtruehttp://www.bkjia.com/PHPjc/626607.htmlTechArticle要点如下: 目前23台pc server 每天pv数2k万左右。注册用户数300万。 表的数据,大部分是行数量是千万的。 5个人算法团队。另外开发人员总...
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimana untuk menggunakan akaun Xiaohongshu untuk mencari pengguna? Bolehkah saya mencari nombor telefon bimbit saya? Bagaimana untuk menggunakan akaun Xiaohongshu untuk mencari pengguna? Bolehkah saya mencari nombor telefon bimbit saya? Mar 22, 2024 am 08:40 AM

Dengan perkembangan pesat media sosial, Xiaohongshu telah menjadi salah satu platform sosial yang paling popular. Pengguna boleh membuat akaun Xiaohongshu untuk menunjukkan identiti peribadi mereka dan berkomunikasi serta berinteraksi dengan pengguna lain. Jika anda perlu mencari nombor Xiaohongshu pengguna, anda boleh mengikuti langkah mudah ini. 1. Bagaimana untuk menggunakan akaun Xiaohongshu untuk mencari pengguna? 1. Buka APP Xiaohongshu, klik butang "Temui" di penjuru kanan sebelah bawah, dan kemudian pilih pilihan "Nota". 2. Dalam senarai nota, cari nota yang disiarkan oleh pengguna yang ingin anda cari. Klik untuk memasuki halaman butiran nota. 3. Pada halaman butiran nota, klik butang "Ikuti" di bawah avatar pengguna untuk memasuki halaman utama peribadi pengguna. 4. Di penjuru kanan sebelah atas halaman utama peribadi pengguna, klik butang tiga titik dan pilih "Maklumat Peribadi"

Bagaimana untuk mendaftar berbilang akaun di Xiaohongshu? Adakah saya akan ditemui jika saya mendaftar berbilang akaun? Bagaimana untuk mendaftar berbilang akaun di Xiaohongshu? Adakah saya akan ditemui jika saya mendaftar berbilang akaun? Mar 25, 2024 am 09:41 AM

Sebagai platform yang menyepadukan rangkaian sosial dan e-dagang, Xiaohongshu telah menarik lebih ramai pengguna untuk menyertainya. Sesetengah pengguna berharap untuk mendaftar berbilang akaun untuk pengalaman yang lebih baik berinteraksi dengan Xiaohongshu. Jadi, bagaimana untuk mendaftar berbilang akaun di Xiaohongshu? 1. Bagaimana untuk mendaftar berbilang akaun di Xiaohongshu? 1. Gunakan nombor telefon mudah alih yang berbeza untuk mendaftar Pada masa ini, Xiaohongshu terutamanya menggunakan nombor telefon bimbit untuk mendaftar akaun. Pengguna kadangkala cuba membeli berbilang kad nombor telefon mudah alih dan menggunakannya untuk mendaftar berbilang akaun Xiaohongshu. Walau bagaimanapun, pendekatan ini mempunyai beberapa had, kerana membeli berbilang kad nombor telefon mudah alih adalah menyusahkan dan mahal. 2. Gunakan e-mel untuk mendaftar Selain nombor telefon bimbit anda, e-mel anda juga boleh digunakan untuk mendaftar akaun Xiaohongshu. Pengguna boleh menyediakan berbilang alamat e-mel dan kemudian menggunakan alamat e-mel ini untuk mendaftar akaun. tetapi

Bagaimana untuk mendaftar akaun Xiaohongshu? Apakah yang diperlukan untuk mendaftar akaun Xiaohongshu? Bagaimana untuk mendaftar akaun Xiaohongshu? Apakah yang diperlukan untuk mendaftar akaun Xiaohongshu? Mar 22, 2024 am 10:16 AM

Xiaohongshu, platform sosial yang menyepadukan kehidupan, hiburan, membeli-belah dan perkongsian, telah menjadi bahagian yang sangat diperlukan dalam kehidupan seharian ramai orang muda. Jadi, bagaimana untuk mendaftar akaun Xiaohongshu? 1. Bagaimana untuk mendaftar akaun Xiaohongshu? 1. Buka laman web rasmi Xiaohongshu atau muat turun APP Xiaohongshu. Klik butang "Daftar" di bawah dan anda boleh memilih kaedah pendaftaran yang berbeza. Pada masa ini, Xiaohongshu menyokong pendaftaran dengan nombor telefon mudah alih, alamat e-mel dan akaun pihak ketiga (seperti WeChat, QQ, Weibo, dll.). 3. Isikan maklumat yang berkaitan. Mengikut kaedah pendaftaran yang dipilih, isikan nombor telefon bimbit, alamat e-mel atau maklumat akaun pihak ketiga yang sepadan. 4. Tetapkan kata laluan. Tetapkan kata laluan yang kukuh untuk memastikan akaun anda selamat. 5. Lengkapkan pengesahan. Ikut gesaan untuk melengkapkan pengesahan telefon mudah alih atau pengesahan e-mel. 6. Menyempurnakan individu

Bagaimana untuk mendaftar akaun Xiaohongshu? Bagaimana untuk memulihkan jika akaunnya tidak normal? Bagaimana untuk mendaftar akaun Xiaohongshu? Bagaimana untuk memulihkan jika akaunnya tidak normal? Mar 21, 2024 pm 04:57 PM

Sebagai salah satu platform perkongsian gaya hidup paling popular di dunia, Xiaohongshu telah menarik sejumlah besar pengguna. Jadi, bagaimana untuk mendaftar akaun Xiaohongshu? Artikel ini akan memperkenalkan anda kepada proses pendaftaran akaun Xiaohongshu secara terperinci, dan menjawab soalan tentang cara memulihkan akaun Xiaohongshu yang tidak normal. 1. Bagaimana untuk mendaftar akaun Xiaohongshu? 1. Muat turun APP Xiaohongshu: Cari dan muat turun APP Xiaohongshu dalam gedung aplikasi mudah alih, dan bukanya selepas pemasangan selesai. 2. Daftar akaun: Selepas membuka APP Xiaohongshu, klik butang "Saya" di penjuru kanan sebelah bawah halaman utama, dan kemudian pilih "Daftar". 3. Isikan maklumat pendaftaran: Isikan nombor telefon bimbit, tetapkan kata laluan, kod pengesahan dan maklumat pendaftaran lain mengikut arahan. 4. Lengkapkan maklumat peribadi: Selepas pendaftaran berjaya, ikut gesaan untuk melengkapkan maklumat peribadi, seperti nama, jantina, hari lahir, dsb. 5. Tetapan

Log masuk ke Ubuntu sebagai pengguna super Log masuk ke Ubuntu sebagai pengguna super Mar 20, 2024 am 10:55 AM

Dalam sistem Ubuntu, pengguna root biasanya dilumpuhkan. Untuk mengaktifkan pengguna root, anda boleh menggunakan arahan passwd untuk menetapkan kata laluan dan kemudian menggunakan arahan su untuk log masuk sebagai root. Pengguna akar ialah pengguna dengan hak pentadbiran sistem tanpa had. Dia mempunyai kebenaran untuk mengakses dan mengubah suai fail, pengurusan pengguna, pemasangan dan pengalihan keluar perisian, dan perubahan konfigurasi sistem. Terdapat perbezaan yang jelas antara pengguna akar dan pengguna biasa Pengguna akar mempunyai kuasa tertinggi dan hak kawalan yang lebih luas dalam sistem. Pengguna akar boleh melaksanakan perintah sistem yang penting dan mengedit fail sistem, yang tidak boleh dilakukan oleh pengguna biasa. Dalam panduan ini, saya akan meneroka pengguna akar Ubuntu, cara log masuk sebagai akar, dan bagaimana ia berbeza daripada pengguna biasa. Notis

Bagaimana untuk mendaftar akaun qooapp Bagaimana untuk mendaftar akaun qooapp Mar 19, 2024 pm 08:58 PM

qooapp adalah perisian yang boleh memuat turun banyak permainan, jadi bagaimana untuk mendaftar akaun Pengguna perlu mengklik butang "Daftar" jika mereka belum mempunyai pas, dan kemudian memilih kaedah pendaftaran. Pengenalan kaedah pendaftaran akaun ini sudah cukup untuk memberitahu anda cara mengendalikannya. Berikut adalah pengenalan terperinci, jadi sila lihat. Bagaimana untuk mendaftar akaun qooapp? 2. Kemudian pilih kaedah log masuk yang anda perlukan. 3. Anda boleh menggunakannya terus selepas itu. Pendaftaran laman web rasmi: 1. Buka laman web https://apps.ppaooq.com/ dan klik pada sudut kanan atas untuk mendaftar. 2. Pilih pendaftaran

Cara berkongsi Muzik Awan NetEase ke WeChat Moments_Tutorial untuk berkongsi Muzik Awan NetEase ke Momen WeChat Cara berkongsi Muzik Awan NetEase ke WeChat Moments_Tutorial untuk berkongsi Muzik Awan NetEase ke Momen WeChat Mar 25, 2024 am 11:41 AM

1. Mula-mula, kami masukkan Muzik Awan NetEase, dan kemudian klik pada antara muka laman utama perisian untuk memasuki antara muka main balik lagu. 2. Kemudian dalam antara muka main balik lagu, cari butang fungsi perkongsian di bahagian atas sebelah kanan, seperti yang ditunjukkan dalam kotak merah dalam rajah di bawah, klik untuk memilih saluran perkongsian dalam saluran perkongsian, klik pilihan "Kongsi ke". bahagian bawah, dan kemudian pilih "WeChat Moments" yang pertama membolehkan anda berkongsi kandungan ke WeChat Moments.

Bagaimana untuk mendaftar dua nombor B-site dengan satu nombor telefon bimbit? Bagaimanakah Stesen B membuka ikatan telefon bimbitnya? Bagaimana untuk mendaftar dua nombor B-site dengan satu nombor telefon bimbit? Bagaimanakah Stesen B membuka ikatan telefon bimbitnya? Mar 21, 2024 pm 10:10 PM

Bilibili (Bilibili), sebagai laman web perkongsian video yang sangat popular di kalangan anak muda Cina, telah menarik sejumlah besar pengguna. Sesetengah pengguna berharap untuk mempunyai dua akaun Bilibili supaya mereka boleh diurus dan digunakan secara berasingan. Jadi, bagaimana untuk mendaftar dua nombor B-site dengan satu nombor telefon bimbit? Artikel ini akan menumpukan pada isu ini dan cara menyahikat telefon mudah alih. 1. Bagaimana untuk mendaftar dua nombor B-site dengan satu nombor telefon bimbit? 1. Daftar akaun baharu: Pertama, buka Apl Bilibili pada telefon mudah alih anda atau log masuk ke laman web rasmi, klik butang "Daftar", dan pilih kaedah pendaftaran Anda boleh menggunakan nombor telefon bimbit, e-mel atau ketiga-. akaun pihak (seperti WeChat, QQ, dll.) untuk mendaftar. 2. Apabila mendaftar akaun, sila isi maklumat yang diperlukan mengikut gesaan sistem, termasuk nombor telefon mudah alih, kod pengesahan dan kata laluan yang ditetapkan. Pastikan anda menggunakan akaun yang berbeza

See all articles