中小型企业可参考的类MySQL双主架构方案

집

데이터 베이스

MySQL 튜토리얼

中小型企业可参考的类MySQL双主架构方案_MySQL

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 01, 2016 pm 01:17 PM

기업 계획 건축학

在企业中,一般系统架构的瓶颈会出现在数据库这一部分,mysql主从架构在很大程度上解决了这部分瓶颈,但是在mysql主从同步的架构也存在很多问题；比如:1. 关于数据写入部分(也就是主库)往往很难做到扩展,虽然很多大公司在逻辑业务方面就进行对数据的拆分,比如商品库存按照区域去拆分(一个区域走一个库存也就是一个主库,然后定时同步总的库存),按照商品类型去划分(一个类型的商品走一套数据库),但是这对于很多中小型公司来说实现起来还是比较困难的； 2. 主从同步一般都是一个主库,一旦主库出现问题,就有可能直接导致整个主从同步架构崩盘,虽然发现后也是可以慢慢恢复的,但是这个恢复时间对于很多公司来说是难以接受的,今天的这篇博文就是主要给解决主库单点故障这个问题提供一个思路:

主要思路是:

1.一台主库(我们称之为master-01)提供服务,只负责数据的写入；

2.拿出一台数据库服务器(我们称之为Master-02)资源做master-01主库的从库(之间做主从同步)；

3.两台主库之间做高可用,可以采用keepalived等方案(一定要保证master-01同时也要作为keepalived的主)

4.程序在调用主库IP地址的地方写为高可用的VIP地址；

5.所有提供服务的从服务器与master-02进行主从同步；

6.建议采用高可用策略的时候,当master-01出现问题切换到master-02的时候,即使master-01恢复了,也不要让它去自动承接VIP地址,否则可能造成数据的混写；

这样做可以在一定程度上保证主库的高可用,在一台主库down掉之后,可以在极短的时间内切换到另一台主库上(尽可能减少主库宕机对业务造成的影响),减少了主从同步给线上主库带来的压力；但是也有几个不足的地方:比如master-02可能会一直处于空闲状态(其实完全可以让它承担一部分从库的角色来负责一部分查询请求的),2. 这样真正提供服务的从库要等master-02先同步完了数据后才能去master-02上去同步数据,这样可能会造成一定程度的同步延迟时间的加长；3. 如果master-01一旦恢复正常,会不会导致数据写入混乱(这个可以在keepalived中设置响应的规则,让其不”夺权”,我们认为的去调整操作即可

架构的简易图如下:

具体实施方案:

1. 在所有需要提供服务的服务器上安装MySQL服务(建议源码安装)

1.1 yum安装依赖包

<ol class="dp-sql"><li class="alt"><span><span>yum -y install cmake make gcc gcc-c++  ncurses-devel bison openssl-devel </span></span></li></ol>

로그인 후 복사

1.2 添加MySQL所需要的用户/组

<ol class="dp-sql">
<li class="alt"><span><span>groupadd mysql   </span></span></li>
<li><span>useradd -g mysql -r mysql </span></li>
</ol>

로그인 후 복사

1.3 下载MySQL源码包

<ol class="dp-sql"><li class="alt"><span><span>wget http://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.36.tar.gz  </span></span></li></ol>

로그인 후 복사

1.4 创建MySQL安装所需要的目录

<ol class="dp-sql"><li class="alt">
<span>mkdir /data/mydata/{data</span>,<span>tmp</span>,<span>logs} –pv  </span>
</li></ol>

로그인 후 복사

1.5 解压编译安装MySQL

<ol class="dp-sql">
<li class="alt"><span><span>tar xf mysql-5.5.36.tar.gz   </span></span></li>
<li><span>cd mysql-5.5.36   </span></li>
<li class="alt">
<span>cmake . -DCMAKE_INSTALL_PREFIX=/usr/</span><span class="keyword">local</span><span>/mysql \   </span>
</li>
<li><span>      -DMYSQL_DATADIR=/data/mydata/data \   </span></li>
<li class="alt"><span>      -DSYSCINFDIR=/etc \   </span></li>
<li><span>      -DWITH_INNOBASE_STORAGE_ENGINE=1 \   </span></li>
<li class="alt"><span>      -DWITH_ARCHIVE_STORAGE_ENGINE=1 \   </span></li>
<li><span>      -DWITH_BLACKHOLE_STORAGE_ENGINE=1 \   </span></li>
<li class="alt"><span>      -DWITH_READLINE=1 \   </span></li>
<li><span>      -DWITH_SSL=system \   </span></li>
<li class="alt"><span>      -DWITH_ZLIB=system \   </span></li>
<li><span>      -DWITH_LIBWARP=0 \   </span></li>
<li class="alt"><span>      -DWITH_UNIX_ADDR=/tmp/mysql.sock \   </span></li>
<li><span>      -DDEFAULT_CHARASET=uft8 \   </span></li>
<li class="alt"><span>      -DDEFAULT_COLLATTON=utf9_general_ci \   </span></li>
<li><span>make && make install </span></li>
</ol>

로그인 후 복사

1.6 为MySQL提供启动脚本

<ol class="dp-sql"><li class="alt"><span><span>cp support-files/mysql.server /etc/rc.d/init.d/mysqld  </span></span></li></ol>

로그인 후 복사

1.7 为master-01主库提供配置文件(32G内存较为保守(满连接占用25G左右内存)的配置文件）

<ol class="dp-c">
<li class="alt"><span><span>[client]   </span></span></li>
<li><span>port = 3306   </span></li>
<li class="alt">
<span>socket = /</span><span class="keyword">var</span><span>/lib/mysql/mysql.sock   </span>
</li>
<li>
<span class="keyword">default</span><span>-character-set = utf-8   </span>
</li>
<li class="alt"><span>[mysqld]   </span></li>
<li><span>server-id = 1   </span></li>
<li class="alt"><span>port = 3306   </span></li>
<li><span>user = mysql   </span></li>
<li class="alt"><span>basedir = /usr/local/mysql  </span></li>
<li><span>datadir = /data/mydata/data  </span></li>
<li class="alt"><span>tmpdir = /data/mydata/tmp  </span></li>
<li>
<span>socket = /</span><span class="keyword">var</span><span>/lib/mysql/mysql.sock   </span>
</li>
<li class="alt"><span>skip-external-locking   </span></li>
<li><span>skip-name-resolve   </span></li>
<li class="alt">
<span class="keyword">default</span><span>-storage-engine = INNODB   </span>
</li>
<li><span>character-set-server = utf8   </span></li>
<li class="alt"><span>wait-timeout = 100   </span></li>
<li><span>connect_timeout = 20   </span></li>
<li class="alt"><span>interactive_timeout = 100   </span></li>
<li><span>back_log = 300   </span></li>
<li class="alt"><span>myisam_recover   </span></li>
<li><span>event_scheduler = on   </span></li>
<li class="alt"><span>log-bin=/data/mydata/logs/mysql-bin  </span></li>
<li><span>binlog_format = row   </span></li>
<li class="alt"><span>max_binlog_size = 64M   </span></li>
<li><span>binlog_cache_size = 1M   </span></li>
<li class="alt"><span>slave-net-timeout = 10   </span></li>
<li><span>skip-slave-start   </span></li>
<li class="alt"><span>slow_query_log  = 1   </span></li>
<li><span>long_query_time = 1   </span></li>
<li class="alt"><span>slow_query_log_file = /data/mydata/mysqllog/logs/mysql.slow   </span></li>
<li><span>log-error = /data/mydata/mysqllog/logs/error.log   </span></li>
<li class="alt"><span>max_connections = 1000   </span></li>
<li><span>max_user_connections = 1000   </span></li>
<li class="alt"><span>max_connect_errors = 10000   </span></li>
<li>
<span>key_buffer_size = 32M     #以MyISAM为主的服务器</span>,<span>要调大此值   </span>
</li>
<li class="alt"><span>max_allowed_packet = 64M   </span></li>
<li><span>table_cache = 4096   </span></li>
<li class="alt"><span>table_open_cache = 4096   </span></li>
<li><span>table_definition_cache = 4096   </span></li>
<li class="alt"><span>sort_buffer_size = 512K          </span></li>
<li><span>read_buffer_size = 512K          </span></li>
<li class="alt"><span>read_rnd_buffer_size = 512K      </span></li>
<li><span>join_buffer_size = 512K          </span></li>
<li class="alt"><span>tmp_table_size = 64M         </span></li>
<li><span>max_heap_table_size = 64M      </span></li>
<li class="alt"><span>query_cache_type = 0   </span></li>
<li><span>query_cache_size = 0   </span></li>
<li class="alt"><span>bulk_insert_buffer_size = 16M   </span></li>
<li><span>thread_cache_size = 64   </span></li>
<li class="alt"><span>thread_concurrency = 16       #CPU核数*2   </span></li>
<li><span>thread_stack = 256K   </span></li>
<li class="alt"><span>innodb_data_home_dir = /data/mydata/data  </span></li>
<li><span>innodb_log_group_home_dir = /data/mydata/mysqllog/logs  </span></li>
<li class="alt"><span>innodb_data_file_path = ibdata1:1G:autoextend   </span></li>
<li><span>innodb_buffer_pool_size = 16G   </span></li>
<li class="alt"><span>innodb_buffer_pool_instances = 4                  </span></li>
<li><span>innodb_additional_mem_pool_size = 16M   </span></li>
<li class="alt"><span>innodb_log_file_size = 512M   </span></li>
<li><span>innodb_log_buffer_size = 32M   </span></li>
<li class="alt"><span>innodb_log_files_in_group = 3   </span></li>
<li><span>innodb_flush_log_at_trx_commit = 2   </span></li>
<li class="alt"><span>innodb_lock_wait_timeout = 10   </span></li>
<li><span>innodb_sync_spin_loops = 40   </span></li>
<li class="alt"><span>innodb_max_dirty_pages_pct = 90   </span></li>
<li><span>innodb_support_xa = 1   </span></li>
<li class="alt"><span>innodb_thread_concurrency = 0   </span></li>
<li><span>innodb_thread_sleep_delay = 500   </span></li>
<li class="alt"><span>innodb_file_io_threads = 4   </span></li>
<li><span>innodb_concurrency_tickets = 1000   </span></li>
<li class="alt"><span>log_bin_trust_function_creators = 1   </span></li>
<li><span>innodb_flush_method = O_DIRECT    </span></li>
<li class="alt"><span>innodb_file_per_table          #是否采用单表单空间   </span></li>
<li><span>innodb_write_io_threads = 8     </span></li>
<li class="alt"><span>innodb_read_io_threads = 8   </span></li>
<li><span>innodb_io_capacity = 1000   </span></li>
<li class="alt">
<span>innodb_file_format = Barracuda    #不开启单表单空间</span>,<span>此选项无效   </span>
</li>
<li><span>innodb_purge_threads = 1   </span></li>
<li class="alt"><span>innodb_purge_batch_size = 32   </span></li>
<li><span>innodb_old_blocks_pct = 75   </span></li>
<li class="alt"><span>innodb_change_buffering = all   </span></li>
<li><span>transaction_isolation = READ-COMMITTED   </span></li>
<li class="alt"><span>[mysqldump]   </span></li>
<li><span>quick   </span></li>
<li class="alt"><span>max_allowed_packet = 32M   </span></li>
<li><span>[mysql]   </span></li>
<li class="alt"><span>no-auto-rehash   </span></li>
<li><span>[myisamchk]   </span></li>
<li class="alt"><span>key_buffer_size = 64M   </span></li>
<li><span>sort_buffer_size = 256M   </span></li>
<li class="alt"><span>read_buffer = 2M   </span></li>
<li><span>write_buffer = 2M   </span></li>
<li class="alt"><span>[mysqlhotcopy]   </span></li>
<li><span>interactive-timeout   </span></li>
<li class="alt"><span>[mysqld_safe]   </span></li>
<li><span>open-files-limit = 10240 </span></li>
</ol>

로그인 후 복사

1.8 为master-02提供配置文件

<ol class="dp-sql">
<li class="alt"><span><span>master-02的配置文件仅需在master-01上稍作修改   </span></span></li>
<li><span>server-id = 20   </span></li>
<li class="alt">
<span>log_slave_updates = 1    #添加(将复制事件写入binlog</span>,<span>一台服务器既做主库又做从库此选项必须要开启)   </span>
</li>
<li><span>replicate-same-server-id=0 #添加(防止MySQL循环更新)   </span></li>
<li class="alt"><span>relay_log_recovery = 1   #添加(MySQLrelay_log的自动修复功能) </span></li>
</ol>

로그인 후 복사

1.9 为从库提供配置文件(8G)

<ol class="dp-sql">
<li class="alt"><span><span>[client]   </span></span></li>
<li><span>port = 3306   </span></li>
<li class="alt"><span>socket = /var/lib/mysql/mysql.sock   </span></li>
<li>
<span class="keyword">default</span><span>-</span><span class="keyword">character</span><span>-</span><span class="keyword">set</span><span> = utf8   </span>
</li>
<li class="alt"><span>[mysqld]   </span></li>
<li><span>server-id = 2   </span></li>
<li class="alt"><span>port = 3306   </span></li>
<li>
<span class="func">user</span><span> = mysql   </span>
</li>
<li class="alt">
<span>basedir = /usr/</span><span class="keyword">local</span><span>/mysql  </span>
</li>
<li><span>datadir = /data/mydata/data  </span></li>
<li class="alt"><span>tmpdir  = /data/mydata/tmp  </span></li>
<li><span>socket  = /var/lib/mysql/mysql.sock   </span></li>
<li class="alt"><span>skip-external-locking   </span></li>
<li>
<span>skip-</span><span class="keyword">name</span><span>-resolve   </span>
</li>
<li class="alt">
<span class="keyword">default</span><span>-storage-engine = INNODB   </span>
</li>
<li>
<span class="keyword">character</span><span>-</span><span class="keyword">set</span><span>-server = utf8   </span>
</li>
<li class="alt"><span>wait-timeout = 100   </span></li>
<li><span>connect_timeout = 20   </span></li>
<li class="alt"><span>interactive_timeout = 100   </span></li>
<li><span>back_log = 300   </span></li>
<li class="alt"><span>myisam_recover   </span></li>
<li>
<span>event_scheduler = </span><span class="keyword">on</span><span>   </span>
</li>
<li class="alt"><span>log-bin=/data/mydata/logs/mysql-bin  </span></li>
<li><span>binlog_format = row   </span></li>
<li class="alt"><span>max_binlog_size = 64M   </span></li>
<li><span>binlog_cache_size = 1M   </span></li>
<li class="alt"><span>slave-net-timeout = 10   </span></li>
<li><span>relay_log_recovery = 1   </span></li>
<li class="alt"><span>slow_query_log = 1   </span></li>
<li><span>long_query_time = 1   </span></li>
<li class="alt"><span>slow_query_log_file = /data/mydata/mysqllog/logs/mysql.slow   </span></li>
<li><span>log-error = /data/mydata/mysqllog/logs/error.log   </span></li>
<li class="alt"><span>max_connections = 500   </span></li>
<li><span>max_user_connections = 500   </span></li>
<li class="alt"><span>max_connect_errors = 10000   </span></li>
<li>
<span>key_buffer_size = 32M     #以MyISAM为主的服务器</span>,<span>要调大此值   </span>
</li>
<li class="alt"><span>max_allowed_packet = 64M   </span></li>
<li><span>table_cache = 2048   </span></li>
<li class="alt"><span>table_open_cache = 2048   </span></li>
<li><span>table_definition_cache = 2048   </span></li>
<li class="alt"><span>sort_buffer_size = 128K          </span></li>
<li><span>read_buffer_size = 128K          </span></li>
<li class="alt"><span>read_rnd_buffer_size = 128K      </span></li>
<li><span>join_buffer_size = 128K          </span></li>
<li class="alt"><span>tmp_table_size = 16M         </span></li>
<li><span>max_heap_table_size = 16M      </span></li>
<li class="alt"><span>query_cache_type = 0   </span></li>
<li><span>query_cache_size = 0   </span></li>
<li class="alt"><span>bulk_insert_buffer_size = 16M   </span></li>
<li><span>thread_cache_size = 64   </span></li>
<li class="alt"><span>thread_concurrency = 4       #CPU核数*2   </span></li>
<li><span>thread_stack = 128K   </span></li>
<li class="alt"><span>innodb_data_home_dir = /data/mydata/data  </span></li>
<li><span>innodb_log_group_home_dir = /data/mydata/mysqllog/logs  </span></li>
<li class="alt"><span>innodb_data_file_path = ibdata1:1G:autoextend   </span></li>
<li><span>innodb_buffer_pool_size = 2G   </span></li>
<li class="alt"><span>innodb_buffer_pool_instances = 4                  </span></li>
<li><span>innodb_additional_mem_pool_size = 4M   </span></li>
<li class="alt"><span>innodb_log_file_size = 512M   </span></li>
<li><span>innodb_log_buffer_size = 16M   </span></li>
<li class="alt"><span>innodb_log_files_in_group = 3   </span></li>
<li><span>innodb_flush_log_at_trx_commit = 2   </span></li>
<li class="alt"><span>innodb_lock_wait_timeout = 10   </span></li>
<li><span>innodb_sync_spin_loops = 40   </span></li>
<li class="alt"><span>innodb_max_dirty_pages_pct = 90   </span></li>
<li><span>innodb_support_xa = 1   </span></li>
<li class="alt"><span>innodb_thread_concurrency = 0   </span></li>
<li><span>innodb_thread_sleep_delay = 500   </span></li>
<li class="alt"><span>innodb_file_io_threads = 4   </span></li>
<li><span>innodb_concurrency_tickets = 1000   </span></li>
<li class="alt"><span>log_bin_trust_function_creators = 1   </span></li>
<li><span>innodb_flush_method = O_DIRECT       </span></li>
<li class="alt"><span>innodb_file_per_table                #是否采用单表单空间   </span></li>
<li><span>innodb_write_io_threads = 8     </span></li>
<li class="alt"><span>innodb_read_io_threads = 8   </span></li>
<li><span>innodb_io_capacity = 1000   </span></li>
<li class="alt">
<span>innodb_file_format = Barracuda     #不开启单表单空间</span>,<span>此选项无效   </span>
</li>
<li><span>innodb_purge_threads = 1   </span></li>
<li class="alt"><span>innodb_purge_batch_size = 32   </span></li>
<li><span>innodb_old_blocks_pct = 75   </span></li>
<li class="alt">
<span>innodb_change_buffering = </span><span class="op">all</span><span>   </span>
</li>
<li>
<span>transaction_isolation = </span><span class="keyword">READ</span><span>-</span><span class="keyword">COMMITTED</span><span>   </span>
</li>
<li class="alt"><span>[mysqldump]   </span></li>
<li><span>quick   </span></li>
<li class="alt"><span>max_allowed_packet = 32M   </span></li>
<li><span>[mysql]   </span></li>
<li class="alt">
<span class="keyword">no</span><span>-auto-rehash   </span>
</li>
<li><span>[myisamchk]   </span></li>
<li class="alt"><span>key_buffer_size = 64M   </span></li>
<li><span>sort_buffer_size = 256M   </span></li>
<li class="alt"><span>read_buffer = 2M   </span></li>
<li><span>write_buffer = 2M   </span></li>
<li class="alt"><span>[mysqlhotcopy]   </span></li>
<li><span>interactive-timeout   </span></li>
<li class="alt"><span>[mysqld_safe]   </span></li>
<li>
<span class="keyword">open</span><span>-files-limit = 10240 </span>
</li>
</ol>

로그인 후 복사

1.10 初始化MySQL

<ol class="dp-xml"><li class="alt"><span><span>/usr/local/mysql/scripts/mysql_install_db </span><span class="attribute">--user</span><span>=</span><span class="attribute-value">mysql</span><span> </span><span class="attribute">--datadir</span><span>=/data/mydata/data/ </span><span class="attribute">--basedir</span><span>=/usr/local/mysql  </span></span></li></ol>

로그인 후 복사

1.11 为启动脚本赋予可执行权限并启动MySQL

<ol class="dp-xml">
<li class="alt"><span><span>chmod +x /etc/rc.d/init.d/mysqld  </span></span></li>
<li><span>/etc/init.d/mysqld start </span></li>
</ol>

로그인 후 복사

2. 配置master-01

2.1 添加主从同步账户

<ol class="dp-xml">
<li class="alt">mysql> grant replication slave on *.* to 'repl'@'192.168.237.%' idetified by '123456'；   </li>
<li>
<span>mysql</span><span class="tag">></span><span> flush privileges</span>；<span> </span>
</li>
</ol>

로그인 후 복사

2.2 查看主库的状态

<ol class="dp-xml">
<li class="alt">mysql> show master status；   </li>
<li><span>+------------------+----------+--------------+------------------+   </span></li>
<li class="alt"><span>| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |   </span></li>
<li><span>+------------------+----------+--------------+------------------+   </span></li>
<li class="alt"><span>| mysql-bin.000009 |      652 |              |                  |   </span></li>
<li><span>+------------------+----------+--------------+------------------+   </span></li>
<li class="alt"><span>1 row in set (0.01 sec) </span></li>
</ol>

로그인 후 복사

2.3 因为这是测试环境,可以保证没数据写入,否则需要先锁表-->查看状态-->备份数据-->查看状态(保证没变)-->解锁表

3. 配置master-02

3.1 配置master-02为master-01的从

<ol class="dp-xml">
<li class="alt"><span><span>#若是线上有数据需要先导入数据   </span></span></li>
<li>
<span>mysql</span><span class="tag">></span><span> CHANGE MASTER TO   </span>
</li>
<li class="alt">
<span>  -</span><span class="tag">></span><span> </span><span class="attribute">MASTER_HOST</span><span>=</span><span class="attribute-value">'192.168.237.128'</span>,<span>   </span>
</li>
<li>
<span>  -</span><span class="tag">></span><span> </span><span class="attribute">MASTER_PORT</span><span>=</span><span class="attribute-value">3306</span>,<span>   </span>
</li>
<li class="alt">
<span>  -</span><span class="tag">></span><span> </span><span class="attribute">MASTER_USER</span><span>=</span><span class="attribute-value">'repl'</span>,<span>   </span>
</li>
<li>
<span>  -</span><span class="tag">></span><span> </span><span class="attribute">MASTER_PASSWORD</span><span>=</span><span class="attribute-value">'123456'</span>,<span>   </span>
</li>
<li class="alt">
<span>  -</span><span class="tag">></span><span> </span><span class="attribute">MASTER_LOG_FILE</span><span>=</span><span class="attribute-value">'mysql-bin.000009'</span>,<span>   </span>
</li>
<li>
<span>  -</span><span class="tag">></span><span> </span><span class="attribute">MASTER_LOG_POS</span><span>=</span><span class="attribute-value">652</span>；<span>   </span>
</li>
<li class="alt">
<span>Query OK</span>,<span> 0 rows affected (0.03 sec)   </span>
</li>
<li>
<span>mysql</span><span class="tag">></span><span> start slave</span>；<span>   </span>
</li>
<li class="alt">
<span>mysql</span><span class="tag">></span><span> show slave status \G   </span>
</li>
<li><span>   Slave_IO_Running: Yes   #确保为yes   </span></li>
<li class="alt"><span>   Slave_SQL_Running: Yes  #确保为yes </span></li>
</ol>

로그인 후 복사

3.2 配置master-02的同步用户

<ol class="dp-xml">
<li class="alt">mysql> grant replication slave on *.* to 'repl’@’192.168.237.%' identified by '123456'；   </li>
<li>
<span>mysql</span><span class="tag">></span><span> flush privileges</span>；<span> </span>
</li>
</ol>

로그인 후 복사

3.3 查看master-02的状态

<ol class="dp-xml">
<li class="alt">mysql> show master status；   </li>
<li><span>+------------------+----------+--------------+------------------+   </span></li>
<li class="alt"><span>| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |   </span></li>
<li><span>+------------------+----------+--------------+------------------+   </span></li>
<li class="alt"><span>| mysql-bin.000004 |      689 |              |                  |   </span></li>
<li><span>+------------------+----------+--------------+------------------+   </span></li>
<li class="alt"><span>1 row in set (0.00 sec) </span></li>
</ol>

로그인 후 복사

4. 从库根据上面步骤配置为master-02的从即可(为了节省篇幅不再一一赘述)

5. 在master-01上创建一个数据库测试同步效果

6. 去master-02跟从库上分别查看是否已经同步过数据来

好了,至此数据同步已经完成,关于keepalived实现双主高可用,我会在下篇keepalived实现MySQL高可用总给大家写出!!!

본 웹사이트의 성명

본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

AI 옷 제거제

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제

Gmail 이메일의 로그인 입구는 어디에 있나요?

7573

Cakephp 튜토리얼

1386

Steam의 계정 이름 형식은 무엇입니까?

Win11 활성화 키 영구

NYT 연결 힌트와 답변

110

Related knowledge

딥러닝 아키텍처의 비교 분석 May 17, 2023 pm 04:34 PM

딥러닝의 개념은 인공 신경망 연구에서 유래되었습니다. 여러 개의 은닉층을 포함하는 다층 퍼셉트론이 딥러닝 구조입니다. 딥 러닝은 하위 수준 기능을 결합하여 보다 추상적인 상위 수준 표현을 형성하여 데이터의 범주나 특성을 나타냅니다. 데이터의 분산된 특징 표현을 발견할 수 있습니다. 딥러닝은 머신러닝의 일종으로, 머신러닝은 인공지능을 달성하는 유일한 방법이다. 그렇다면 다양한 딥러닝 시스템 아키텍처의 차이점은 무엇입니까? 1. 완전 연결 네트워크(FCN) 완전 연결 네트워크(FCN)는 일련의 완전히 연결된 계층으로 구성되며, 각 계층의 모든 뉴런은 다른 계층의 모든 뉴런에 연결됩니다. 주요 장점은 "구조에 구애받지 않는다"는 것입니다. 즉, 입력에 대한 특별한 가정이 필요하지 않습니다. 비록 이러한 구조적 불가지론이 완전한

Spring Data JPA의 아키텍처와 작동 원리는 무엇입니까? Apr 17, 2024 pm 02:48 PM

SpringDataJPA는 JPA 아키텍처를 기반으로 하며 매핑, ORM 및 트랜잭션 관리를 통해 데이터베이스와 상호 작용합니다. 해당 리포지토리는 CRUD 작업을 제공하고 파생 쿼리는 데이터베이스 액세스를 단순화합니다. 또한 지연 로딩을 사용하여 필요한 경우에만 데이터를 검색하므로 성능이 향상됩니다.

다중 경로, 다중 도메인, 모든 것을 포함합니다! Google AI, 다중 도메인 학습 일반 모델 MDL 출시 May 28, 2023 pm 02:12 PM

비전 작업(예: 이미지 분류)을 위한 딥 러닝 모델은 일반적으로 단일 시각적 영역(예: 자연 이미지 또는 컴퓨터 생성 이미지)의 데이터를 사용하여 엔드투엔드 학습됩니다. 일반적으로 여러 도메인에 대한 비전 작업을 완료하는 애플리케이션은 각 개별 도메인에 대해 여러 모델을 구축하고 이를 독립적으로 교육해야 합니다. 추론 중에는 각 모델이 특정 도메인 입력 데이터를 처리합니다. 서로 다른 분야를 지향하더라도 이러한 모델 간 초기 레이어의 일부 기능은 유사하므로 이러한 모델의 공동 학습이 더 효율적입니다. 이렇게 하면 대기 시간과 전력 소비가 줄어들고, 각 모델 매개변수를 저장하는 데 드는 메모리 비용이 줄어듭니다. 이러한 접근 방식을 다중 도메인 학습(MDL)이라고 합니다. 또한 MDL 모델은 단일 모델보다 성능이 뛰어날 수도 있습니다.

이 '실수'는 실제로는 실수가 아닙니다. Transformer 아키텍처 다이어그램의 '잘못'이 무엇인지 이해하려면 4개의 고전 논문으로 시작하세요. Jun 14, 2023 pm 01:43 PM

얼마 전 Transformer 아키텍처 다이어그램과 Google Brain 팀의 논문 "AttentionIsAllYouNeed" 코드 간의 불일치를 지적하는 트윗이 많은 논의를 촉발했습니다. 어떤 사람들은 세바스찬의 발견이 의도하지 않은 실수였다고 생각하지만, 그 역시 놀라운 일이다. 결국 Transformer 논문의 인기를 고려하면 이러한 불일치는 수천 번 언급되어야 합니다. Sebastian Raschka는 네티즌 댓글에 대해 "가장 독창적인" 코드가 아키텍처 다이어그램과 실제로 일치하지만 2017년에 제출된 코드 버전은 수정되었지만 아키텍처 다이어그램은 동시에 업데이트되지 않았다고 말했습니다. 이는 '일관되지 않은' 논의의 근본 원인이기도 합니다.

1.3ms는 1.3ms가 걸립니다! Tsinghua의 최신 오픈 소스 모바일 신경망 아키텍처 RepViT Mar 11, 2024 pm 12:07 PM

논문 주소: https://arxiv.org/abs/2307.09283 코드 주소: https://github.com/THU-MIG/RepViTRepViT는 모바일 ViT 아키텍처에서 잘 작동하며 상당한 이점을 보여줍니다. 다음으로, 본 연구의 기여를 살펴보겠습니다. 기사에서는 경량 ViT가 일반적으로 시각적 작업에서 경량 CNN보다 더 나은 성능을 발휘한다고 언급했는데, 그 이유는 주로 모델이 전역 표현을 학습할 수 있는 MSHA(Multi-Head Self-Attention 모듈) 때문입니다. 그러나 경량 ViT와 경량 CNN 간의 아키텍처 차이점은 완전히 연구되지 않았습니다. 본 연구에서 저자는 경량 ViT를 효과적인

AI 인프라: IT 및 데이터 과학 팀 협업의 중요성 May 18, 2023 pm 11:08 PM

인공 지능(AI)은 많은 산업 분야의 판도를 변화시켜 기업이 효율성, 의사 결정 및 고객 경험을 개선할 수 있도록 지원합니다. AI가 계속 발전하고 더욱 복잡해짐에 따라 기업은 AI 개발 및 배포를 지원하기 위해 올바른 인프라에 투자하는 것이 중요합니다. 이 인프라의 핵심 측면은 IT 팀과 데이터 과학 팀 간의 협업입니다. 둘 다 AI 이니셔티브의 성공을 보장하는 데 중요한 역할을 하기 때문입니다. 인공 지능의 급속한 발전으로 인해 컴퓨팅 성능, 스토리지 및 네트워크 기능에 대한 수요가 증가했습니다. 이러한 요구는 AI에 필요한 복잡하고 리소스 집약적인 워크로드를 처리하도록 설계되지 않은 기존 IT 인프라에 부담을 줍니다. 결과적으로 기업은 이제 AI 워크로드를 지원할 수 있는 시스템을 구축하기 위해 노력하고 있습니다.

golang 프레임워크 아키텍처의 학습 곡선은 얼마나 가파르나요? Jun 05, 2024 pm 06:59 PM

Go 프레임워크 아키텍처의 학습 곡선은 Go 언어 및 백엔드 개발에 대한 친숙도와 선택한 프레임워크의 복잡성, 즉 Go 언어의 기본 사항에 대한 올바른 이해에 따라 달라집니다. 백엔드 개발 경험이 있으면 도움이 됩니다. 다양한 복잡성의 프레임워크는 다양한 학습 곡선으로 이어집니다.

손으로 찢기 Llama3 레이어 1: 처음부터 llama3 구현 Jun 01, 2024 pm 05:45 PM

1. Llama3의 아키텍처 이 기사 시리즈에서는 llama3을 처음부터 구현합니다. Llama3의 전체 아키텍처: Llama3의 모델 매개변수 그림: Llama3 모델에서 이러한 매개변수의 실제 값을 살펴보겠습니다. 그림 [1] 컨텍스트 윈도우(context-window) LlaMa 클래스를 인스턴스화할 때 max_seq_len 변수는 context-window를 정의한다. 클래스에는 다른 매개변수도 있지만 이 매개변수는 변환기 모델과 가장 직접적으로 관련됩니다. 여기서 max_seq_len은 8K입니다. 그림 [2] 어휘의 크기와 주의력L

See all articles

中小型企业可参考的类MySQL双主架构方案_MySQL

핫 AI 도구

Undresser.AI Undress

AI Clothes Remover

Undress AI Tool

Clothoff.io

Video Face Swap

인기 기사

뜨거운 도구

메모장++7.3.1

SublimeText3 중국어 버전

스튜디오 13.0.1 보내기

드림위버 CS6

SublimeText3 Mac 버전

뜨거운 주제