基本词匹配项目深入研究（二）- 分表思想的引入-php教程-PHP中文網

首頁

後端開發

php教程

基本词匹配项目深入研究（二）- 分表思想的引入

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 13, 2016 pm 12:12 PM

database nbsp public return self

关键词匹配项目深入研究（二）- 分表思想的引入

（二）分表思想的引入

近期的文章： 1）高并发数据采集的架构应用（Redis的应用）

2）高可用数据采集平台（如何玩转3门语言php+.net+aauto）

手把手教你做关键词匹配项目这块基本已经完成，深入研究是对系统的性能作为分析，在一些环境的刺激下所必需要做的一些改变。

手把手教你做关键词匹配项目: 手把手教你做关键词匹配项目（搜索引擎）---- 第一天~手把手教你做关键词匹配项目（搜索引擎）---- 第二十二天 (共22篇)

深入研究：上节讲到关键词匹配项目深入研究-过滤器的引入。

每一篇会分为问题的前因、解决方案以及有些必要的实现方案。

本篇正文正式开始。

问题的前因

随着自动采集数据的爆炸式的增长，词库的容量蒸蒸日上，一下从几W数据猛增几百万数据，小帅帅看着数据库的查询越来越感到无能为力。

再加上小丁丁常对小帅帅说的最多的一句：何时那么选词能快一点，每次我都等好久都莫有反应，真是急死我了。

小帅帅也比较焦急，心力憔悴，真正的感觉到原来这就是挑战。小帅帅无可奈何的继续找到于老大，求于老大赏赐高招。

于老大拍拍小帅帅的肩膀：小伙子，知道项目的难度了吧！

小帅帅回答道：别挖苦我了，我已深深的感受到了，我想我心脏估计快承受不了了。

于老大：就这点你就承受不了，那估计以后有的是给你受的。

小帅帅：大哥，别说这些虚的行不，赶紧的解决方案丫。

于老大：急啥，事情是急不来的，过来，哥给你指条明路。

“每个宝贝是不是有类别的属性，那么这几百万数据真正属于这个类别的词能够有多少？假设我们只取这个类别的词库我们的项目是否可以继续稳定下来”。

解决方案

按照某种业务需要，我们可以对数据表实行分割，可以纵向或者横向分割，可以有效的进行性能优化。

纵向分割也称列分割，把不常用的列或者长字段分割来保证实体处于一个相对适用的状态，常见的有一对一关联。

横向分割也称行分割，按照某种业务拆分数据的记录来存放在不同的表，常见的有按日期分表操作。

本案例是使用横向分割，把数据按照类别的形式进行拆分。

实现方案

我们为了不更改数据表的结构，这样设计了，我们按照表名来区分项目使用那个数据表。这样一来的改动相对是非常少的。我们只需稍微改动下代码就可以解决了，这很心塞的一件事情。

修改Keyword的代码，增加获取数据源。

<span style="color: #000000;">php</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Keyword {    </span><span style="color: #0000ff;">public</span> <span style="color: #800080;">$word</span><span style="color: #000000;">;    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">;    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> getDbConn(){        </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){            self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD);            </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;        }        </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> save(){        </span><span style="color: #800080;">$sql</span> = "insert into keywords(word) values ('<span style="color: #800080;">$this</span>->word')"<span style="color: #000000;">;        </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,<span style="color: #800080;">$this</span>-><span style="color: #000000;">getDbConn());    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsSource(<span style="color: #800080;">$cid</span>,<span style="color: #800080;">$limit</span>=0,<span style="color: #800080;">$offset</span>=40<span style="color: #000000;">){        </span><span style="color: #800080;">$sql</span> = "SELECT * FROM　keywords_<span style="color: #800080;">$cid</span> LIMIT <span style="color: #800080;">$limit</span>,<span style="color: #800080;">$ffset</span>"<span style="color: #000000;">;        </span><span style="color: #0000ff;">return</span> DB::MakeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">);    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> getWordsCount(<span style="color: #800080;">$cid</span><span style="color: #000000;">){          </span><span style="color: #800080;">$sql</span> = "SELECT count(*) FROM　keywords_<span style="color: #800080;">$cid</span>"<span style="color: #000000;">;        </span><span style="color: #0000ff;">return</span> DB::QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">);    }}</span>

登入後複製

DB类新增QueryScalar，用于算总量

<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@author oShine</span><span style="color: #008080;">define</span>('DATABASE_HOST','127.0.0.1'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_USER','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE__PASSWORD','xiaoshuaishuai'<span style="color: #000000;">);</span><span style="color: #008080;">define</span>('DATABASE_CHARSET','utf-8'<span style="color: #000000;">);</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> DB {    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$conn</span> = <span style="color: #0000ff;">null</span><span style="color: #000000;">;    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span><span style="color: #000000;"> Connect(){        </span><span style="color: #0000ff;">if</span>(self::<span style="color: #800080;">$conn</span> == <span style="color: #0000ff;">null</span><span style="color: #000000;">){            self</span>::<span style="color: #800080;">$conn</span> = <span style="color: #008080;">mysql_connect</span>(DATABASE_HOST,DATABASE_USER,<span style="color: #000000;">DATABASE__PASSWORD);            </span><span style="color: #008080;">mysql_query</span>("SET NAMES '".DATABASE_CHARSET."'",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #008080;">mysql_select_db</span>("dict",self::<span style="color: #800080;">$conn</span><span style="color: #000000;">);            </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;        }        </span><span style="color: #0000ff;">return</span> self::<span style="color: #800080;">$conn</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">){       </span><span style="color: #0000ff;">return</span> <span style="color: #008080;">mysql_query</span>(<span style="color: #800080;">$sql</span>,self::<span style="color: #000000;">Connect());    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> makeArray(<span style="color: #800080;">$sql</span><span style="color: #000000;">){        </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">);        </span><span style="color: #800080;">$result</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">();        </span><span style="color: #0000ff;">while</span>(<span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_assoc</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">)){            </span><span style="color: #800080;">$result</span>[] = <span style="color: #800080;">$data</span><span style="color: #000000;">;        }        </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$result</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> QueryScalar(<span style="color: #800080;">$sql</span><span style="color: #000000;">){         </span><span style="color: #800080;">$rs</span> = self::Query(<span style="color: #800080;">$sql</span><span style="color: #000000;">);         </span><span style="color: #800080;">$data</span> = <span style="color: #008080;">mysql_fetch_array</span>(<span style="color: #800080;">$rs</span><span style="color: #000000;">);         </span><span style="color: #0000ff;">if</span>(<span style="color: #800080;">$data</span> == <span style="color: #0000ff;">false</span> || <span style="color: #0000ff;">empty</span>(<span style="color: #800080;">$data</span>) || !<span style="color: #0000ff;">isset</span>(<span style="color: #800080;">$data</span>[1])) <span style="color: #0000ff;">return</span> 0<span style="color: #000000;">;         </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$data</span>[1<span style="color: #000000;">];    }} </span>

登入後複製

修改Selector的代码，用于选词：

<span style="color: #000000;">php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Filename:selector/Selector.php</span><span style="color: #008000;">#</span><span style="color: #008000;">@Author:oshine</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/SelectorItem.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharList.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>) . '/charlist/CharlistHandle.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">require_once</span> <span style="color: #008080;">dirname</span>(<span style="color: #008080;">dirname</span>(<span style="color: #ff00ff;">__FILE__</span>)) . '/lib/Logger.php'<span style="color: #000000;">;</span><span style="color: #0000ff;">class</span><span style="color: #000000;"> Selector{    </span><span style="color: #0000ff;">private</span> <span style="color: #0000ff;">static</span> <span style="color: #800080;">$charListHandle</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">(        </span>"黑名单" => "BacklistCharListHandle",        "近义词" => "LinklistCharListHandle"<span style="color: #000000;">    );    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> select(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">)    {        </span><span style="color: #800080;">$selectorItem</span> = SelectorItem::createFromApi(<span style="color: #800080;">$num_iid</span><span style="color: #000000;">);        Logger</span>::trace(<span style="color: #800080;">$selectorItem</span>-><span style="color: #000000;">props_name);        </span><span style="color: #800080;">$charlist</span> = <span style="color: #0000ff;">new</span><span style="color: #000000;"> CharList();        </span><span style="color: #0000ff;">foreach</span> (self::<span style="color: #800080;">$charListHandle</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$matchKey</span> => <span style="color: #800080;">$className</span><span style="color: #000000;">) {            </span><span style="color: #800080;">$handle</span> = self::createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">);            </span><span style="color: #800080;">$handle</span>-><span style="color: #008080;">exec</span><span style="color: #000000;">();        }        </span><span style="color: #800080;">$selectWords</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">();        </span><span style="color: #800080;">$wordsCount</span> = Keyword::getWordsCount(selectorItem-><span style="color: #000000;">cid);        </span><span style="color: #800080;">$offset</span> = 40<span style="color: #000000;">;        </span><span style="color: #800080;">$page</span> =  <span style="color: #008080;">ceil</span>(<span style="color: #800080;">$wordsCount</span>/<span style="color: #800080;">$offset</span><span style="color: #000000;">);        </span><span style="color: #0000ff;">for</span>(<span style="color: #800080;">$i</span>=0;<span style="color: #800080;">$i</span>$page;<span style="color: #800080;">$i</span>++<span style="color: #000000;">){            </span><span style="color: #800080;">$limit</span> = <span style="color: #800080;">$i</span>*<span style="color: #800080;">$offset</span><span style="color: #000000;">;            </span><span style="color: #800080;">$keywords</span> = Keyword::getWordsSource(selectorItem->cid,<span style="color: #800080;">$limit</span>,<span style="color: #800080;">$offset</span><span style="color: #000000;">);             </span><span style="color: #0000ff;">foreach</span> (<span style="color: #800080;">$keywords</span> <span style="color: #0000ff;">as</span> <span style="color: #800080;">$val</span><span style="color: #000000;">) {                </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span>                <span style="color: #800080;">$keywordEntity</span> = SplitterApp::<span style="color: #008080;">split</span>(<span style="color: #800080;">$val</span>["word"<span style="color: #000000;">]);                                    </span><span style="color: #008000;">#</span><span style="color: #008000;"> code...</span>                <span style="color: #0000ff;">if</span>(MacthExector::macth(<span style="color: #800080;">$keywordEntity</span>,<span style="color: #800080;">$charlist</span><span style="color: #000000;">)){                    </span><span style="color: #800080;">$selectWords</span>[] = <span style="color: #800080;">$val</span>["word"<span style="color: #000000;">];                }                      }        }        </span><span style="color: #0000ff;">return</span> <span style="color: #800080;">$selectWords</span><span style="color: #000000;">;    }    </span><span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">function</span> createCharListHandle(<span style="color: #800080;">$className</span>, <span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">)    {        </span><span style="color: #0000ff;">if</span> (<span style="color: #008080;">class_exists</span>(<span style="color: #800080;">$className</span><span style="color: #000000;">)) {            </span><span style="color: #0000ff;">return</span> <span style="color: #0000ff;">new</span> <span style="color: #800080;">$className</span>(<span style="color: #800080;">$charlist</span>, <span style="color: #800080;">$selectorItem</span><span style="color: #000000;">);        }        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> <span style="color: #0000ff;">Exception</span>("class not exists", 0<span style="color: #000000;">);    }}</span>

登入後複製

总结
小帅帅又学到了新的知识点，这是要犒劳于老大的节奏吗？你们是否也要犒劳下我呢，求赞哈！

本網站聲明

本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn

熱AI工具

熱工具

熱門話題

gmail信箱登陸入口在哪裡

7818

Java教學

1646

CakePHP 教程

1402

Laravel 教程

1300

PHP教程

1238

Related knowledge

解決方法：您的組織要求您更改 PIN 碼 Oct 04, 2023 pm 05:45 PM

「你的組織要求你更改PIN訊息」將顯示在登入畫面上。當在使用基於組織的帳戶設定的電腦上達到PIN過期限制時，就會發生這種情況，在該電腦上，他們可以控制個人設備。但是，如果您使用個人帳戶設定了Windows，則理想情況下不應顯示錯誤訊息。雖然情況並非總是如此。大多數遇到錯誤的使用者使用個人帳戶報告。為什麼我的組織要求我在Windows11上更改我的PIN？可能是您的帳戶與組織相關聯，您的主要方法應該是驗證這一點。聯絡網域管理員會有所幫助！此外，配置錯誤的本機原則設定或不正確的登錄項目也可能導致錯誤。即

Windows 11 上調整視窗邊框設定的方法：變更顏色和大小 Sep 22, 2023 am 11:37 AM

Windows11將清新優雅的設計帶到了最前沿;現代介面可讓您個性化和更改最精細的細節，例如視窗邊框。在本指南中，我們將討論逐步說明，以協助您在Windows作業系統中建立反映您的風格的環境。如何更改視窗邊框設定？按+開啟“設定”應用程式。 WindowsI前往個人化，然後按一下顏色設定。顏色變更視窗邊框設定視窗11「寬度=」643「高度=」500「>找到在標題列和視窗邊框上顯示強調色選項，然後切換它旁邊的開關。若要在「開始」功能表和工作列上顯示主題色，請開啟「在開始」功能表和工作列上顯示主題

如何在 Windows 11 上變更標題列顏色？ Sep 14, 2023 pm 03:33 PM

預設情況下，Windows11上的標題列顏色取決於您選擇的深色/淺色主題。但是，您可以將其變更為所需的任何顏色。在本指南中，我們將討論三種方法的逐步說明，以更改它並個性化您的桌面體驗，使其具有視覺吸引力。是否可以更改活動和非活動視窗的標題列顏色？是的，您可以使用「設定」套用變更活動視窗的標題列顏色，也可以使用登錄編輯程式變更非活動視窗的標題列顏色。若要了解這些步驟，請前往下一部分。如何在Windows11中變更標題列的顏色？ 1.使用「設定」應用程式按+開啟設定視窗。 WindowsI前往“個人化”，然

OOBELANGUAGE錯誤Windows 11 / 10修復中出現問題的問題 Jul 16, 2023 pm 03:29 PM

您是否在Windows安裝程式頁面上看到「出現問題」以及「OOBELANGUAGE」語句？ Windows的安裝有時會因此類錯誤而停止。 OOBE表示開箱即用的體驗。正如錯誤提示所表示的那樣，這是與OOBE語言選擇相關的問題。沒有什麼好擔心的，你可以透過OOBE螢幕本身的漂亮註冊表編輯來解決這個問題。快速修復–1.點選OOBE應用底部的「重試」按鈕。這將繼續進行該過程，而不會再打嗝。 2.使用電源按鈕強制關閉系統。系統重新啟動後，OOBE應繼續。 3.斷開系統與網際網路的連接。在脫機模式下完成OOBE的所

Windows 11 上啟用或停用工作列縮圖預覽的方法 Sep 15, 2023 pm 03:57 PM

工作列縮圖可能很有趣，但它們也可能分散注意力或煩人。考慮到您將滑鼠懸停在該區域的頻率，您可能無意中關閉了重要視窗幾次。另一個缺點是它使用更多的系統資源，因此，如果您一直在尋找一種提高資源效率的方法，我們將向您展示如何停用它。不過，如果您的硬體規格可以處理它並且您喜歡預覽版，則可以啟用它。如何在Windows11中啟用工作列縮圖預覽？ 1.使用「設定」應用程式點擊鍵並點選設定。 Windows按一下系統，然後選擇關於。點選高級系統設定。導航至“進階”選項卡，然後選擇“效能”下的“設定”。在「視覺效果」選

Windows 11 上的顯示縮放比例調整指南 Sep 19, 2023 pm 06:45 PM

在Windows11上的顯示縮放方面，我們都有不同的偏好。有些人喜歡大圖標，有些人喜歡小圖標。但是，我們都同意擁有正確的縮放比例很重要。字體縮放不良或圖像過度縮放可能是工作時真正的生產力殺手，因此您需要知道如何自訂以充分利用系統功能。自訂縮放的優點：對於難以閱讀螢幕上的文字的人來說，這是一個有用的功能。它可以幫助您一次在螢幕上查看更多內容。您可以建立僅適用於某些監視器和應用程式的自訂擴充功能設定檔。可以幫助提高低階硬體的效能。它使您可以更好地控制螢幕上的內容。如何在Windows11

10種在 Windows 11 上調整亮度的方法 Dec 18, 2023 pm 02:21 PM

螢幕亮度是使用現代計算設備不可或缺的一部分，尤其是當您長時間注視螢幕時。它可以幫助您減輕眼睛疲勞，提高易讀性，並輕鬆有效地查看內容。但是，根據您的設置，有時很難管理亮度，尤其是在具有新UI更改的Windows11上。如果您在調整亮度時遇到問題，以下是在Windows11上管理亮度的所有方法。如何在Windows11上變更亮度[10種方式解釋]單一顯示器使用者可以使用下列方法在Windows11上調整亮度。這包括使用單一顯示器的桌上型電腦系統以及筆記型電腦。讓我們開始吧。方法1：使用操作中心操作中心是訪問

如何修復Windows伺服器中的啟動錯誤代碼0xc004f069 Jul 22, 2023 am 09:49 AM

Windows上的啟動過程有時會突然轉向顯示包含此錯誤代碼0xc004f069的錯誤訊息。雖然啟動程序已經聯機，但一些運行WindowsServer的舊系統可能會遇到此問題。透過這些初步檢查，如果這些檢查不能幫助您啟動系統，請跳到主要解決方案以解決問題。解決方法–關閉錯誤訊息和啟動視窗。然後，重新啟動電腦。再次從頭開始重試Windows啟動程序。修復1–從終端啟動從cmd終端啟動WindowsServerEdition系統。階段–1檢查Windows伺服器版本您必須檢查您使用的是哪種類型的W

See all articles

基本词匹配项目深入研究（二）- 分表思想的引入

熱AI工具

Undresser.AI Undress

AI Clothes Remover

Undress AI Tool

Clothoff.io

Video Face Swap

熱門文章

熱工具

記事本++7.3.1

SublimeText3漢化版

禪工作室 13.0.1

Dreamweaver CS6

SublimeText3 Mac版

熱門話題