SCWS的scws_get_words函数是否存在bug
SCWS是国人做的一个很优秀的分词库，它的php扩展可以方便地处理中文分词。现在发现其中一个函数scws_get_words函数的问题，这个函数是用来获取分词结果的，其第二个参数可以指定你需要返回的结果，这是它的c api文档描述(php大同小异)
·scws_top_t scws_get_words(scws_t s, char *xattr);
描述：返回指定词性的关键词表，系统会根据词语出现的先后插入列表。参数 xattr 用来描述要排除
或参与的统计词汇词性，多个词性之间用逗号隔开。当以~开头时表示统计结果中不包含这些词性，
否则表示必须包含，传入 NULL 表示统计全部词性。
返回值：返回词表集链表的头指针，该词表集必须调用 scws_free_tops 释放
错误：无
也就是说我只需要在第二个参数里加上以逗号分割的参数即可，比如我加上'~Ag,~a,~ad,~b,~c,~Dg,~d,~e'字符，表示我要在结果中过滤掉这些。
但实际的结果是，无论你加了多少过滤条件都不起作用，但相反，如果你只加一个过滤条件比如'~a'，也就是没有逗号的时候，它可以把相应的结果过滤掉。所以我考虑这之中是否存在bug。下面附上此函数的c实现代码，大家帮我看看
// get words by attr (rand order)
scws_top_t scws_get_words(scws_t s, char *xattr)
{
int off, cnt, xmode = SCWS_NA;
xtree_t xt;
scws_res_t res, cur;
scws_top_t top, tail, base;
char *word;
word_attr *at = NULL;
if (!s || !s->txt || !(xt = xtree_new(0,1)))
return NULL;
__PARSE_XATTR__;
// save the offset.
off = s->off;
s->off = 0;
base = tail = NULL;
while ((cur = res = scws_get_result(s)) != NULL)
{
do
{
/* check attribute filter */
if (at != NULL)
{
if ((xmode == SCWS_NA) && !_attr_belong(cur->attr, at))
continue;
if ((xmode == SCWS_YEA) && _attr_belong(cur->attr, at))
continue;
}
/* put to the stats */
if (!(top = xtree_nget(xt, s->txt + cur->off, cur->len, NULL)))
{
top = (scws_top_t) malloc(sizeof(struct scws_topword));
top->weight = cur->idf;
top->times = 1;
top->next = NULL;
top->word = (char *)_mem_ndup(s->txt + cur->off, cur->len);
strncpy(top->attr, cur->attr, 2);
// add to the chain
if (tail == NULL)
base = tail = top;
else
{
tail->next = top;
tail = top;
}
xtree_nput(xt, top, sizeof(struct scws_topword), s->txt + cur->off, cur->len);
}
else
{
top->weight += cur->idf;
top->times++;
}
}
while ((cur = cur->next) != NULL);
scws_free_result(res);
}
// free at & xtree
if (at != NULL)
free(at);
xtree_free(xt);
// restore the offset
s->off = off;
return base;
}我发现它的__PARSE_XATTR__宏有些问题啊，这里另外附上word_attr的结构定义
/* macro to parse xattr -> xmode, at */
#define __PARSE_XATTR__ do { \
if (xattr == NULL) break; \
if (*xattr == '~') { xattr++; xmode = SCWS_YEA; } \
if (*xattr == '\0') break; \
cnt = ((strlen(xattr)/2) + 2) * sizeof(word_attr); \
at = (word_attr *) malloc(cnt); \
memset(at, 0, cnt); \
cnt = 0; \
for (cnt = 0; (word = strchr(xattr, ',')); cnt++) { \
strncpy(at[cnt], xattr, 2); \
xattr = word + 1; \
} \
strncpy(at[cnt], xattr, 2); \
} while (0)
typedef char word_attr[4];这样处理xattr的话，只能处理词性是2个字符的情况，因为它strncpy(at[cnt], xattr, 2);。这也太马虎了吧，词性表里有一堆一个字符的词性啊，它copy的话就会把逗号也copy进去啊。
自己全部用2个字符的词性过滤试了一下，果然可以了。。。大家考虑下这里应该怎么改下吧
回复内容：
SCWS是国人做的一个很优秀的分词库，它的php扩展可以方便地处理中文分词。现在发现其中一个函数scws_get_words函数的问题，这个函数是用来获取分词结果的，其第二个参数可以指定你需要返回的结果，这是它的c api文档描述(php大同小异)
·scws_top_t scws_get_words(scws_t s, char *xattr);
描述：返回指定词性的关键词表，系统会根据词语出现的先后插入列表。参数 xattr 用来描述要排除
或参与的统计词汇词性，多个词性之间用逗号隔开。当以~开头时表示统计结果中不包含这些词性，
否则表示必须包含，传入 NULL 表示统计全部词性。
返回值：返回词表集链表的头指针，该词表集必须调用 scws_free_tops 释放
错误：无
也就是说我只需要在第二个参数里加上以逗号分割的参数即可，比如我加上'~Ag,~a,~ad,~b,~c,~Dg,~d,~e'字符，表示我要在结果中过滤掉这些。
但实际的结果是，无论你加了多少过滤条件都不起作用，但相反，如果你只加一个过滤条件比如'~a'，也就是没有逗号的时候，它可以把相应的结果过滤掉。所以我考虑这之中是否存在bug。下面附上此函数的c实现代码，大家帮我看看
// get words by attr (rand order)
scws_top_t scws_get_words(scws_t s, char *xattr)
{
int off, cnt, xmode = SCWS_NA;
xtree_t xt;
scws_res_t res, cur;
scws_top_t top, tail, base;
char *word;
word_attr *at = NULL;
if (!s || !s->txt || !(xt = xtree_new(0,1)))
return NULL;
__PARSE_XATTR__;
// save the offset.
off = s->off;
s->off = 0;
base = tail = NULL;
while ((cur = res = scws_get_result(s)) != NULL)
{
do
{
/* check attribute filter */
if (at != NULL)
{
if ((xmode == SCWS_NA) && !_attr_belong(cur->attr, at))
continue;
if ((xmode == SCWS_YEA) && _attr_belong(cur->attr, at))
continue;
}
/* put to the stats */
if (!(top = xtree_nget(xt, s->txt + cur->off, cur->len, NULL)))
{
top = (scws_top_t) malloc(sizeof(struct scws_topword));
top->weight = cur->idf;
top->times = 1;
top->next = NULL;
top->word = (char *)_mem_ndup(s->txt + cur->off, cur->len);
strncpy(top->attr, cur->attr, 2);
// add to the chain
if (tail == NULL)
base = tail = top;
else
{
tail->next = top;
tail = top;
}
xtree_nput(xt, top, sizeof(struct scws_topword), s->txt + cur->off, cur->len);
}
else
{
top->weight += cur->idf;
top->times++;
}
}
while ((cur = cur->next) != NULL);
scws_free_result(res);
}
// free at & xtree
if (at != NULL)
free(at);
xtree_free(xt);
// restore the offset
s->off = off;
return base;
}我发现它的__PARSE_XATTR__宏有些问题啊，这里另外附上word_attr的结构定义
/* macro to parse xattr -> xmode, at */
#define __PARSE_XATTR__ do { \
if (xattr == NULL) break; \
if (*xattr == '~') { xattr++; xmode = SCWS_YEA; } \
if (*xattr == '\0') break; \
cnt = ((strlen(xattr)/2) + 2) * sizeof(word_attr); \
at = (word_attr *) malloc(cnt); \
memset(at, 0, cnt); \
cnt = 0; \
for (cnt = 0; (word = strchr(xattr, ',')); cnt++) { \
strncpy(at[cnt], xattr, 2); \
xattr = word + 1; \
} \
strncpy(at[cnt], xattr, 2); \
} while (0)
typedef char word_attr[4];这样处理xattr的话，只能处理词性是2个字符的情况，因为它strncpy(at[cnt], xattr, 2);。这也太马虎了吧，词性表里有一堆一个字符的词性啊，它copy的话就会把逗号也copy进去啊。
自己全部用2个字符的词性过滤试了一下，果然可以了。。。大家考虑下这里应该怎么改下吧
跟作者交流了下，hightman给出了patch，修改宏定义处
diff -c -r1.28 -r1.29
*** libscws/scws.c 5 Aug 2011 04:39:33 -0000 1.28
--- libscws/scws.c 26 Oct 2011 08:41:44 -0000 1.29
***************
*** 1278,1284 ****
memset(at, 0, cnt); \
cnt = 0; \
for (cnt = 0; (word = strchr(xattr, ',')); cnt++) { \
! strncpy(at[cnt], xattr, 2); \
xattr = word + 1; \
} \
strncpy(at[cnt], xattr, 2); \
--- 1278,1285 ----
memset(at, 0, cnt); \
cnt = 0; \
for (cnt = 0; (word = strchr(xattr, ',')); cnt++) { \
! at[cnt][0] = *xattr++; \
! at[cnt][1] = xattr == word ? '\0' : *xattr; \
xattr = word + 1; \
} \
strncpy(at[cnt], xattr, 2); \
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
適用於 Ubuntu 和 Debian 的 PHP 8.4 安裝和升級指南
Dec 24, 2024 pm 04:42 PM
PHP 8.4 帶來了多項新功能、安全性改進和效能改進，同時棄用和刪除了大量功能。 本指南介紹如何在 Ubuntu、Debian 或其衍生版本上安裝 PHP 8.4 或升級到 PHP 8.4
如何設定 Visual Studio Code (VS Code) 進行 PHP 開發
Dec 20, 2024 am 11:31 AM
Visual Studio Code，也稱為 VS Code，是一個免費的原始碼編輯器 - 或整合開發環境 (IDE) - 可用於所有主要作業系統。 VS Code 擁有大量針對多種程式語言的擴展，可以輕鬆編寫
您如何在PHP中解析和處理HTML/XML？
Feb 07, 2025 am 11:57 AM
本教程演示瞭如何使用PHP有效地處理XML文檔。 XML（可擴展的標記語言）是一種用於人類可讀性和機器解析的多功能文本標記語言。它通常用於數據存儲
在PHP API中說明JSON Web令牌（JWT）及其用例。
Apr 05, 2025 am 12:04 AM
JWT是一種基於JSON的開放標準，用於在各方之間安全地傳輸信息，主要用於身份驗證和信息交換。 1.JWT由Header、Payload和Signature三部分組成。 2.JWT的工作原理包括生成JWT、驗證JWT和解析Payload三個步驟。 3.在PHP中使用JWT進行身份驗證時，可以生成和驗證JWT，並在高級用法中包含用戶角色和權限信息。 4.常見錯誤包括簽名驗證失敗、令牌過期和Payload過大，調試技巧包括使用調試工具和日誌記錄。 5.性能優化和最佳實踐包括使用合適的簽名算法、合理設置有效期、
php程序在字符串中計數元音
Feb 07, 2025 pm 12:12 PM
字符串是由字符組成的序列，包括字母、數字和符號。本教程將學習如何使用不同的方法在PHP中計算給定字符串中元音的數量。英語中的元音是a、e、i、o、u，它們可以是大寫或小寫。 什麼是元音？ 元音是代表特定語音的字母字符。英語中共有五個元音，包括大寫和小寫： a, e, i, o, u 示例 1 輸入：字符串 = "Tutorialspoint" 輸出：6 解釋 字符串 "Tutorialspoint" 中的元音是 u、o、i、a、o、i。總共有 6 個元
解釋PHP中的晚期靜態綁定（靜態：:)。
Apr 03, 2025 am 12:04 AM
靜態綁定（static::）在PHP中實現晚期靜態綁定（LSB），允許在靜態上下文中引用調用類而非定義類。 1）解析過程在運行時進行，2）在繼承關係中向上查找調用類，3）可能帶來性能開銷。
什麼是PHP魔術方法（__ -construct，__destruct，__call，__get，__ set等）並提供用例？
Apr 03, 2025 am 12:03 AM
PHP的魔法方法有哪些？ PHP的魔法方法包括：1.\_\_construct，用於初始化對象；2.\_\_destruct，用於清理資源；3.\_\_call，處理不存在的方法調用；4.\_\_get，實現動態屬性訪問；5.\_\_set，實現動態屬性設置。這些方法在特定情況下自動調用，提升代碼的靈活性和效率。
