-
-
/** - * Tencent QQ Weibo API インターフェースを使用して Weibo コンテンツを取得します
- * by bbs.it-home.org
- */
- define('HDOM_TYPE_ELEMENT', 1);
- define('HDOM_TYPE_COMMENT', 2);
- define('HDOM_TYPE_TEXT', 3);
- define('HDOM_TYPE_ENDTAG', 4);
- define('HDOM_TYPE_ROOT', 5);
- define('HDOM_TYPE_UNKNOWN', 6);
- define('HDOM_QUOTE_DOUBLE', 0);
- define('HDOM_QUOTE_SINGLE', 1);
- define('HDOM_QUOTE_NO', 3);
- define('HDOM_INFO_BEGIN', 0);
- define('HDOM_INFO_END', 1);
- define('HDOM_INFO_QUOTE', 2);
- define('HDOM_INFO_SPACE', 3);
- define('HDOM_INFO_TEXT', 4);
- define('HDOM_INFO_INNER', 5);
- define('HDOM_INFO_OUTER', 6);
- define('HDOM_INFO_ENDSPACE',7);
- // ヘルパー関数
- / / ---------------
- // HTML dom フォーム ファイルを取得します
- function file_get_html() {
- $dom = new simple_html_dom;
- $args = func_get_args();
- $dom-> ;load(call_user_func_array('file_get_contents', $args), true);
- return $dom;
- }
- // HTML dom フォーム文字列を取得
- function str_get_html($str, $ lowercase=true) {
- $dom = new simple_html_dom ;
- $dom->load($str, $ lowercase);
- return $dom;
- }
- // HTML dom ツリーをダンプ
- function dump_html_tree($node, $show_attr=true, $deep=0) {
- $ lead = str_repeat(' ', $deep);
- echo $lead.$node->tag;
- if ($show_attr && count($node->attr)>0) {
- echo '(';
- foreach($node->attr as $k=>$v)
- echo "[$k]=>"".$node->$k.'", ';
- echo ')';
- }
- echo "n";
- foreach($node->nodes as $c)
- dump_html_tree($c, $show_attr, $deep+1);
- }
- // dom フォーム ファイルを取得 (非推奨)
- function file_get_dom () {
- $dom = new simple_html_dom;
- $args = func_get_args();
- $dom->load(call_user_func_array('file_get_contents', $args), true);
- return $dom;
- }
- // get dom 形式の文字列 (非推奨)
- function str_get_dom($str, $ lowercase=true) {
- $dom = new simple_html_dom;
- $dom->load($str, $ lowercase);
- return $dom;
- }
- / / simple html dom ノード
- // ---------------
- class simple_html_dom_node {
- public $nodetype = HDOM_TYPE_TEXT;
- public $tag = 'text';
- public $attr = array( );
- public $children = array();
- public $nodes = array();
- public $parent = null;
- public $_ = array();
- private $dom = null;
- function __construct($dom) {
- $this->dom = $dom;
- $dom->nodes[] = $this;
- }
- 関数 __destruct() {
- $this->clear();
- }
- 関数 __toString() {
- return $this->outertext();
- }
- // php5 の循環参照によるメモリ リークによるメモリのクリーンアップ...
- function clear() {
- $this->dom = null;
- $this- >nodes = null;
- $this->parent = null;
- $this->children = null;
- }
// ノードのツリーをダンプします
- function dump($show_attr=true) {
- dump_html_tree($this, $show_attr);
- }
- // ノードの親を返します
- functionparent() {
- return $this->parent;
- }
- // ノード
- 関数の子を返しますchildren($idx=-1) {
- if ($idx===-1) return $this->children;
- if (isset($this->children [$idx])) return $this->children[$idx];
- return null;
- }
- // ノード
- の最初の子を返します function first_child() {
- if (count($this->children )>0) return $this->children[0];
- return null;
- }
- // ノード
- 関数の最後の子を返します last_child() {
- if (($count=count($this-> ;children))>0) return $this->children[$count-1];
- return null;
- }
- // ノードの次の兄弟を返します
- function next_sibling() {
- if ($this-> ;parent===null) null を返します;
- $idx = 0;
- $count = count($this->parent->children);
- while ($idx<$count && $this!==$this ->parent->children[$idx])
- ++$idx;
- if (++$idx>=$count) return null;
- return $this->parent->children[$idx] ;
- }
- // ノードの前の兄弟を返します
- function prev_sibling() {
- if ($this->parent===null) return null;
- $idx = 0;
- $count = count($this->parent ->children);
- while ($idx<$count && $this!==$this->parent->children[$idx])
- ++$idx;
- if (--$idx<0 ) return null;
- return $this->parent->children[$idx];
- }
- // dom ノードの内部 html
- 関数を取得します innertext() {
- if (isset($this->_[HDOM_INFO_INNER) ])) return $this->_[HDOM_INFO_INNER];
- if (isset($this->_[HDOM_INFO_TEXT])) return $this->dom->restore_noise($this->_[HDOM_INFO_TEXT] ]);
- $ret = '';
- foreach($this->nodes as $n)
- $ret .= $n->outertext();
- return $ret;
- }
- // domノードの取得外側のテキスト (タグ付き)
- function innertext() {
- if ($this->tag==='root') return $this->gt;innertext();
- // コールバックをトリガー
- if ($this-> ;dom->callback!==null)
- call_user_func_array($this->dom->callback, array($this));
- if (isset($this->>_[HDOM_INFO_OUTER])) return $ this->_[HDOM_INFO_OUTER];
- if (isset($this->>_[HDOM_INFO_TEXT])) return $this->>dom->restore_noise($this->>_[HDOM_INFO_TEXT]);
- / / 開始タグをレンダリングします
- $ret = $this->dom->nodes[$this->>_[HDOM_INFO_BEGIN]]->makeup();
- // 内部テキストをレンダリングします
- if (isset($this- >_[HDOM_INFO_INNER]))
- $ret .= $this->_[HDOM_INFO_INNER];
- else {
- foreach($this->nodes as $n)
- $ret .= $n->outertext ();
- }
- // 終了タグをレンダリングします
- if(isset($this->_[HDOM_INFO_END]) && $this->_[HDOM_INFO_END]!=0)
- $ret .= '' .$this->tag.'>';
- return $ret;
- }
- // domノードのプレーンテキストを取得
- function text() {
- if (isset($this->gt;_[HDOM_INFO_INNER])) return $this->_[HDOM_INFO_INNER];
- switch ($this->nodetype) {
- case HDOM_TYPE_TEXT: return $this->dom->restore_noise($this->_[HDOM_INFO_TEXT]);
- case HDOM_TYPE_COMMENT: return '';
- case HDOM_TYPE_UNKNOWN: return '';
- }
- if (strcasecmp($this->tag, 'script')===0) return '';
- if (strcasecmp($this- >tag, 'style')===0) return '';
- $ret = '';
- foreach($this->nodes as $n)
- $ret .= $n->text() ;
- return $ret;
- }
function xmltext() {
- $ret = $this->innertext();
- $ret = str_ireplace(' $ret = str_replace(']]> ;', '', $ret);
- return $ret;
- }
- // タグを使用してノードのテキストを構築
- function makeup() {
- // テキスト、コメント、不明
- if (isset($this->_ [HDOM_INFO_TEXT])) return $this->dom->restore_noise($this->_[HDOM_INFO_TEXT]);
- $ret = '<'.$this->tag;
- $i = -1 ;
- foreach($this->attr as $key=>$val) {
- ++$i;
- // 削除された属性をスキップ
- if ($val===null || $val===false)
- continue;
- $ret .= $this->_[HDOM_INFO_SPACE][$i][0];
- //値なし attr: nowrap、チェック済み、選択済み...
- if ($val===true)
- $ret .= $key;
- else {
- switch($this->_[HDOM_INFO_QUOTE][$i]) {
- case HDOM_QUOTE_DOUBLE: $quote = '"'; Break;
- case HDOM_QUOTE_SINGLE: $quote = '' '; Break;
- デフォルト: $quote = '';
- }
- $ret .= $key.$this->_[HDOM_INFO_SPACE][$i][1].'='.$this->_[HDOM_INFO_SPACE] ][$i][2].$quote.$val.$quote;
- }
- }
- $ret = $this->dom->restore_noise($ret);
- return $ret 。 $this->_[HDOM_INFO_ENDSPACE] 。 '>';
- }
- // CSS selector で要素を検索
- function find($selector, $idx=null) {
- $selector = $this->parse_selector($selector);
- if (($count=count($selector))= ==0) return array();
- $found_keys = array();
- // 各セレクター
- を検索します for ($c=0; $c if (($level= count($selectors[0]))===0) return array();
- if (!isset($this->_[HDOM_INFO_BEGIN])) return array();
- $head = array($this- >_[HDOM_INFO_BEGIN]=>1);
- // 子孫セレクターを処理します。再帰的ではありません!
- for ($l=0; $l $ret = array();
- foreach($head as $k=>$v) {
- $n = ($k===-1) ? $this->dom->root : $this->dom->nodes[$k];
- $n->seek($selectors[$c][$l], $ret);
- }
- $head = $ret;
- }
- foreach($head as $k=>$v) {
- if (!isset($found_keys[$k]))
- $found_keys[$k] = 1;
- }
- }
- // キーをソートします
- ksort($found_keys);
- $found = array();
- foreach($found_keys as $k=>$v)
- $found[] = $this->dom- >nodes[$k];
- // n 番目の要素または配列を返します
- if (is_null($idx)) return $found;
- else if ($idx return (isset($found[$idx])) ? $found[$idx] : null;
- }
- // 与えられた条件でシーク
- protected function look($selector, &$ret) {
- list($tag, $key, $val, $exp, $no_key) = $selector;
- // xpath インデックス
- if ($tag && $key && is_numeric($key)) {
- $count = 0;
- foreach ($this->children as $c) {
- if ($tag= =='*' || $tag===$c->tag) {
- if (++$count==$key) {
- $ret[$c->_[HDOM_INFO_BEGIN]] = 1;
- return;
- }
- }
- }
- return;
- }
- $end = (!empty($this->_[HDOM_INFO_END])) ? $this->_[HDOM_INFO_END] : 0;
- if ($end==0) {
- $parent = $this->parent;
- while (!isset($parent->_[HDOM_INFO_END]) && $parent!==null) {
- $end -= 1;
- $parent = $parent->parent;
- }
- $end += $parent->_[HDOM_INFO_END];
- }
- for($i =$this->_[HDOM_INFO_BEGIN]+1; $i $node = $this->dom->nodes[$i];
- $pass = true;
- if ($tag==='*' && !$key) {
- if (in_array($node, $this->children, true))
- $ret[$i] = 1;
- continue;
- }
- // タグ
- を比較 if ($tag && $tag!=$node->tag && $tag!=='*') {$pass=false;}
- // キー
- if ($pass && $ key) {
- if ($no_key) {
- if (isset($node->attr[$key])) $pass=false;
- }
- else if (!isset($node->attr[$key]) ])) $pass=false;
- }
- // 値を比較します
- if ($pass && $key && $val && $val!=='*') {
- $check = $this->match($exp , $val, $node->attr[$key]);
- // 複数のクラスを処理します
- if (!$check && strcasecmp($key, 'class')===0) {
- foreach(explode(' ',$node->attr[$key]) as $k) {
- $check = $this->match($exp, $val, $k);
- if ($check) Break;
- }
- }
- if (!$check) $pass = false;
- }
- if ($pass) $ret[$i] = 1;
- unset($node);
- }
- }
- protected function match($exp, $ pattern, $value) {
- switch ($exp) {
- case '=':
- return ($value===$pattern);
- case '!=':
- return ($value!==$pattern);
- case '^=':
- return preg_match("/^".preg_quote($pattern,'/')."/", $value);
- case '$=':
- return preg_match("/".preg_quote ($pattern,'/')."$/", $value);
- case '*=':
- if ($pattern[0]=='/')
- return preg_match($pattern, $value);
- return preg_match("/".$pattern."/i", $value);
- }
- return false;
- }
- protected function parse_selector($selector_string) {
- // mootools から変更された CSS セレクターのパターン
- $pattern = "/([w-:*]*)(?:#([w-]+)|.([ w-]+))?(?:[@?(!?[w-]+)(?:([!*^$]?=)["']?(.*?)["']? )?])?([/, ]+)/is";
- preg_match_all($pattern, トリム($selector_string).' ', $matches, PREG_SET_ORDER);
- $selector = array();
- $result = array ();
- //print_r($matches);
- foreach ($matches as $m) {
- $m[0] = トリム($m[0]);
- if ($m[0]===' ' || $m[0]==='/' || $m[0]==='//') continue;
- // ブラウザーが取得した xpath 用 if ($m[1]===' tbody') 続行;
- list($tag, $key, $val, $exp, $no_key) = array($m[1], null, null, '=', false);
- if(!empty($ m[2])) {$key='id'; $val=$m[2];}
- if(!empty($m[3])) {$key='クラス'; $val=$m[3];}
- if(!empty($m[4])) {$key=$m[4];}
- if(!empty($m[5])) {$exp =$m[5];}
- if(!empty($m[6])) {$val=$m[6];}
- // 小文字に変換
- if ($this->dom->小文字) {$tag=strto lower($tag); $key=strto lower($key);}
- //指定された属性を持たない要素
- if (isset($key[0]) && $key[0]==='!') {$key=substr ($key, 1); $no_key=true;}
- $result[] = array($tag, $key, $val, $exp, $no_key);
- if (trim($m[7])===',') {
- $selectors[] = $result;
- $result = array();
- }
- }
- if (count($result)>0)
- $selectors[] = $result;
- return $selectors;
- }
- 関数__get($name) {
- if (isset($this->attr[$name])) return $this->attr[$name];
- switch($name) {
- case 'outertext': return $ this->outertext();
- case 'innertext': return $this->innertext();
- case 'plaintext': return $this->text();
- case 'xmltext': return $this- >xmltext();
- デフォルト: return array_key_exists($name, $this->attr);
- }
- }
- function __set($name, $value) {
- switch($name) {
- case 'outertext' : return $this->_[HDOM_INFO_OUTER] = $value;
- case 'innertext':
- if (isset($this->>_[HDOM_INFO_TEXT])) return $this->_[HDOM_INFO_TEXT] = $value ;
- return $this->_[HDOM_INFO_INNER] = $value;
- }
- if (!isset($this->attr[$name])) {
- $this->_[HDOM_INFO_SPACE][] =配列(' '、 ''、 '');
- $this->_[HDOM_INFO_QUOTE][] = HDOM_QUOTE_DOUBLE;
- }
- $this->attr[$name] = $value;
- }
- function __isset($name) {
- switch($name) {
- case 'outertext': return true;
- case 'innertext': return true;
- case 'plaintext': return true;
- }
- //値なし attr: nowrap, selected selected...
- return (array_key_exists($name, $this->attr)) ? true : isset($this->attr[$name]);
- }
- function __unset($name) {
- if (isset($this->attr[$name]))
- unset($this-> ;attr[$name]);
- }
- // ラクダの命名規則
- function getAllAttributes() {return $this->attr;}
- function getAttribute($name) {return $this->gt;__get($name) ;}
- function setAttribute($name, $value) {$this->__set($name, $value);}
- function hasAttribute($name) {return $this->__isset($name);}
- function RemoveAttribute($name) {$this->__set($name, null);}
- function getElementById($id) {return $this->find("#$id", 0);}
- function getElementsById ($id, $idx=null) {return $this->find("#$id", $idx);}
- function getElementByTagName($name) {return $this->find($name, 0) ;}
- 関数 getElementsByTagName($name, $idx=null) {return $this->find($name, $idx);}
- 関数parentNode() {return $this->parent();}
- 関数childNodes($idx=-1) {return $this->children($idx);}
- function firstChild() {return $this->first_child();}
- function lastChild() {return $this-> ;last_child();}
- 関数 nextSibling() {return $this->next_sibling();}
- functionPreviousSibling() {return $this->prev_sibling();}
- }
- // 単純な HTML dom パーサー
- // -------------------------------------- -------------------------------------
- class simple_html_dom {
- public $root = null;
- public $nodes = array();
- public $callback = null;
- public $ lowercase = false;
- protected $pos;
- protected $doc;
- protected $char;
- protected $size;
- protected $cursor;
- protected $parent ;
- protected $noise = array();
- protected $token_blank = " trn";
- protected $token_equal = ' =/>';
- protected $token_slash = " />rnt";
- protected $token_attr = ' > ;';
- // in_array の代わりに isset を使用すると、パフォーマンスが約 30% 向上します...
- protected $self_closed_tags = array('img'=>1, 'br'=>1, 'input'=>1 、'meta'=>1、'link'=>1、'hr'=>1、'base'=>1、'embed'=>1、'spacer'=>1);
- protected $block_tags = array('root'=>1, 'body'=>1, 'form'=>1, 'div'=>1, 'span'=>1, 'table' =>1);
- protected $optional_closed_tags = array(
- 'tr'=>array('tr'=>1, 'td'=>1, 'th'=>1),
- 'th '=>array('th'=>1),
- 'td'=>array('td'=>1),
- 'li'=>array('li'=>1) ,
- 'dt'=>array('dt'=>1, 'dd'=>1),
- 'dd'=>array('dd'=>1, 'dt'=> 1)、
- 'dl'=>array('dd'=>1, 'dt'=>1)、
- 'p'=>array('p'=>1)、
- 'nobr '=>array('nobr'=>1),
- );
- function __construct($str=null) {
- if ($str) {
- if (preg_match("/^http:///i" ,$str) || is_file($str))
- $this->load_file($str);
- else
- $this->load($str);
- }
- }
- http://www.devdao.com/
- function __destruct() {
- $this->clear();
- }
- //文字列から HTML をロード
- function load($str, $ lowercase=true) {
- // prepare
- $this->prepare($str, $ lowercase);
- // コメントを削除します
- $this->remove_noise( "''is");
- // cdata を削除します
- $this->remove_noise("''is", true);
- //
|