Ibatis之RowHandler

Jun 07, 2016 pm 04:06 PM
ibatis 行為

当用Ibatis进行大数据量Sql查询时(如上百万条,千万条数据),如果按照一般的编程方式(如QueryForList方法)把数据查询出来再做操作则很可能会出现性能问题,如: 1.对JVM内存的大量消耗; 2.大量对象的密集创建对GC带来一定的压力; 3.数据查询和后续的数

当用Ibatis进行大数据量Sql查询时(如上百万条,千万条数据),如果按照一般的编程方式(如QueryForList方法)把数据查询出来再做操作则很可能会出现性能问题,如:
1.对JVM内存的大量消耗;
2.大量对象的密集创建对GC带来一定的压力;
3.数据查询和后续的数据操作无法并行执行等

为应对这样的场景,Ibatis提供了RowHandler接口,以回调的方式,允许用户对查询结果集进行自定义的处理,用户通过自定义实现handleRow方法一次处理一条数据,从而提高框架的灵活性。

/**
 * Event handler for row by row processing.
 * <p/>
 * The RowHandler interface is used by the SqlMapSession.queryWithRowHandler() method.
 * Generally a RowHandler implementation will perform some row-by-row processing logic
 * in cases where there are too many rows to efficiently load into memory.
 * <p/>
 * Example:
 * <pre class="brush:php;toolbar:false">
 * sqlMap.queryWithRowHandler ("findAllEmployees", null, new MyRowHandler()));
 * 
ログイン後にコピー
*/ public interface RowHandler { /** * Handles a single row of a result set. *

* This method will be called for each row in a result set. For each row the result map * will be applied to build the value object, which is then passed in as the valueObject * parameter. * * @param valueObject The object representing a single row from the query. * @see com.ibatis.sqlmap.client.SqlMapSession */ void handleRow(Object valueObject); }

简单举例来说RowHandler的作用:
在大数据量的场景下,如:银行每天对账户的“计提”操作,如果有一千万个账户,则需要查询出一千万条账号,然后做一千万次更新(如果可以用addbatch那就肯定不用一千万次了)。为了尽可能提升性能:
1.必须防止对象爆发式的创建,因为爆发式创建会让内存急剧上升,如果没有很好的设计,还会导致对象爆发式的销毁(即:对最后一条数据处理完才会让所有对象失效,而在进行这一千万次更新期间这些内存都是被占用的)。通过自定义RowHandler,可以对数据逐条进行处理,在handleRow方法中执行更新操作,更新完之后立刻释放对象,这样便对操作进行了“离散化”,降低了对内存的占用。
2.上面通过“离散化”解决了内存占用的问题,但查询和数据处理的总时间是没有减少的,为了达到更高的效率,还需要进行“异步化”处理。在handleRow方法中,将valueObject发送到异步队列中,让查询和执行进行并行处理,进而降低总时间。其实总时间的降低体现出的只是一个优点,还有一个优点就是:进行“异步化”之后的查询时间和直接调用QueryForList的查询时间相差不会太大,查询完之后就快速释放连接了,减轻了数据库的压力。


注意事项:
当应用RowHandler时,可能仍然会发现内存急剧上升,这是因为底层JDBC返回的ResultMap仍然会一次性把数据全部返回的缘故。通过设置fetchsize可以解决这一问题,fetchsize是JDBC提供的一个配置变量,JDBC驱动按照该变量的配置值从数据库中循环取数据,而不是一次性load到内存中,这样便允许用户根据自己的实际情况做最优的参数设置,ibatis的select标签将此属性暴露了出来,可以针对某个特定的语句做独立的设置,以达到最优的性能。但是fetchsize也不能太小,否则会带来java和数据库之间频繁的交互,内存问题倒是解决了,但是频繁交互带来的性能问题又出现了,所以fetchsize的值需要以具体场景和实验数据为依据进行灵活设置。
关于fetchsize的几个链接:
http://www.2cto.com/database/201305/209625.html
http://www.java3z.com/cwbwebhome/article/article8/828.html?id=2244
http://www.smithfox.com/?e=153
http://stackoverflow.com/questions/3870500/ibatis-querywithrowhandler-still-seems-to-fetch-all-rows
http://docs.aws.amazon.com/redshift/latest/dg/jdbc-fetch-size-parameter.html

利用rowhandler还可以实现对象关联关系的创建,解决“N+1 Select“的问题,此处不详述,备忘一下,详见《Ibatis in Action》一书的相关章节。
rowhandler可以做的事情其实很多,它是一种公用的机制,只是经常被用来解决效率问题,当Ibatis框架不能满足我们的需求时,可以考虑发挥该接口的作用。
至于性能,本文说的都是偏理论的、一般性的场景,具体的解决方案需要因场景而异,经验结合需求才能得到最好的设计。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

iBatis と MyBatis: どちらがあなたにとって優れていますか? iBatis と MyBatis: どちらがあなたにとって優れていますか? Feb 19, 2024 pm 04:38 PM

iBatis と MyBatis: どちらを選択するべきですか?はじめに: Java 言語の急速な発展に伴い、多くの永続化フレームワークが登場しました。 iBatis と MyBatis は 2 つの人気のある永続化フレームワークであり、どちらもシンプルで効率的なデータ アクセス ソリューションを提供します。この記事では、iBatis と MyBatis の機能と利点を紹介し、適切なフレームワークを選択するのに役立つ具体的なコード例をいくつか示します。 iBatis の紹介: iBatis はオープンソースの永続化フレームワークです。

iBatis と MyBatis: 比較と利点の分析 iBatis と MyBatis: 比較と利点の分析 Feb 18, 2024 pm 01:53 PM

iBatis と MyBatis: 違いと利点の分析 はじめに: Java 開発では永続性が一般的な要件であり、iBatis と MyBatis は広く使用されている 2 つの永続性フレームワークです。これらには多くの類似点がありますが、いくつかの重要な違いと利点もあります。この記事では、これら 2 つのフレームワークの機能、使用法、サンプル コードを詳細に分析することで、読者がより包括的に理解できるようにします。 1. iBatis の機能: iBatis は、SQL マッピング ファイルを使用する古い永続性フレームワークです。

イバティスとマイバティスの違いは何ですか イバティスとマイバティスの違いは何ですか Jan 10, 2024 am 11:25 AM

ibatis と mybatis の違いは、 1. 基本情報の違い、 2. 開発期間の違い、 3. 機能と使いやすさ、 4. 設定ファイル、 5. 入力パラメータの型と出力パラメータの型、 6. 戻り値セットの受け入れ方法、 6. 戻り値セットの受け取り方法、 6. 設定ファイルの種類、 7、文法の違い、8. データベース方言のサポート、9. プラグインのサポート、10. コミュニティ活動、11. グローバリゼーションのサポート。詳細な紹介: 1. 基本情報が異なります。iBatis は、SQL マップやデータ アクセス オブジェクトなどを含む永続層フレームワークを提供します。

iBatisとMyBatis:歴史と現状の比較評価 iBatisとMyBatis:歴史と現状の比較評価 Feb 19, 2024 am 10:42 AM

iBatis と MyBatis: 歴史から現状までの評価と比較 はじめに: ソフトウェア開発分野の急速な発展に伴い、データベース アクセス フレームワークに対する要求はますます高まっています。 iBatis と MyBatis は、多くの注目を集めている 2 つの Java 永続層フレームワークであり、どちらもリレーショナル データベースにアクセスするためのシンプルかつ柔軟な方法を提供します。この記事では、これら 2 つのフレームワークの歴史的なレビューを提供し、現在のステータスを評価および比較します。 1. 歴史的考察 iBatisiBatis はクリントンによって開発されました

iBatis と MyBatis の類似点と相違点の比較: 主流の ORM フレームワークの比較 iBatis と MyBatis の類似点と相違点の比較: 主流の ORM フレームワークの比較 Feb 19, 2024 pm 07:08 PM

iBatis と MyBatis は 2 つの主流の ORM (オブジェクト リレーショナル マッピング) フレームワークであり、設計と使用において多くの類似点がありますが、微妙な違いもいくつかあります。この記事では、iBatis と MyBatis の類似点と相違点を詳細に比較し、具体的なコード例を通じてその特徴を説明します。 1. iBatis と MyBatis の歴史と背景 iBatis は Apache Software Foundat です

「黒神話:悟空」Xbox版は「メモリリーク」により遅延、PS5版は最適化中 「黒神話:悟空」Xbox版は「メモリリーク」により遅延、PS5版は最適化中 Aug 27, 2024 pm 03:38 PM

最近、「Black Myth: Wukong」は世界中で大きな注目を集めており、各プラットフォームでの同時オンライン人口は過去最高に達しており、このゲームは複数のプラットフォームで大きな商業的成功を収めています。 『Black Myth: Wukong』のXbox版は延期 『Black Myth: Wukong』はPCとPS5プラットフォームでリリースされているが、Xbox版については明確な情報はない。 『Black Myth: Wukong』がXboxプラットフォームで発売されることを関係者が認めたことが分かりました。ただし、具体的な発売日はまだ発表されていない。 Xbox 版の遅延は技術的な問題によるものであると最近報告されました。関連ブロガーによると、同氏はGamescom期間中の開発者や「Xbox関係者」とのやり取りから、Xbox版「Black Myth: Wukong」が存在することを知ったという。

Pythonを使ったRFM分析 Pythonを使ったRFM分析 Sep 03, 2023 pm 12:45 PM

Python は、データ分析と機械学習の分野で人気のある多用途のプログラミング言語です。そのシンプルさ、読みやすさ、豊富なライブラリにより、複雑なデータ タスクの処理に最適です。そのような強力なアプリケーションの 1 つが RFM 分析です。これは、マーケティングで顧客の購買行動に基づいて顧客をセグメント化するために使用される手法です。このチュートリアルでは、Python を使用して RFM 分析を実装するプロセスを説明します。まずはRFM分析の概念とマーケティングにおける重要性について説明します。次に、Python を使用した RFM 分析の実践的な側面に徐々に入っていきます。記事の次の部分では、最新性、頻度、および頻度の値を考慮して、Python を使用して各顧客の RFM スコアを計算する方法を説明します。

新しい腕章を一緒に書きましょう「World of Warships」世界中華デーイベント開催中です。 新しい腕章を一緒に書きましょう「World of Warships」世界中華デーイベント開催中です。 Apr 24, 2024 pm 05:25 PM

すべての言葉が絵になり、すべての文が詩になる「World of Warships」の世界中華デーイベントが開催中です。投票に参加して、ゲームと中国語の美しさを最もよく表す漢字を選択してください。将来的には、世界中のより多くの船長が中国文化を理解できるように、腕章としてゲームに追加される予定です。同時に、特別な戦闘ミッションを完了することで永久ペイントを入手することもできます。現在、「World of Warships」に関連し、中国文化的に重要な 20 個の漢字が船長の選択を待っています。キャプテンは公式サイトの指定ページで投票に参加し、好きな漢字を選ぶことができる。最も投票数の多かった漢字キャラクターは今後新たな腕章としてゲームに追加される予定です! 「天」「地」「道」「攻撃」「防御」「大砲」のどの漢字を腕章としてゲームに追加するかはキャプテンが決定します。投票ページ:h

See all articles