Ibatis之RowHandler
当用Ibatis进行大数据量Sql查询时(如上百万条,千万条数据),如果按照一般的编程方式(如QueryForList方法)把数据查询出来再做操作则很可能会出现性能问题,如: 1.对JVM内存的大量消耗; 2.大量对象的密集创建对GC带来一定的压力; 3.数据查询和后续的数
当用Ibatis进行大数据量Sql查询时(如上百万条,千万条数据),如果按照一般的编程方式(如QueryForList方法)把数据查询出来再做操作则很可能会出现性能问题,如:
1.对JVM内存的大量消耗;
2.大量对象的密集创建对GC带来一定的压力;
3.数据查询和后续的数据操作无法并行执行等
为应对这样的场景,Ibatis提供了RowHandler接口,以回调的方式,允许用户对查询结果集进行自定义的处理,用户通过自定义实现handleRow方法一次处理一条数据,从而提高框架的灵活性。
/** * Event handler for row by row processing. * <p/> * The RowHandler interface is used by the SqlMapSession.queryWithRowHandler() method. * Generally a RowHandler implementation will perform some row-by-row processing logic * in cases where there are too many rows to efficiently load into memory. * <p/> * Example: * <pre class="brush:php;toolbar:false"> * sqlMap.queryWithRowHandler ("findAllEmployees", null, new MyRowHandler())); *
简单举例来说RowHandler的作用:
在大数据量的场景下,如:银行每天对账户的“计提”操作,如果有一千万个账户,则需要查询出一千万条账号,然后做一千万次更新(如果可以用addbatch那就肯定不用一千万次了)。为了尽可能提升性能:
1.必须防止对象爆发式的创建,因为爆发式创建会让内存急剧上升,如果没有很好的设计,还会导致对象爆发式的销毁(即:对最后一条数据处理完才会让所有对象失效,而在进行这一千万次更新期间这些内存都是被占用的)。通过自定义RowHandler,可以对数据逐条进行处理,在handleRow方法中执行更新操作,更新完之后立刻释放对象,这样便对操作进行了“离散化”,降低了对内存的占用。
2.上面通过“离散化”解决了内存占用的问题,但查询和数据处理的总时间是没有减少的,为了达到更高的效率,还需要进行“异步化”处理。在handleRow方法中,将valueObject发送到异步队列中,让查询和执行进行并行处理,进而降低总时间。其实总时间的降低体现出的只是一个优点,还有一个优点就是:进行“异步化”之后的查询时间和直接调用QueryForList的查询时间相差不会太大,查询完之后就快速释放连接了,减轻了数据库的压力。
注意事项:
当应用RowHandler时,可能仍然会发现内存急剧上升,这是因为底层JDBC返回的ResultMap仍然会一次性把数据全部返回的缘故。通过设置fetchsize可以解决这一问题,fetchsize是JDBC提供的一个配置变量,JDBC驱动按照该变量的配置值从数据库中循环取数据,而不是一次性load到内存中,这样便允许用户根据自己的实际情况做最优的参数设置,ibatis的select标签将此属性暴露了出来,可以针对某个特定的语句做独立的设置,以达到最优的性能。但是fetchsize也不能太小,否则会带来java和数据库之间频繁的交互,内存问题倒是解决了,但是频繁交互带来的性能问题又出现了,所以fetchsize的值需要以具体场景和实验数据为依据进行灵活设置。
关于fetchsize的几个链接:
http://www.2cto.com/database/201305/209625.html
http://www.java3z.com/cwbwebhome/article/article8/828.html?id=2244
http://www.smithfox.com/?e=153
http://stackoverflow.com/questions/3870500/ibatis-querywithrowhandler-still-seems-to-fetch-all-rows
http://docs.aws.amazon.com/redshift/latest/dg/jdbc-fetch-size-parameter.html
利用rowhandler还可以实现对象关联关系的创建,解决“N+1 Select“的问题,此处不详述,备忘一下,详见《Ibatis in Action》一书的相关章节。
rowhandler可以做的事情其实很多,它是一种公用的机制,只是经常被用来解决效率问题,当Ibatis框架不能满足我们的需求时,可以考虑发挥该接口的作用。
至于性能,本文说的都是偏理论的、一般性的场景,具体的解决方案需要因场景而异,经验结合需求才能得到最好的设计。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











iBatis と MyBatis: どちらを選択するべきですか?はじめに: Java 言語の急速な発展に伴い、多くの永続化フレームワークが登場しました。 iBatis と MyBatis は 2 つの人気のある永続化フレームワークであり、どちらもシンプルで効率的なデータ アクセス ソリューションを提供します。この記事では、iBatis と MyBatis の機能と利点を紹介し、適切なフレームワークを選択するのに役立つ具体的なコード例をいくつか示します。 iBatis の紹介: iBatis はオープンソースの永続化フレームワークです。

iBatis と MyBatis: 違いと利点の分析 はじめに: Java 開発では永続性が一般的な要件であり、iBatis と MyBatis は広く使用されている 2 つの永続性フレームワークです。これらには多くの類似点がありますが、いくつかの重要な違いと利点もあります。この記事では、これら 2 つのフレームワークの機能、使用法、サンプル コードを詳細に分析することで、読者がより包括的に理解できるようにします。 1. iBatis の機能: iBatis は、SQL マッピング ファイルを使用する古い永続性フレームワークです。

ibatis と mybatis の違いは、 1. 基本情報の違い、 2. 開発期間の違い、 3. 機能と使いやすさ、 4. 設定ファイル、 5. 入力パラメータの型と出力パラメータの型、 6. 戻り値セットの受け入れ方法、 6. 戻り値セットの受け取り方法、 6. 設定ファイルの種類、 7、文法の違い、8. データベース方言のサポート、9. プラグインのサポート、10. コミュニティ活動、11. グローバリゼーションのサポート。詳細な紹介: 1. 基本情報が異なります。iBatis は、SQL マップやデータ アクセス オブジェクトなどを含む永続層フレームワークを提供します。

iBatis と MyBatis: 歴史から現状までの評価と比較 はじめに: ソフトウェア開発分野の急速な発展に伴い、データベース アクセス フレームワークに対する要求はますます高まっています。 iBatis と MyBatis は、多くの注目を集めている 2 つの Java 永続層フレームワークであり、どちらもリレーショナル データベースにアクセスするためのシンプルかつ柔軟な方法を提供します。この記事では、これら 2 つのフレームワークの歴史的なレビューを提供し、現在のステータスを評価および比較します。 1. 歴史的考察 iBatisiBatis はクリントンによって開発されました

iBatis と MyBatis は 2 つの主流の ORM (オブジェクト リレーショナル マッピング) フレームワークであり、設計と使用において多くの類似点がありますが、微妙な違いもいくつかあります。この記事では、iBatis と MyBatis の類似点と相違点を詳細に比較し、具体的なコード例を通じてその特徴を説明します。 1. iBatis と MyBatis の歴史と背景 iBatis は Apache Software Foundat です

最近、「Black Myth: Wukong」は世界中で大きな注目を集めており、各プラットフォームでの同時オンライン人口は過去最高に達しており、このゲームは複数のプラットフォームで大きな商業的成功を収めています。 『Black Myth: Wukong』のXbox版は延期 『Black Myth: Wukong』はPCとPS5プラットフォームでリリースされているが、Xbox版については明確な情報はない。 『Black Myth: Wukong』がXboxプラットフォームで発売されることを関係者が認めたことが分かりました。ただし、具体的な発売日はまだ発表されていない。 Xbox 版の遅延は技術的な問題によるものであると最近報告されました。関連ブロガーによると、同氏はGamescom期間中の開発者や「Xbox関係者」とのやり取りから、Xbox版「Black Myth: Wukong」が存在することを知ったという。

Python は、データ分析と機械学習の分野で人気のある多用途のプログラミング言語です。そのシンプルさ、読みやすさ、豊富なライブラリにより、複雑なデータ タスクの処理に最適です。そのような強力なアプリケーションの 1 つが RFM 分析です。これは、マーケティングで顧客の購買行動に基づいて顧客をセグメント化するために使用される手法です。このチュートリアルでは、Python を使用して RFM 分析を実装するプロセスを説明します。まずはRFM分析の概念とマーケティングにおける重要性について説明します。次に、Python を使用した RFM 分析の実践的な側面に徐々に入っていきます。記事の次の部分では、最新性、頻度、および頻度の値を考慮して、Python を使用して各顧客の RFM スコアを計算する方法を説明します。

すべての言葉が絵になり、すべての文が詩になる「World of Warships」の世界中華デーイベントが開催中です。投票に参加して、ゲームと中国語の美しさを最もよく表す漢字を選択してください。将来的には、世界中のより多くの船長が中国文化を理解できるように、腕章としてゲームに追加される予定です。同時に、特別な戦闘ミッションを完了することで永久ペイントを入手することもできます。現在、「World of Warships」に関連し、中国文化的に重要な 20 個の漢字が船長の選択を待っています。キャプテンは公式サイトの指定ページで投票に参加し、好きな漢字を選ぶことができる。最も投票数の多かった漢字キャラクターは今後新たな腕章としてゲームに追加される予定です! 「天」「地」「道」「攻撃」「防御」「大砲」のどの漢字を腕章としてゲームに追加するかはキャプテンが決定します。投票ページ:h
