怎么提高ArcSDE for Oracle写入地理数据库的效率
很多用户经常会有将数据写入ArcSDE地理数据库的操作,也时常会写入效率而烦恼,它们渴望不管多大多复杂的数据,尽可能的使用较少的时间写入到ArcSDE中,而往往用户写入ArcSDE也通过依赖于本身的业务需求,使用自定义的代码开发就非常常见了,那影响ArcSDE写
很多用户经常会有将数据写入ArcSDE地理数据库的操作,也时常会写入效率而烦恼,它们渴望不管多大多复杂的数据,尽可能的使用较少的时间写入到ArcSDE中,而往往用户写入ArcSDE也通过依赖于本身的业务需求,使用自定义的代码开发就非常常见了,那影响ArcSDE写入效率的因素就比较多了。
----------------------------------------------------------------------------------
Blog: http://blog.csdn.net/linghe301
----------------------------------------------------------------------------------
代码因素
大多数用户可能还在使用ArcGIS Engine、空间SQL、ArcSDE API和WebAPI进行开发,针对后两者我不是很熟悉,也没有什么发言权,所以更多的以前面两种开发模式为例,看看在代码开发过程中是否有可以优化的余地。
ArcGIS Engine
以下部分可以参考2011年Esri中国开发者大会《Geodatabase高效编程_李圣虎》,特此感谢!
该文档建议ArcGIS Engine的开发者仔细学习,里面介绍了很多提高效率的技巧和细节!
http://wenku.baidu.com/link?url=mgCFXh23Q3fbRaBjOJr-LN1b24_pbH_UylNcTt1zZ_hNROqByNzj8nRpV4IZrKulMYod9jxiOOeN8WGRgx0Y0Z_vLvEAZsjw2KSz2Uj0w0K
另外大家也可以参考:Geodatabase API best practices
http://resources.arcgis.com/en/help/arcobjects-net/conceptualhelp/index.html#//0001000000470000001:使用多线程
说实话,ArcGIS Engine是否支持多线程,大家的理解是不一样的。用资深人士解释就是ArcGIS Engine支持多线程,但是不支持多个线程之间的彼此调用。
下面就以更新多个要素类的字段来演示一下多线程的使用方法,以下都是伪代码。
编写一个更新要素类的函数,输入参数为要素类名称
public class VersionEditing { /// <summary> /// 更新要素类指定字段值 /// </summary> /// <param name="parameter">要素类名称 public void UpdateFiledValue(object parameter) { ........ } }
private void MultiThreadEditing() { VersionEditing VersionEditing = new GIS.VersionEditing(); //声明线程对象 Thread thA = new Thread(new ParameterizedThreadStart(VersionEditing.UpdateFiledValue)); Thread thB = new Thread(new ParameterizedThreadStart(VersionEditing.UpdateFiledValue)); //设置线程工作模型 thA.SetApartmentState(ApartmentState.STA); thB.SetApartmentState(ApartmentState.STA); //启动线程 thA.Start("featureclass1"); thA.Start("featureclass2"); }
2:使用游标进行地理数据库编辑
如果是批量进行数据编辑,不建议用户使用传统的Create Feature+Store的方法,而是使用insertCursor或者Update Cursor的方法。
//建议的方法 public static void InsertFeaturesUsingCursor(IFeatureClass featureClass, List geometryList) { using(ComReleaser comReleaser = new ComReleaser()) { // Create a feature buffer. IFeatureBuffer featureBuffer = featureClass.CreateFeatureBuffer(); comReleaser.ManageLifetime(featureBuffer); // Create an insert cursor. IFeatureCursor insertCursor = featureClass.Insert(true); comReleaser.ManageLifetime(insertCursor); // All of the features to be created are classified as Primary Highways. int typeFieldIndex = featureClass.FindField("TYPE"); featureBuffer.set_Value(typeFieldIndex, "Primary Highway"); foreach (IGeometry geometry in geometryList) { // Set the feature buffer's shape and insert it. featureBuffer.Shape = geometry; insertCursor.InsertFeature(featureBuffer); } // Flush the buffer to the geodatabase. insertCursor.Flush(); } }
测试场景:从本地File Geodatabase中读取数据,向ArcSDE Geodatabase要素类中插入读取的数据;
数据情况:简单的线要素类,2721089条记录;
测试环境:硬件(T9600 CPU 4G内存)软件(Windows 7 64Bit Oracle 11g ArcGIS 10)
备注:测试结果中时间单位为秒
3:游标
游标分为类绑定游标: SearchCursor、UpdateCursor、InsertCursor和非类绑定游标:QueryDef Cursor。在使用游标使用过程中经常会遇到如下情况
Public Void test() { workspaceEdit.StartEditOperation(); IQueryFilter queryFilter = new QueryFilter(); queryFilter.WhereClause = clause; //是否重复绑定游标 ICursor updateCursor = table.Update(queryFilter, true); comReleaser.ManageLifetime(updateCursor); int fieldIndex = table.Fields.FindField("FWMC"); IRow temp = null; while ((temp = updateCursor.NextRow()) != null) { temp.set_Value(fieldIndex, "aaaa"); updateCursor.UpdateRow(temp); } workspaceEdit.StopEditOperation(); }
如果选择TRUE,说明使用资源回收游标,但是下一个游标还指向同一个内存地址,如果是FALSE,说明资源回收游标和内存地址,下一个游标还需要重新分配一个新的内存地址,这样无疑增加了服务器资源的开销,所以没有特殊需求,建议使用TRUE。
关于游标的相关提示:
查询游标(Search Cursor)
- 在编辑会话中初始化SearchCursor可能导致缓存记录提交到数据库(触发DBMS写操作)
- 通过SearchCursor获得的行支持Store和Delete操作
- 必须使用UpdateCursor提供的的UpdateRow和DeleteRow方法对通过UpdateCursor获得的行进行更新和删除操作
- UpdateCursor提供的UpdateRow方法只能针对通过UpdateCursor获得的当前行进行操作
- UpdateCursor不支持跨编辑操作使用,打开一个新的编辑操作时必须初始化一个新的更新游标
- 使用UpdateCursor对复杂要类类进行更新时必须处于一个编辑会话中
- 主要用于批量要素插入
- 使用缓存,定时调用Flush将缓存写入数据库,调用InsertRow和Flush方法时要捕捉异常
- 使用InsertCursor时关闭空间缓存
- 不能针对通过QueryDef Cursor获得的行进行Store和Delete操作
- 在编辑会话中使用QueryDef Cursor会导致缓存提交到数据库
4:资源回收
尽可能使用Esri提供的MangeLifetime来管理ArcGIS Engine对象的生命周期,系统会自动进行维护,而不需要在使用类似以下方式进行释放资源了。(由于版本原因,可能有所不同)
ESRI.ArcGIS.ADF.ComReleaser.ReleaseCOMObject(o);
<span>System.Runtime.InteropServices.Marshal.ReleaseComObject(o);</span>
<span>GC.Collect();</span>
5:如果可能化,使用缓存来提高效率
/// <summary> /// 执行空间缓存 /// </summary> /// <param name="pFWS">工作空间 /// <param name="pEnv">缓存区域 private void SpatialCache(IFeatureWorkspace pFWS, IEnvelope pEnv) { if (m_pWS != null) { ISpatialCacheManager3 pSCM = m_pWS as ISpatialCacheManager3; if (!pSCM.CacheIsFull) { pSCM.FillCache(pEnv); } //执行空间操作代码 //清空缓存 pSCM.EmptyCache(); } }
更多了解:http://resources.arcgis.com/en/help/arcobjects-net/componenthelp/index.html#//002500000831000000
6:如果可能的话,尽可能的使用GP工具来代替开发
ArcGIS Desktop的性能无疑是最优化的,而且最大的好处就是实现了用户可以使用的ArcToolbox工具,而且ArcGIS Engine也可以进行调用,比如将一个File Geodatabase导入到ArcSDE 地理数据库中,用户就可以直接使用Copy_Feature工具进行操作。
7:是否必须使用版本化编辑
ArcGIS不仅支持版本编辑,也支持非版本编辑,所以并不是所有情况必须使用版本化编辑,大家都知道注册版本后编辑一段时间会导致效率低下,但是有些用户在一开始接触ArcGIS编辑时只知道必须注册版本才能编辑,但是它的业务情况可能并不需要必须注册版本,比如只是编辑一下属性字段值等情况,所以这个时候可能选择非版本编辑效率更高。
<h1 id="IDatasetEdit">IDatasetEdit</h1>
更多参考:http://resources.arcgis.com/en/help/arcobjects-net/componenthelp/index.html#/IDatasetEdit_Interface/00250000015m000000/
用户也可以查看《Geodatabase高效编程_李圣虎》总结的常见开发错误,都是一些比较典型的可能导致效率的案例。
空间SQL
对空间SQL的开发其实就是用户的SQL语句的基本功是否扎实。
1:SQL语句语法和效率
在SQL中,索引是提高查询效率的必要条件,尤其是WHERE子句的查询字段必须要创建索引才能提高查询效率,如果没有WHERE条件在查询中使用了MIN、MAX、COUNT函数的字段也需要创建索引。还有很多情况用户尽管创建了索引对象但效率依然低下,这是因为有些SQL运算符是会将索引失效的。
- 使用不等于运算符(、!=)
在WHERE中使用不等于条件,将会使索引失效。
- 使用 IS NULL或IS NOT NULL
在WHERE子句中使用IS NULL或者IS NOT NULL同样会限制索引的使用。如果被索引的列在某些行中存在NULL值,在索引列中就不会有相应的条目。(例外:位图索引对于NULL列也会进行记录,因此位图索引对于NULL搜索通常较为快速)。
- 使用函数
如果不使用基于函数的索引,那么在SQL语句的WHERE子句中对存在索引的列使用函数时,会使优化器忽略掉这些索引。一些常见的函数:TRUNC、SUBSTR、TO_DATE、TO_CHAR、INSTR等,都可能会使索引失效。
- 比较不匹配的数据类型
这个是比较难于发现的问题。ORACLE不会对不匹配的数据类型报错,ORACLE会隐式地把VARCHAR2列的数据类型转换成要被比较的数值型数据类型。
如果是使用ST_geometry函数的话,还需要注意对ST_Geometry函数的使用
具体可以参考:
http://blog.csdn.net/linghe301/article/category/797871
2:尽可能的使用存储过程
如果可能的话,尽可能的使用存储过程来代替原始的单个SQL语句,这里面就不再解释存储过程的好处了。
3:使用绑定变量而不是传入固定的值
----------------------------------------------------------------------------------
Blog: http://blog.csdn.net/linghe301
----------------------------------------------------------------------------------
网络因素
网络的原因也是用户需要注意的,如果你的网络带宽、延迟都有问题,肯定会影响数据传输的效率的。这里我只是指出这是一个影响因素,因为不专业,所以不去更多的分析这个问题,但是用户需要留意该问题。
----------------------------------------------------------------------------------
Blog: http://blog.csdn.net/linghe301
----------------------------------------------------------------------------------
ArcSDE地理数据库因素(以Oracle为例)
1:空间索引问题
在ArcSDE地理数据库编辑过程中,系统会自动维护该编辑要素对象的空间索引,那么就会耗费一定的服务器资源,特别是在大数据量进行数据插入的过程中,无需进行空间索引的创建,可以等批量插入完成之后,统一创建空间索引,这样无疑就提高了操作效率。
ArcGIS Desktop、ArcToolbox、ArcSDE命令行、Python都提供了管理空间索引的方法,当然ArcGIS Engine也提供了管理空间索引的接口
IFeatureClassLoad.LoadOnlyMode
2:如果进行更新操作,就需要留意索引
用户进行更新,需要先查询出需要更新的要素对象,那么不管是通过属性索引或者空间索引进行查询,都需要这些索引对象有效。
而且在编辑完毕之后,还需要对这些索引对象重新创建,保证新编辑对象的索引更新。
3:数据库归档日志关闭
如果是大数据量插入操作,如果没有特殊要求,可以将Oracle的归档日志进行关闭,因为归档日志主要记录数据的更高,特别是数据的修改和删除,对数据新增操作其实无需打开数据库归档,如果打开,系统会在批量新增数据的同时,写入大量的归档日志信息,也无疑也会降低编辑效率。
4:禁用表空间日志
虽然数据库的归档日志禁用之后,只是说数据库不再产生具体的归档日志文件,但是还需要进行非归档的循环日志写入,那么如果完全禁用日志的生成,需要禁用操作用户的表空间日志,这样在插入数据之后,系统就会记录比较少的日志信息。
启用日志(Logging):用户进行表创建、索引创建、分区以及后续插入等操作产生REDO日志,作为数据恢复的依据。
禁用日志(No Logging):以上相关操作不会产生REDO日志,进而也不能进行数据恢复,但是数据加载效率会大幅度提高。
注意:这些操作是用户进行大数据量新增条件下,而且具有Oracle数据库知识的用户操作。
操作示例:
1:禁用归档日志
sqlplus / as sysdba
shutdown immediate;
startup mount;
alter database flashback off;
alter database noarchivelog;
alter database open;
select flashback_on from v$database;
archive log list;
sqlplus /nolog
connect / as sysdba;
select 'ALTER TABLESPACE ' || CHR(34) || NAME || CHR(34) || 'NOLOGGING;'
FROM V$TABLESPACE
WHERE NAME NOT IN ('SYSTEM','SYSAUX','USERS','TEMP','UNDOTBS1')ORDER BY NAME;
ALTER TABLESPACE "PM_BDATA" NOLOGGING;
ALTER TABLESPACE "PM_BINDEX" NOLOGGING;
ALTER TABLESPACE "PM_BDATA_TOPO" NOLOGGING;
4:启用表空间日志
sqlplus /nolog
connect / as sysdba;
select 'ALTER TABLESPACE ' || CHR(34) || NAME || CHR(34) || 'LOGGING;'
FROM V$TABLESPACE
WHERE NAME NOT IN ('SYSTEM','SYSAUX','USERS','TEMP','UNDOTBS1')ORDER BY NAME;
ALTER TABLESPACE "PM_BDATA" LOGGING;
ALTER TABLESPACE "PM_BINDEX" LOGGING;
ALTER TABLESPACE "PM_BDATA_TOPO" LOGGING;
5:启用归档日志
sqlplus / as sysdba
alter system set db_recovery_file_dest_size=10G scope=spfile;
alter system setdb_recovery_file_dest='C:\oradata\flash_recovery_area' scope=spfile;
alter system setlog_archive_dest_1='LOCATION=USE_DB_RECOVERY_FILE_DEST' scope=spfile;
shutdown immediate;
startup mount;
alter database archivelog;
alter database flashback on;
alter database open;
select flashback_on from v$database;
archive log list;
5:版本编辑的状态压缩
这个问题我就不再赘述了,该博客无数次提及这个问题,感兴趣的用户可以在本博客搜索“版本压缩”或者“Compress”。
6:Oracle参数
比如足够大的SGA和PGA,典型Oracle参数的设置如Open_Cusors、db_writer_processes等
7:其他因素
当然,如果用户的硬件环境足够好,比如数据与索引分开存储、分区表、RAC架构等也会为批量写入数据提高效率。
注意;严格禁止用户在OLTP环境下使用Oracle的并行计算,因为这样会严重造成资源占用问题。
----------------------------------------------------------------------------------
Blog: http://blog.csdn.net/linghe301
----------------------------------------------------------------------------------

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

Oracle 打不開的解決辦法包括:1. 啟動數據庫服務;2. 啟動監聽器;3. 檢查端口衝突;4. 正確設置環境變量;5. 確保防火牆或防病毒軟件未阻止連接;6. 檢查服務器是否已關閉;7. 使用 RMAN 恢復損壞的文件;8. 檢查 TNS 服務名稱是否正確;9. 檢查網絡連接;10. 重新安裝 Oracle 軟件。

解決 Oracle 游標關閉問題的方法包括:使用 CLOSE 語句顯式關閉游標。在 FOR UPDATE 子句中聲明游標,使其在作用域結束後自動關閉。在 USING 子句中聲明游標,使其在關聯的 PL/SQL 變量關閉時自動關閉。使用異常處理確保在任何異常情況下關閉游標。使用連接池自動關閉游標。禁用自動提交,延遲游標關閉。

Oracle 中,FOR LOOP 循環可動態創建游標, 步驟為:1. 定義游標類型;2. 創建循環;3. 動態創建游標;4. 執行游標;5. 關閉游標。示例:可循環創建游標,顯示前 10 名員工姓名和工資。

Oracle 日誌文件寫滿時,可採用以下解決方案:1)清理舊日誌文件;2)增加日誌文件大小;3)增加日誌文件組;4)設置自動日誌管理;5)重新初始化數據庫。在實施任何解決方案前,建議備份數據庫以防數據丟失。

Oracle不僅是數據庫公司,還是雲計算和ERP系統的領導者。 1.Oracle提供從數據庫到雲服務和ERP系統的全面解決方案。 2.OracleCloud挑戰AWS和Azure,提供IaaS、PaaS和SaaS服務。 3.Oracle的ERP系統如E-BusinessSuite和FusionApplications幫助企業優化運營。

在CentOS系統上搭建Hadoop分佈式文件系統(HDFS)需要多個步驟,本文提供一個簡要的配置指南。一、前期準備安裝JDK:在所有節點上安裝JavaDevelopmentKit(JDK),版本需與Hadoop兼容。可從Oracle官網下載安裝包。環境變量配置:編輯/etc/profile文件,設置Java和Hadoop的環境變量,使系統能夠找到JDK和Hadoop的安裝路徑。二、安全配置:SSH免密登錄生成SSH密鑰:在每個節點上使用ssh-keygen命令

要停止 Oracle 數據庫,請執行以下步驟:1. 連接到數據庫;2. 優雅關機數據庫(shutdown immediate);3. 完全關機數據庫(shutdown abort)。

可以通過 EXP 實用程序導出 Oracle 視圖:登錄 Oracle 數據庫。啟動 EXP 實用程序,指定視圖名稱和導出目錄。輸入導出參數,包括目標模式、文件格式和表空間。開始導出。使用 impdp 實用程序驗證導出。
