Json.NET記憶體受限環境下處理大型JSON流
在記憶體受限的環境中解析包含大量相似物件的JSON檔案是一個挑戰。考慮以下場景:
一個巨大的JSON檔案包含許多結構相同的JSON物件。如果每個物件都是單獨的文件,則可以逐個反序列化這些物件。但是,由於資料的巢狀性質,直接反序列化這些物件的JSON數組會拋出異常,提示期望物件而不是列表。
嘗試將整個JSON檔案反序列化為C#物件的清單可以成功避免將整個JSON檔案讀入RAM的問題。但是,它會引入一個新問題,即建立一個仍然將JSON檔案中的所有資料保存在記憶體中的C#列表物件。
為了克服這些限制,需要一種策略來一次讀取一個物件。這種方法消除了將整個JSON字串或所有資料作為C#物件載入到RAM的需要。
解
以下程式碼範例說明了這種方法:
JsonSerializer serializer = new JsonSerializer(); MyObject o; using (FileStream s = File.Open("bigfile.json", FileMode.Open)) using (StreamReader sr = new StreamReader(s)) using (JsonReader reader = new JsonTextReader(sr)) { while (reader.Read()) { // 只在流中存在"{"字符时才反序列化 if (reader.TokenType == JsonToken.StartObject) { o = serializer.Deserialize<MyObject>(reader); // 对o进行处理 } } }
此程式碼模擬了在循環中反序列化物件的初始方法,但它只在讀取器在流中遇到「{」字元時才反序列化物件。透過跳過到下一個對象,直到找到另一個起始對象標記,這種方法可以有效率地處理JSON流,而不會過度使用RAM。 注意程式碼中myobject
已修正為MyObject
,並新增了對o
物件的處理註釋,方便使用者根據實際情況新增後續操作。
以上是如何在 Json.NET 中使用有限的 RAM 高效解析大型 JSON 流?的詳細內容。更多資訊請關注PHP中文網其他相關文章!