Comment convertir un horodatage de parquet int96 en time.Time de Go ?

Casting int96 Timestamp from Parquet to Go

Introduction

Lorsque vous travaillez avec des horodatages stockés dans des fichiers Parquet, il est courant de rencontrer des données représentées sous la forme d'un int96 type de données. Ce format de 12 octets se compose d'une partie horodatage et date. Comprendre comment convertir cet horodatage int96 en horodatage dans Go est crucial pour la manipulation et l'analyse des données.

Décodage de l'horodatage int96

La clé du décodage d'un horodatage int96 réside dans la reconnaissance de sa structure. Les huit premiers octets représentent l'horodatage en nanosecondes, mais sont stockés dans l'ordre inverse des octets.

time_nano = ReverseBytes((timestamp[0:8]))

Les quatre octets restants représentent la date sous forme de numéro de jour julien.

julian_day = ReverseBytes((timestamp[8:12]))

Exemple Calcul

Considérez l'horodatage int96 suivant : [128, 76, 69, 116, 64, 7, 0, 0, 48, 131, 37, 0].

• Temps (nanosecondes) : L'inversion des huit premiers octets donne 0x60FD4B3229000059682500, ce qui correspond à 45296 secondes (c'est-à-dire 12 heures, 34 minutes, 56 secondes).
• Date (numéro du jour julien) : L'inversion des quatre derniers octets donne 0x00256859, correspondant au numéro du jour julien 2451545, qui équivaut au 01/01/2000. .

Code Golang Implémentation

Voici un extrait de code Go qui démontre le processus de décodage :

package main

import (
    "fmt"
    "math"
)

func main() {
    // Sample int96 timestamp
    timestamp := []byte{128, 76, 69, 116, 64, 7, 0, 0, 48, 131, 37, 0}

    // Reverse the first 8 bytes for time (nanoseconds)
    timeNano := reverseBytes(timestamp[0:8])

    // Reverse the last 4 bytes for date (Julian day number)
    julianDay := reverseBytes(timestamp[8:12])

    // Convert timestamp nanoseconds to seconds
    seconds := float64(timeNano) / math.Pow(10, 9)

    // Calculate the timestamp
    t := time.Unix(int64(seconds), 0)

    // Create a new time object with date set from Julian day number
    t = t.AddDate(int(julianDay/365.25-2440587.5), 0, int(julianDay%365.25))

    fmt.Println(t)
}

func reverseBytes(bytes []byte) uint64 {
    var result uint64
    for _, v := range bytes {
        result = result << 8 | uint64(v)
    }
    return result
}

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!