centos - gpload 資料裝載問題

Question

資料載入過程中一直報錯:
-f my.yml
2017-04-25 16:22:18|INFO|會話開始於2017-04-25 16:22:18
2017-04-25 16:22:18|INFO|為表'test'設定模式'public'
2017-04-25 16:22 : 18|訊息|啟動 gpfdist -p 8000 -P 8001 -f “/home/gpadmin/extend/test2.” -t 30
2017-04-25 16:22:18 ||發生 gpload 控製檔處理錯誤。配置必須包含gpload:input:quotefor csv 格式的資料
2017-04-25 16:22:18|INFO|已插入行數= 0
2017-04-25 16:22:18|INFO|已更新行數= 0
2017-04-25 16:22:18|INFO|資料格式錯誤 = 0
2017-04-25 16:22:18|INFO|失敗的＃＃＃

my.yml內容：

雷雷

test2.內容：

6|102900928|product_conume|4290000100005|0
7|102900929|product_conume|3260000100006|0
#

的deug模式:
2017-04-25 16:28:30|DEBUG|取得版本設定
2017-04-25 16:28:30|DEBUG|嘗試版本
2017- 04 -25 16:28:30|調試|找到版本
2017-04-25 16:28:30|資訊|會話開始於2017-04-25 16:28:30
2017-04-25 16:28:30|DEBUG|config {u'database': u'ljlj-test', u'host': u' mdw ', u'版本': u'1.0.0.1', u'使用者': u'gpadmin', u'': {u'輸入': [{u'來源': {u'本機主機名稱': [u' mdw']，u'埠'：8000，u''：[u'/home/gpadmin/extend/test2.']}}，{u'columns'：[{u'id'：u' int'} , {u'pact_number': u'varchar(50)'}, {u'grant_type': u'varchar(50)'}, {u'ticket_usecode': u'varchar(100)'}, { u'pact_id ': u'int'}]}, {u'format': u''}, {u'delimiter': u'|'}, {u'error_limit': 25}, {u'error_table' : u' test_err'}], u'輸出': [{u'table': u'test'}, {u'mode': u'INSERT'}]}, u'port': 5432}
2017-04-25 16:28:30|DEBUG|取得設定：輸出
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28: 30 |偵錯|找到
2017-04-25 16:28:30|偵錯|嘗試輸出
2017-04-25 16:28:30|偵錯|找到輸出
2017-04-25 16 : 28:30|DEBUG|取得:output:table
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28:30|DEBUG|找到
2017- 04-25 16:28:30|偵錯|嘗試輸出
2017-04-25 16:28:30|偵錯|找到輸出
2017-04-25 16:28:30|偵錯|嘗試表
2017-04-25 16:28:30|DEBUG|找到表格
2017-04-25 16:28:30|DEBUG|取得主機設定
2017-04-25 16: 28:30| DEBUG|嘗試主機
2017-04-25 16:28:30|DEBUG|找到主機
2017-04-25 16:28:30|DEBUG|取得連接埠
2017的設定-04-25 16:28:30|DEBUG|嘗試連接埠
2017-04-25 16:28:30|DEBUG|找到連接埠
2017-04-25 16:28:30|DEBUG|取得設定對於使用者
2017-04-25 16:28:30|DEBUG|嘗試使用者
2017-04-25 16:28:30|DEBUG|找到使用者
2017-04-25 16:28：30|DEBUG|取得資料庫設定
2017-04-25 16:28:30|DEBUG|嘗試資料庫
2017-04-25 16:28:30|DEBUG|找到資料庫
2017-04 -25 16:28 :30|DEBUG|取得密碼設定
2017-04-25 16:28:30|DEBUG|嘗試密碼
2017-04-25 16:28:30|DEBUG|連接字串: user=gpadmin 主機=mdw 連接埠=5432 資料庫=ljlj-test
2017-04-25 16:28:30|DEBUG|成功連接資料庫
2017-04-25 16:28:30|INFO |為表'test'設定模式'public'
2017-04-25 16:28:30|DEBUG|找到輸入列: [u'"id"', u'integer', None, False]
2017-04-25 16:28:30|DEBUG|找到輸入列：[u'"pact_number"', u'character Varying(50)', None, False]
2017-04-25 16:28 :30|DEBUG|找到輸入列: [u'"grant_type"', u'character Varying(50)', None, False]
2017-04-25 16:28:30|DEBUG|找到輸入列: [u'"ticket_usecode" ', u'字元變化(100)', None, False]
2017-04-25 16:28:30|DEBUG|找到輸入列：[u'"pact_id"', u 'integer'，None， False]
2017-04-25 16:28:30|DEBUG|取得設定：input:columns
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16 :28:30|DEBUG|找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04 -25 16:28:30|DEBUG|嘗試列
2017-04-25 16:28:30|DEBUG|找到列
2017-04-25 16:28:30 |DEBUG|來自列是：
2017-04-25 16:28:30|DEBUG|id：int
2017-04-25 16:28:30|DEBUG|pact_number：varchar(50)
2017-04-25 16 :28:30|DEBUG|grant_type: varchar(50)
2017-04-25 16:28:30|DEBUG|ticket_usecode: varchar(100)
2017-04-25 16:28:30|DEBUG |pact_id: int
2017-04-25 16:28:30|DEBUG|取得設定：output:mapping
2017-04-25 16:28:30|DEBUG|嘗試
2017-04- 25 16:28:30|調試|發現
2017-04-25 16:28:30|調試|嘗試輸出
2017-04-25 16:28:30|調試|找到輸出
2017 -04-25 16:28:30|偵錯|嘗試映射
2017-04-25 16:28:30|DEBUG|「id」：整數=「id」
2017-04-25 16:28 :30|DEBUG|“pact_number”：字元變化（50）=“pact_number”
2017-04-25 16:28:30|DEBUG|“grant_type”：字元變化（50） ) = "grant_type"
2017-04-25 16:28:30|DEBUG|「ticket_usecode」：字元變化（100）=「ticket_usecode」
2017-04-25 16:28:30|DEBUG|「pact_id」：整數=「pact_id 」 「
2017-04-25 16:28:30|DEBUG|取得設定：輸入
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28 :30|DEBUG|找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|取得:input:source(1)
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28:30|DEBUG |找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28: 30| DEBUG|嘗試來源(1)
2017-04-25 16:28:30|DEBUG|找到來源
2017-04-25 16:28:30|DEBUG|取得:input:source 的設定(1 ):local_hostname
2017-04-25 16:28:30|調試|嘗試
2017-04-25 16:28:30|調試|發現
2017-04-25 16:28 :30|調試|發現
2017-04-25 16:28 :30|調試|發現
2017-04-25 16:28 :30|調試|發現
2017-04-25 16:28 :30|調試|發現
2017-04-25 16:28 :30|調試|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試來源(1)
2017 -04 -25 16:28:30|DEBUG|找到來源
2017-04-25 16:28:30|DEBUG|嘗試local_hostname
2017-04-25 16:28:30|DEBUG|找到local_hostname ##local_hostname
2017-04-25 16:28:30|DEBUG|取得設定：input:source:ssl
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28 :30|偵錯|找到
2017-04-25 16:28:30|偵錯|嘗試輸入
2017-04-25 16:28:30|偵錯|找到輸入
2017- 04-25 16:28:30|DEBUG|嘗試來源
2017-04-25 16:28:30|DEBUG|找到來源
2017-04-25 16:28:30|DEBUG|嘗試ssl
2017 -04-25 16:28:30|DEBUG|取得設定：input:source:certificates_path
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16 :28:30 |DEBUG|找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
#2017-04 -25 16: 28:30|偵錯|嘗試來源
2017-04-25 16:28:30|偵錯|找到來源
2017-04-25 16:28:30|偵錯|嘗試certificates_path
2017-04 -25 16:28:30|DEBUG|取得:input:source(1):port 的設定
2017-04-25 16:28:30|DEBUG|嘗試
2017-04- 25 16:28 :30|偵錯|找到
2017-04-25 16:28:30|偵錯|嘗試輸入
2017-04-25 16:28:30|偵錯|找到輸入
2017 -04-25 16:28:30|偵錯|嘗試來源(1)
2017-04-25 16:28:30|偵錯|找到來源
2017-04-25 16:28:30|偵錯|嘗試連接埠
2017-04-25 16:28:30|DEBUG|找到連接埠
2017-04-25 16:28:30|DEBUG|取得:input:source(1):port_range# 的設定
2017 -04-25 16:28:30|偵錯|嘗試
2017-04-25 16:28:30|偵錯|發現
2017-04-25 16:28:30|偵錯|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試來源(1)
2017-04-25 16: 28:30 |DEBUG|找到來源
2017-04-25 16:28:30|DEBUG|嘗試port_range
2017-04-25 16:28:30|DEBUG|取得:input:source( 的設定1):
2017-04-25 16:28:30|調試|嘗試
2017-04-25 16:28:30|調試|發現
2017-04-25 16:28:30 |DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試來源(1)###2017-04 -25 16 :28:30|偵錯|找到來源###2017-04-25 16:28:30|偵錯|嘗試###2017-04-25 16:28:30|偵錯|找到###2017-04-25 16:28:30|偵錯|取得設定：輸入：max_line_length
2017-04-25 16:28:30|偵錯|嘗試
2017-04-25 16:28:30|偵錯|嘗試
2017-04-25 16:28:30 |偵錯| DEBUG|找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16: 28 :30|DEBUG|嘗試max_line_length
2017-04-25 16:28:30|DEBUG|取得:input:transform 設定
2017-04-25 16:28:30|DEBUG|嘗試
#2017 -04-25 16:28:30|DEBUG|找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試轉換
2017-04-25 16:28:30|DEBUG|取得設定：input:transform_config
2017-04-25 16:28 :30|調試|嘗試
2017-04-25 16:28:30|調試|發現
2017-04-25 16:28:30|調試|嘗試輸入
2017-04 -25 16 :28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試transform_config
2017-04-25 16:28:30|LOG|嘗試執行gpfdist -p 8000 - P 8001 -f“/home/gpadmin/extend/test2.” -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist 說：2017-04-25 16:28:30 11767 INFO 在開啟監聽套接字之前- 以下監聽套接字可用：
2017-04-25 16:28:30|DEBUG|gpfdist: [msg] libevent 用: epoll
2017-04-25 16:28:30|LOG|gpfdist 說: 2017-04-25 16:28: 30 11767 訊息IPV6 套接字：[::]:8000
2017-04-25 16:28:30|調試|gpfdist：
2017-04-25 16:28:30| LOG|gpfdist 說：2017 -04-25 16:28:30 11767 訊息IPV4 套接字：0.0.0.0:8000
2017-04-25 16:28:30|LOG|gpfdist 說：2017-042017 25 16:28:30 11767 訊息嘗試開啟偵聽套接字：
2017-04-25 16:28:30|LOG|gpfdist 說：2017-04-25 16:28:30 11767 INFOV6 套接字：[::]:8000
2017 -04-25 16:28:30|LOG|gpfdist 說：2017-04-25 16:28:30 11767 WARN 位址已在使用中（errno = 98），連接埠：8000
2017-04-25 16： 28:30|LOG|gpfdist 說：2017-04-25 16:28:30 11767 INFO 嘗試開啟監聽套接字：
2017-04-25 16 :28:30|LOG|gpfdist 說：2017-04- 25 16:28:30 11767 INFO IPV4套接字：0.0.0.0:8000
2017-04-25 16:28:30|LOGgpfdist ：2017-04-25 16:28:30 11767 WARN 位址已在使用（errno = 98），連接埠：8000
2017-04-25 16:28:30|LOG|gpfdist 說：##2017-# 04-25 16:28:30|LOG|gpfdist 說：2017- 04-25 16:28:30 11767 INFO 在開啟監聽套接字之前- 以下監聽套接字可用：
2017-04-25 套接字之前- 以下監聽套接字可用：
2017-04-25 16 :28:30|LOG|gpfdist 說：2017-04-25 16:28:30 11767 訊息IPV6 套接字：[::]:8001
2017-04-25 16:28:30|LOG|gpfdist說：2017-04-25 16:28:30 11767 訊息IPV4 套接字：0.0.0.0:8001
2017-04-25 16:28:30|LOG|gpfdist 說：2017-04-25 16:25 28:30 11767 INFO 嘗試開啟監聽套接字：
2017-04-25 16:28:30 |LOG|gpfdist 說：2017-04-25 16:28:30 11767 訊息IPV6 套接字：[ :]:8001
2017-04-25 16:28:30|LOG|gpfdist 說：2017-04- 25 16:28:30 11767 INFO 開啟監聽套接字成功
2017-04-25 16 :28:30|LOG|gpfdist 說: 2017-04-25 16:28:30 11767 INFO 嘗試開啟監聽套接字:
2017-04-25 16:28:30|LOG|gpfdist 說：2017- 04-25 16:28:30 11767 訊息IPV4 套接字：0.0.0.0:8001###2017-04-25 16:28:30|LOG|gpfdist 說：2017-04-25 16:28:30 11767 WARN 位址已在使用中（errno = 98），連接埠：8001
2017-04-25 16 :28:30|LOG|gpfdist 說：在連接埠8001、目錄/home/gpadmin/extend
2017-04-25 16:28:30|INFO|started gpfdist -p 8000 -P 8001 -f 上提供HTTP 服務/home/gpadmin/extend/test2。 -t 30 -V
2017-04-25 16:28:30|LOG|gpfdist 正在連接埠 8001
2017-04-25 16:28:30|DEBUG|取得 :input:source 的設定:ssl
2017-04-25 16:28:30|調試|嘗試
2017-04-25 16:28:30|調試|發現
2017-04-25 16:28:30|調試|嘗試輸入
2017-04-25 16:28:30|偵錯|找到輸入
2017-04-25 16:28:30|偵錯|嘗試來源
2017-04-25 16: 28: 30|DEBUG|找到來源
2017-04-25 16:28:30|DEBUG|嘗試ssl
2017-04-25 16:28:30|DEBUG|取得:input:source( 的設定2)
2017-04-25 16:28:30|調試|嘗試
2017-04-25 16:28:30|調試|發現
2017-04-25 16:28:30|調試|嘗試輸入
2017-04-25 16:28:30|偵錯|找到輸入
2017-04-25 16:28:30|偵錯|嘗試來源(2)
2017-04- 25 16 :28:30|DEBUG|取得設定：preload
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28:30|DEBUG|找到
2017- 04-25 16:28:30|DEBUG|嘗試預先載入
2017-04-25 16:28:30|DEBUG|取得:output:mode 的設定
2017-04-25 16:28 ：30 |偵錯|嘗試
2017-04-25 16:28:30|偵錯|發現
2017-04-25 16:28:30|偵錯|嘗試輸出
2017-04-25 16 :28 :30|DEBUG|找到輸出
2017-04-25 16:28:30|DEBUG|嘗試模式
2017-04-25 16:28:30|DEBUG|找到模式
2017- 04- 25 16:28:30|DEBUG|取得設定：input:error_table
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28:30|DEBUG |找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|DEBUG
2017-04-25 16:28: 30|DEBUG |嘗試error_table
2017-04-25 16:28:30|DEBUG|找到error_table
2017-04-25 16:28:30|DEBUG|取得:input:log_errors
的設定2017-04 -25 16:28:30|調試|嘗試
2017-04-25 16:28:30|調試|發現
2017-04-25 16:28:30|調試|嘗試輸入
2017 -04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試log_errors
2017-04-25 16:28:30|DEBUG |取得設定：sql
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28:30|DEBUG|發現
2017-04-25 16： 28:30| DEBUG|嘗試sql
2017-04-25 16:28:30|DEBUG|取得:input:format 的設定
2017-04-25 16:28:30|DEBUG|嘗試
2017-04 -25 16:28:30|DEBUG|找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試格式
2017-04-25 16:28:30|DEBUG|找到格式
2017-04-25 16:28:30 |DEBUG|取得設定：輸入：分隔符號
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28:30|DEBUG|找到
2017-04 -25 16: 28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試分隔符號
2017- 04-25 16:28:30|DEBUG|找到分隔符號
2017-04-25 16:28:30|DEBUG|取得:input:delimiter 配置
2017-04-25 16:28 :30|偵錯|嘗試
2017-04-25 16:28:30|偵錯|發現
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試|分隔符號
2017-04-25 16:28:30|DEBUG|找到分隔符號
2017-04-25 16:28:30|DEBUG|取得設定：input:null_as
2017-04- 25 16:28:30|調試|嘗試
2017-04-25 16:28:30|調試|發現
2017-04-25 16:28:30|調試|嘗試輸入
2017- 04 -25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試null_as
2017-04-25 16:28:30|DEBUG|null False
2017-04-25 16:28:30|DEBUG|取得設定：input:escape
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28： 30|DEBUG|找到
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16 :28:30|DEBUG|嘗試轉義
2017-04-25 16:28:30|DEBUG|取得設定：input:quote
2017-04-25 16:28:30|DEBUG|嘗試
2017-04-25 16:28:30|DEBUG|發現
2017-04-25 16:28:30|DEBUG|嘗試輸入
2017-04-25 16:28:30|DEBUG|找到輸入
2017-04-25 16:28:30|DEBUG|嘗試引用
2017-04-25 16:28:30||A
2017-04-25 16:28:30|日誌|殺死gpfdist
2017-04-25 16:28:30|偵錯|gpfdist：2017-04-25 16:28:30 11767 收到警告訊號15。 gpfdist 退出
2017-04-25 16:28:30|DEBUG|gpfdist: 2017-04-25 16:28:30 11767 INFO ------------------ ---------------------
2017-04-25 16:28:30|調試|gpfdist: 2017-04-25 16:28:30 11767訊息狀態：總會話0
2017-04-25 16:28:30|DEBUG|gpfdist：會話：[
2017-04-25 16:28:30|DEBUG|gpfdist：]
2017 -04-25 16:28:30|調試|gpfdist: 2017-04-25 16:28:30 11767 資訊--------------------- --- ---------------
#2017-04-25 16:28:30|訊息|已插入行數= 0
2017-04-25 16:28: 30|訊息|行已更新= 0
2017-04-25 16:28:30|訊息|格式錯誤 = 0
2017-04-25 16:28:30|INFO|失敗的＃＃＃

其中埠8000是gpfdist的埠.

求大神解釋下,
雷雷

Answer 1

需要注意兩點:
1.gpfdist沒有必要手動啟動,在執行gpload的時候會自動啟動gpfdist,還有在yml中之配置了一個8000的端口,但是在執行的時候會出現8001端口(命令執行完成後,gpfdist會自動殺死)
2.yml中缺少對quote的設定: - QUOTE: ''''

以上兩點就可以解決上面的問題.