IBM Support

DataStage : BigQuery Connector ステージで、"Use GCS staging" が Yes の時エラーになる

Troubleshooting


Problem

BigQuery Connector ステージで、"Use GCS staging" が Yes の時、以下の様なメッセージを出力してエラーになる。
   Item #: 17
   Event ID: 16
   Timestamp: 2023-01-30 17:24:00
   Type: Fatal
   User Name: dsadm
   Message Id: IIS-CONN-DAAPI-00099
   Message: BigQuery_Connector_0,0: com.ascential.e2.common.CC_Exception: An exception occurred: com.ibm.connect.api.SCAPIException CDICO9999E: Internal error occurred: Avro runtime error: Not a valid schema field: COL1
at com.ibm.iis.cc.scapibridge.SCAPIBridgeLogger.createCCException (SCAPIBridgeLogger.java: 224)
at com.ibm.iis.cc.scapibridge.SCAPIBridge.process (SCAPIBridge.java: 493)
at com.ibm.is.cc.javastage.connector.CC_JavaAdapter.run (CC_JavaAdapter.java: 447)
   Item #: 18
   Event ID: 17
   Timestamp: 2023-01-30 17:24:00
   Type: Fatal
   User Name: dsadm
   Message Id: IIS-SCAPI-BRIDGE-00005
   Message: BigQuery_Connector_0,0: An exception occurred: com.ibm.connect.api.SCAPIException CDICO9999E: Internal error occurred: Avro runtime error: Not a valid schema field: COL1 (com.ibm.iis.cc.scapibridge.SCAPIBridgeLogger::createCCException, file SCAPIBridgeLogger.java, line 224)

Cause

"Use GCS staging"が"Yes"の場合、SELECTからの出力は、"Select statement"にあるSELECT文と合わせてAvroフォーマットで、一時GCSファイルに書き込まれます。
Avroスキーマは大文字小文字を区別するため、ステージの列タグに指定されている列名の大文字小文字と"Select statement" に指定されている列名の大文字小文字が合致していないと、列を正しく扱うことができずにエラーになります。

Resolving The Problem

列タグに指定している列名の大文字小文字と"Select stetement"で指定している列名の大文字小文字を合致させてください。

Document Location

Worldwide

[{"Type":"MASTER","Line of Business":{"code":"LOB10","label":"Data and AI"},"Business Unit":{"code":"BU059","label":"IBM Software w\/o TPS"},"Product":{"code":"SSZJPZ","label":"IBM InfoSphere Information Server"},"ARM Category":[{"code":"a8m0z000000GpHgAAK","label":"DataStage-\u003EJob Stages-\u003EBigQuery Connector"}],"ARM Case Number":"","Platform":[{"code":"PF025","label":"Platform Independent"}],"Version":"11.7.0;11.7.1"}]

Document Information

Modified date:
08 February 2023

UID

ibm16954337