TPT Job sits Eternally in Acquisition Phase

Tools & Utilities
Enthusiast

TPT Job sits Eternally in Acquisition Phase

Hi have a TPT job that connects to SQL Server 2005 to select rows from and load Teradata target table via UPDATE.  I'm using the MIcrosoft SQL Server ODBC driver to connect (Yes, I know its not certified).


The job appears to connect and bring sessions up on teradata front but just sits in Acquisition phase.  There appears to be no activity on the teradata side while TPT job is running.  However, if I change my select statement to bring back top 200000 rows it returns results very quickly and finishes.  i.e. "Select top 2000 * from ....".

Is there a setting I am missing?  


Here's the TPT Script:

USING CHARACTER SET ASCII

DEFINE JOB curr_carsplancellrec

(

DEFINE OPERATOR W_1_o_curr_carsplancellrec

TYPE UPDATE

SCHEMA *

ATTRIBUTES

(

VARCHAR UserName, 

VARCHAR UserPassword, 

VARCHAR LogTable, 

VARCHAR TargetTable, 

INTEGER BufferSize, 

INTEGER ErrorLimit, 

INTEGER MaxSessions = 16, 

INTEGER MinSessions = 1, 

INTEGER TenacityHours, 

INTEGER TenacitySleep, 

VARCHAR AccountID, 

VARCHAR DateForm, 

VARCHAR ErrorTable1, 

VARCHAR ErrorTable2, 

VARCHAR NotifyExit, 

VARCHAR NotifyExitIsDLL, 

VARCHAR NotifyLevel, 

VARCHAR NotifyMethod, 

VARCHAR NotifyString, 

VARCHAR PauseAcq, 

VARCHAR PrivateLogName, 

VARCHAR TdpId, 

VARCHAR TraceLevel, 

VARCHAR WorkingDatabase

);

DEFINE SCHEMA W_0_s_curr_carsplancellrec

(

planhist_no INTEGER,

sessyr VARCHAR(6),

tot_code VARCHAR(4),

amt DECIMAL(16, 2),

cell_type VARCHAR(1),

CdrTime BIGINT,

DBName VARCHAR(10),

Deleted BYTEINT,

DeletedDt CHARACTER(23),

StgRecLoadDt CHARACTER(23),

StgRecLoadUser VARCHAR(30),

RecLoadDt CHARACTER(23),

RecLoadUser VARCHAR(30)

);

DEFINE OPERATOR W_0_o_curr_carsplancellrec

TYPE ODBC

SCHEMA W_0_s_curr_carsplancellrec

ATTRIBUTES

(

VARCHAR UserName, 

VARCHAR UserPassword, 

VARCHAR SelectStmt, 

VARCHAR PrivateLogName, 

VARCHAR DSNName, 

VARCHAR ConnectString, 

VARCHAR TruncateData

);

APPLY

(

'INSERT INTO edw_db_dev.CURR_CARSPlanCellRec (planhist_no,sessyr,tot_code,amt,cell_type,CdrTime,DBName,Deleted,DeletedDt,StgRecLoadDt,StgRecLoadUser,RecLoadDt,RecLoadUser) VALUES (:planhist_no,:sessyr,:tot_code,:amt,:cell_type,:CdrTime,:DBName,:Deleted,:DeletedDt,:StgRecLoadDt,:StgRecLoadUser,:RecLoadDt,:RecLoadUser);'

)

TO OPERATOR

(

W_1_o_curr_carsplancellrec[1]

ATTRIBUTES

(

UserName = 'user', 

UserPassword = 'password', 

LogTable = 'edw_db_dev.CURR_CARSPlanCellRec_log', 

TargetTable = 'edw_db_dev.CURR_CARSPlanCellRec', 

TdpId = 'dns name'

)

)

SELECT * FROM OPERATOR

(

W_0_o_curr_carsplancellrec[1]

ATTRIBUTES

(

UserName = 'user', 

UserPassword = 'password', 

SelectStmt = 'SELECT * FROM EMDM..BV_CURR_CARSPlanCellRec;', 

DSNName = 'My ODBC'

)

);

);

6 REPLIES
Enthusiast

Re: TPT Job sits Eternally in Acquisition Phase

Here's the log file:


Public log:

TPT_INFRA: TPT04101: Warning: TMSM failed to initialize

Teradata Parallel Transporter Executor Version 13.10.00.04

Teradata Parallel Transporter Coordinator Version 13.10.00.04

Teradata Parallel Transporter Executor Version 13.10.00.04

Teradata Parallel Transporter ODBC Operator Version 13.10.00.04

W_0_o_curr_carsplancellrec: private log not specified

     ===================================================================

     =                                                                 =

     =                  TERADATA PARALLEL TRANSPORTER                  =

     =                                                                 =

     =              ODBC OPERATOR     VERSION 13.10.00.04              =

     =                                                                 =

     =          OPERATOR SUPPORT LIBRARY VERSION 13.10.00.04           =

     =                                                                 =

     = COPYRIGHT 2001-2010, TERADATA CORPORATION. ALL RIGHTS RESERVED. =

     =                                                                 =

     ===================================================================

**** 13:52:33 Processing starting at: Tue Sep 20 13:52:33 2011

     ===================================================================

     =                                                                 =

     =                      Module Identification                      =

     =                                                                 =

     ===================================================================

     ODBC Operator for Windows on 11111-0247634

     ODBCMain   : 13.01.00.01

     ODBCSQL    : 13.10.00.04

     ODBCUtil   : 13.00.00.02

     PcomCLI    : 13.10.00.15

     PcomMBCS   : 13.00.00.02

     PcomMsgs   : 13.01.00.07

     PcomNtfy   : 13.00.00.03

     PcomPx     : 13.10.00.16

     PcomUtil   : 13.10.00.07

     PXICU      : 13.10.00.04

     TDICU      : 13.10.00.02

     ===================================================================

     =                                                                 =

     =                      Attribute Definitions                      =

     =                                                                 =

     ===================================================================

**** 13:52:33 Options in effect for this job:

              OperatorType:  Producer

              Instances:     1

              Character set: 'ASCII'

              Checkpoint:    No checkpoint in effect

     ===================================================================

     =                                                                 =

     =                     SQL Session Connection                      =

     =                                                                 =

     ===================================================================

**** 13:52:33 Connecting to RDBMS:    'EMDM_Prod_SQL_ODBC'

**** 13:52:33 Connecting with UserId: 'bi_ssis'

W_0_o_curr_carsplancellrec: connecting sessions

Teradata Parallel Transporter Update Operator Version 13.10.00.04

W_1_o_curr_carsplancellrec: private log not specified

     ===================================================================

     =                                                                 =

     =                  TERADATA PARALLEL TRANSPORTER                  =

     =                                                                 =

     =             UPDATE OPERATOR     VERSION 13.10.00.04             =

     =                                                                 =

     =          OPERATOR SUPPORT LIBRARY VERSION 13.10.00.04           =

     =                                                                 =

     = COPYRIGHT 2001-2010, TERADATA CORPORATION. ALL RIGHTS RESERVED. =

     =                                                                 =

     ===================================================================

**** 13:52:33 Processing starting at: Tue Sep 20 13:52:33 2011

     ===================================================================

     =                                                                 =

     =                      Module Identification                      =

     =                                                                 =

     ===================================================================

     Update Operator for Windows on 11111-0247634

     UpdateMain : 13.10.00.06

     UpdateCLI  : 13.10.00.06

     UpdateUtil : 13.00.00.01

     PcomCLI    : 13.10.00.15

     PcomMBCS   : 13.00.00.02

     PcomMsgs   : 13.01.00.07

     PcomNtfy   : 13.00.00.03

     PcomPx     : 13.10.00.16

     PcomUtil   : 13.10.00.07

     PXICU      : 13.10.00.04

     TDICU      : 13.10.00.02

W_0_o_curr_carsplancellrec: TPT17176: Info: Message received from ODBC driver: 

STATE=01000, CODE=5701, 

MSG='[Microsoft][ODBC SQL Server Driver][SQL Server]Changed database context to 'EMDM'.'

**** 13:52:33 TPT17176: Info: Message received from ODBC driver: 

STATE=01000, CODE=5701, 

MSG='[Microsoft][ODBC SQL Server Driver][SQL Server]Changed database context to 'EMDM'.'

W_0_o_curr_carsplancellrec: TPT17176: Info: Message received from ODBC driver: 

STATE=01000, CODE=5703, 

MSG='[Microsoft][ODBC SQL Server Driver][SQL Server]Changed language setting to us_english.'

**** 13:52:33 TPT17176: Info: Message received from ODBC driver: 

STATE=01000, CODE=5703, 

MSG='[Microsoft][ODBC SQL Server Driver][SQL Server]Changed language setting to us_english.'

W_0_o_curr_carsplancellrec: TPT17175: Warning: Message received from ODBC driver: 

STATE=S1092, CODE=0, 

MSG='[Microsoft][ODBC SQL Server Driver]Invalid attribute/option identifier'

**** 13:52:33 TPT17175: Warning: Message received from ODBC driver: 

STATE=S1092, CODE=0, 

MSG='[Microsoft][ODBC SQL Server Driver]Invalid attribute/option identifier'

     ===================================================================

     =                                                                 =

     =                     ODBC Driver Information                     =

     =                                                                 =

     ===================================================================

     ODBC version        = '03.80.0000'

     DBMS name           = 'Microsoft SQL Server'

     DBMS version        = '09.00.4266'

     Driver name         = 'SQLSRV32.DLL'

     Driver version      = '06.01.7601'

     Driver ODBC version = '03.52'

     ===================================================================

     =                                                                 =

     =               Source Table Column/Field Defintion               =

     =                                                                 =

     ===================================================================

     CLIv2      : 13.10.00.02   

     ===================================================================

     =                                                                 =

     =                      Attribute Definitions                      =

     =                                                                 =

     ===================================================================

**** 13:52:34 Options in effect for this job:

              OperatorType:  Consumer

              Instances:     1

              Character set: 'ASCII'

              Checkpoint:    No checkpoint in effect

              Notify:        Not enabled

              Buffer size:   Maximum allowable

              Error limit:   No limit in effect

              Pause Acq:     Not in effect

              Work Table:    Will be dropped at end of job

              Tenacity:      4 hour limit to successfully connect

              Sleep:         6 minute(s) between connect retries

              Amp Check:     In effect for apply phase transitions

     ===================================================================

     =                                                                 =

     =                     Column/Field Definition                     =

     =                                                                 =

     ===================================================================

     Column Name                    Offset Length Type      

     ============================== ====== ====== ========================

     planhist_no                         0      4 INTEGER

     sessyr                              4      6 VARCHAR

     tot_code                           12      4 VARCHAR

     amt                                18      8 DECIMAL(16,2)

     cell_type                          26      1 VARCHAR

     CdrTime                            29      8 BIGINT

     DBName                             37     10 VARCHAR

     Deleted                            49      1 BYTEINT

     DeletedDt                          50     23 CHAR

     StgRecLoadDt                       73     23 CHAR

     StgRecLoadUser                     96     30 VARCHAR

     RecLoadDt                         128     23 CHAR

     RecLoadUser                       151     30 VARCHAR

     ============================== ====== ====== ========================

     INDICATOR BYTES NEEDED: 2

     EXPECTED RECORD LENGTH: 185

     ===================================================================

     =                                                                 =

     =                   Control Session Connection                    =

     =                                                                 =

     ===================================================================

W_1_o_curr_carsplancellrec: connecting sessions

**** 13:52:34 Connecting to RDBMS:    '10.7.4.107'

**** 13:52:34 Connecting with UserId: 'edwshared'

     ===================================================================

     =                                                                 =

     =                  Teradata Database Information                  =

     =                                                                 =

     ===================================================================

**** 13:52:34 Teradata Database Version:      '13.10.01.01                     '

**** 13:52:34 Teradata Database Release:      '13.10.01.01                   '

**** 13:52:34 Maximum request size supported: 1MB

**** 13:52:34 Session character set:          'ASCII'

**** 13:52:34 Total AMPs available:           72

**** 13:52:34 Data Encryption:                supported

**** 13:52:34 Restart log table 'edw_db_dev.CURR_CARSPlanCellRec_log' has been created

     ===================================================================

     =                                                                 =

     =                   Special Session Connection                    =

     =                                                                 =

     ===================================================================

**** 13:52:43 Maximum number of special sessions requested: All

**** 13:52:43 Minimum number of special sessions required:  1

              Instance Assigned Connected Result                

              ======== ======== ========= ======================

                  1        72       72    Successful

              ======== ======== ========= ======================

                Total      72       72    Successful

     ===================================================================

     =                                                                 =

     =                 Target/Error Table Information                  =

     =                                                                 =

     ===================================================================

W_1_o_curr_carsplancellrec: preparing target table(s)

**** 13:52:43 This job will use the following tables:

              Target Table:  'edw_db_dev.CURR_CARSPlanCellRec'

              Error Table 1: 'edw_db_dev.CURR_CARSPlanCel_ET'

              Error Table 2: 'edw_db_dev.CURR_CARSPlanCel_UV'

              Work Table:    'edw_db_dev.CURR_CARSPlanCel_WT'

     ===================================================================

     =                                                                 =

     =                      DML Transaction Phase                      =

     =                                                                 =

     ===================================================================

W_1_o_curr_carsplancellrec: entering DML Phase

**** 13:52:44 Submitting the following DML statement(s) for Group: 1

     INSERT INTO edw_db_dev.CURR_CARSPlanCellRec (planhist_no,sessyr,tot_code,amt,cell_type,CdrTime,DBName,Deleted,DeletedDt,StgRecLoadDt,StgRecLoadUser,RecLoadDt,RecLoadUser) VALUES (:planhist_no,:sessyr,:tot_code,:amt,:cell_type,:CdrTime,:DBName,:Deleted,:DeletedDt,:StgRecLoadDt,:StgRecLoadUser,:RecLoadDt,:RecLoadUser);

     ===================================================================

     =                                                                 =

     =                        Acquisition Phase                        =

     =                                                                 =

     ===================================================================

W_1_o_curr_carsplancellrec: entering Acquisition Phase

**** 13:52:44 Number of records per buffer for this job: 322

**** 13:52:44 Number of rows sent, last job: 0

Private log TWB_SRCTGT:

MAIN_STEP            SELECT_2[0001]       W_0_o_curr_carsplanc SQL                                                                                                                                                                

MAIN_STEP            APPLY_1[0001]        W_1_o_curr_carsplanc DBS                  10.7.4.107                                                    edw_db_dev.CURR_CARSPlanCellRec                                                 

Private log PXCRM:

CheckPoint Resource Manager initialized.

Checking whether a valid CheckPoint exists for restart.

Private log TWB_STATUS:

MAIN_STEP            SELECT_2[0001]       Success              W_0_o_curr_carsplanc    1    1 INITIATE-Started     13:52:33     0.0000     0.0000      65000          0                0                0     0     0 N Y

MAIN_STEP            APPLY_1[0001]        Success              W_1_o_curr_carsplanc    1    1 INITIATE-Started     13:52:33     0.0000     0.0000      65000          0                0                0     0     0 N Y

Private log TWB_EVENTS:

db_curr_carsplancellrec-3,17,0,OperatorEnter,MAIN_STEP,W_0_o_curr_carsplancellrec,1,2011-09-20,,2,0

db_curr_carsplancellrec-3,17,0,OperatorEnter,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,,1,0

db_curr_carsplancellrec-3,116,5,UtilityName,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,TPT Update Operator,1,0

db_curr_carsplancellrec-3,2,5,UpdateVersionId,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,13.10.00.04,1,0

db_curr_carsplancellrec-3,115,1,UtilityId,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,2,1,0

db_curr_carsplancellrec-3,133,5,UpdateTdpId,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,10.7.4.107,1,0

db_curr_carsplancellrec-3,3,5,UpdateUserName,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,edwshared,1,0

db_curr_carsplancellrec-3,129,5,UpdateDbase,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,EDW_USR_DEV,1,0

db_curr_carsplancellrec-3,50,1,UpdateTableId,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,1,1,1

db_curr_carsplancellrec-3,51,5,UpdateTableName,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,edw_db_dev.CURR_CARSPlanCellRec,1,1

db_curr_carsplancellrec-3,34,0,UpdatePhase1Begin,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,,1,1

db_curr_carsplancellrec-3,40,1,UpdateImportBegin,MAIN_STEP,W_1_o_curr_carsplancellrec,1,2011-09-20,1,1,0

Teradata Employee

Re: TPT Job sits Eternally in Acquisition Phase

It is hard to read the output because the information from the operators is interspersed with each other.

However, right now, I would say that the Update operator is waiting in the acquisition phase for data from the ODBC operator.

It is possible that the ODBC operator is waiting for data from the source.

-- SteveF
Enthusiast

Re: TPT Job sits Eternally in Acquisition Phase

That's what I suspect as well.  especially since select top 200000 from table ... returns rows immediately...

going to attempt to run an ODBC trace.  I'm seeing an S1092 invalid attribute/option warning as well.

Enthusiast

Re: TPT Job sits Eternally in Acquisition Phase

More info:  we ran traces on SQL server to determine what TPT may be doing or not doing.  Here's what we found:

When doing a “Select Top 100”, we get some pretty straight forward results:

CPU: 16, Reads: 4759, Duration: 84 – It finished so quickly, I didn’t have to see what was happening on SQL Server Side.

When doing a “Select  *”, we let this run for about 5 minutes and got the following:

CPU: 3469, Reads: 22495, Duration: 312500 – You can see that for the duration, SQL Server isn’t really doing much. I also saw a wait type of ASYNC_NETWORK_IO. In every case where we see this wait type, it means SQL Server is waiting on something external to return results to (typically the app, but could be driver related or network related). 

Our testing so far shows us that we can load tables with roughly less than a million rows without incident.  However larger tables > 1 million appear to be problematic.

Not sure where to go from here....

Teradata Employee

Re: TPT Job sits Eternally in Acquisition Phase

Have you tried the same query from an adhoc ODBC test program, to see what (and how fast) it retrieves?

I would say right now, the only thing I can suggest is to download an evaluation copy of the DataDirect ODBC drivers and try them out and see if you get different results.

-- SteveF
Enthusiast

Re: TPT Job sits Eternally in Acquisition Phase

I have switched to using Ole Db (OLE Load Utility) connection and it appears to work fine now.  I think ODBC was chocking on the volume of data.  The same issue exists with Data Direct ODBC driver as well.