Nothing is written to BQ. When reviewing the logs I see the below message coming form the kubernetes bigquery controller pod. Messages are appearing in PubSub.
processing count: 200 of 50000 at 2017-08-30 19:51:17.565975: {u'kind': u'bigquery#tableDataInsertAllResponse', u'insertErrors': [{u'index': 0, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'retweeted_status.reply_count'}]}, {u'index': 1, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 2, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 3, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 4, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 5, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'retweeted_status.quote_count'}]}, {u'index': 6, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 7, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 8, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 9, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'retweeted_status.reply_count'}]}, {u'index': 10, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 11, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 12, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]},
Nothing is written to BQ. When reviewing the logs I see the below message coming form the kubernetes bigquery controller pod. Messages are appearing in PubSub.
processing count: 200 of 50000 at 2017-08-30 19:51:17.565975: {u'kind': u'bigquery#tableDataInsertAllResponse', u'insertErrors': [{u'index': 0, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'retweeted_status.reply_count'}]}, {u'index': 1, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 2, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 3, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 4, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 5, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'retweeted_status.quote_count'}]}, {u'index': 6, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 7, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 8, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 9, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'retweeted_status.reply_count'}]}, {u'index': 10, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 11, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]}, {u'index': 12, u'errors': [{u'debugInfo': u'generic::not_found: no such field.', u'reason': u'invalid', u'message': u'no such field.', u'location': u'user.translator_type'}]},