tweeeetyのぶろぐ的めも

アウトプットが少なかったダメな自分をアウトプット<br>\(^o^)/

BigQuery

【BigQuery】GolangでGCSのCSVデータからBigQueryにデータを取り込むメモ

はじめに GolangでBigQueryをざつに扱っています。 GolangでGCSにおいたCSVデータをBigQueryに取り込むメモです。 この記事のサンプルコードは以下においてあります。 https://github.com/tweeeety/go-gcs_csv-to-bigquery-sample アジェンダ はじめに アジ…

【BigQuery】bq コマンドでtableのschemaを取得するメモ

はじめに 掲題のとおりですが、bqコマンドにてBigQueryのtable schemaを取得するときの自分用メモです。 bq showコマンド schemaの取得は以下のように行います。 $ bq show \ --schema \ --format=prettyjson \ project_id:dataset.table > path_to_file ス…

【BigQuery】GolangでBigQueryのTable Create時のSchema指定方法 - bigquery.Schema, bigquery.InferSchema, bigquery.SchemaFromJSON

はじめに GolangでBigQueryをざつに扱っています。 GolangでBigQueryのtableを作成時のSchema指定方法についての自分メモです。 この記事のサンプルコードは以下においてあります。 https://github.com/tweeeety/go-bigquery-schema-sample アジェンダ はじ…

【BigQuery】bqコマンドでdataset/table/partitionの作成から確認まで試すメモ

はじめに 最近、BigQueryを触っています。 bqコマンドでコマンドラインからアクセスする際の自分メモです。 この記事で使うschemaやcsvファイルは以下のリポジトリにおいてあります。 * https://github.com/tweeeety/bq-command-sample アジェンダ はじめに …

【BigQuery】BigQueryへのDATA型のINSERT時に`Could not parse'20210101' as DATE for field partition_date`と怒られるエラー

はじめに 表題のとおりですが、bqコマンドなんかを使用してDATE型の値をINSERTしようとすると以下のようなエラーになりました。 この原因と対処法について。 どういうエラーか まず、INSERTするSchemaとdataです。 schema $ cat ./schema.json [ { "mode": "…