[infra] Suporte a parquet

[guissalustiano]

Sua solicitação de recurso está relacionada a um problema? Por favor descreva.
Suporte a arquivos parquet para o bigquery. Atualmente não há nenhuma documentação sobre como subir arquivos em parquet e não há suporte da cli em python

Descreva a solução que você gostaria
Dar suporte a parquet no cli e recomenda-lo pelo menos para grandes datasets

Descreva alternativas que você considerou

Contexto adicional
O parquet é um formato de armazenamento colunar muito usado no ecossistema hadoop.
Ele armazena os valores em formato binario garantindo que o mesmo tipo escrito seja lido, além disso por ser armazenado por coluna tem a leitura de poucas colunas muito mais rapido (oque é o caso da maioria de consultas analiticas) e seu esquema de encoding cria dicionarios para colunas com menos de 10^15 oque contribui muito para diminuir seu tamanho e cria uma duvida sobre a ultilização de dicionarios externos.
Ele é suportado pelo big query sem nenhum contra limitação, em comparação ao csv que é dado essa ressalva.

Estou tentando importar dados da ANS (#1078 ) que dariam algo perto de 300GB em CSV. Ao armazena-los em parquet gastaria menos 10GB, facilitando o tratamento local e diminuindo os gastos de banda e armazenamento da cloud.

[guissalustiano]

Eu estou tentando aprender um pouco mais de GCP e a infra de vocês para poder ajudar aqui

[JoaoCarabetta]

• Adicionar parquet nas funções do seguinte arquivo https://github.com/basedosdados/mais/blob/master/python-package/basedosdados/upload/datatypes.py\
• Atualizar documentação de funções que tenham alguma flag com o tipo de arquivo
• Criar testes com arquivos parquet