将文件创建为流并上载到Azure [英] Creating a file as a stream and uploading to Azure

问题描述

我正在使用ChoETL和ChoETL.Parquite库基于一些其他数据创建拼图文件。我可以在本地创建该文件。

  using (ChoParquetWriter parser = new ChoParquetWriter($"..\..\..\parquet_files\{club}_events.parquet"))
       {
           parser.Write(events);
       }

在此代码片段中，事件是包含字符串的对象列表。它们将被转换为镶木地板数据。

到目前为止，我已经编写了上载到Azure的代码，但它需要本地文件作为输入。

BlobServiceClient BlobServiceClient = new BlobServiceClient("REDACTED");
var containerClient = BlobServiceClient.GetBlobContainerClient("base-test");
BlobClient blobClient = containerClient.GetBlobClient($"Base/{RequestTime.Year}/{RequestTime.Month}/{RequestTime.Day}/{RequestTime.Hour}/{RequestTime.Minute}/events.parquet");
using FileStream uploadFileStream = File.OpenRead("..\..\..\events.parquet"); 
await blobClient.UploadAsync(uploadFileStream, true);
uploadFileStream.Close();

我需要在内存中创建它，然后上载到Azure BLOB存储。我怎么才能做到这一点呢？需要澄清的是：我需要上传镶木地板文件。

推荐答案

关于这个问题，可以使用BlockBlobClient.OpenWriteAsync方法获取流，并为ChoParquetWriter提供流。然后，编写器将直接将内容写入Azure Blob。

例如

  List<EmployeeRecSimple> objs = new List<EmployeeRecSimple>();

            EmployeeRecSimple rec1 = new EmployeeRecSimple();
            rec1.Id = 1;
            rec1.Name = "Mark";
            objs.Add(rec1);

            EmployeeRecSimple rec2 = new EmployeeRecSimple();
            rec2.Id = 2;
            rec2.Name = "Jason";
            objs.Add(rec2);

            BlobServiceClient blobServiceClient = new BlobServiceClient(connectionString);
            var desContainer = blobServiceClient.GetBlobContainerClient("output");
            var desBlob= desContainer.GetBlockBlobClient("my.parquet");
            var options = new BlockBlobOpenWriteOptions {
                HttpHeaders = new BlobHttpHeaders {
                    ContentType = MimeMapping.GetMimeMapping("parquet"),
                },
                // progress updates about data transfers
                ProgressHandler = new Progress<long> (
                    progress => Console.WriteLine("Progress: {0} bytes written", progress))
                    
                
            };

            using (var outStream = await desBlob.OpenWriteAsync(true, options).ConfigureAwait(false))
            using (ChoParquetWriter parser = new ChoParquetWriter(outStream)) {

                parser.Write(objs);
            }

public partial class EmployeeRecSimple
    {
        public int Id { get; set; }
        public string Name { get; set; }
    }

这篇关于将文件创建为流并上载到Azure的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！