最佳实践-在Azure中移动和转换数据-SQL，Blob，Power BI [英] Best practice - Moving and transforming Data in Azure - SQL, Blob, Power BI
问题描述
您好，
的方式
在Azure中移动和转换数据是无止境的. 这是
给一个头痛
从 时间 至
时间 : )
我们拥有本地SQL服务器，该服务器
我 已通过集成运行时连接到Azure.
I 复制特定表，其中包含
SQL查询到Blob中的 csv . 从那里开始
我 需要到
做 一些聚合并获取
一些 有关信息
一些特定行. 我的
想法 是到
在我复制管道后面添加 数据块
分析 数据
笔记本.
我可以可以检索
斑点和转换
数据，但 I
没有没有线索如何
通过 表 I
用我的 笔记本构建回到
斑点. I
与火花和熊猫一起尝试.
我无法将天蓝色存储导入到
使用后一个创建一个
blob .
表格，其中
我正在使用数据块 笔记本
很重要导入到 Power BI .
我在使用Python时感到很舒服
来进行转换
数据.
我的问题
是: 是否有做我想做的最佳实践?
从本地SQL服务器获取 表，
转换并将其导入到
电源 BI ?
我 想在Azure中做尽可能多的事情.
我 知道
我 可以 安装
内部网关表示电源
BI ，然后 I
具有以完成所有转换并
电源 BI 中的查询 ...
选项是
只是压倒性的...
Hi there,
the way of
moving and transforming data in Azure are endless. This is
giving me a headache
from time to
time :)
We have a local SQL server, which
I connected to Azure via the integration runtime.
I copy specific tables with an
SQL query into a csv in a Blob. From there
I need to
do some aggregation and get
some info about
some specific rows. My
idea was to
add Databricks behind my copy pipeline to
analyse the data in a
notebook.
I am able to retrieve the
data from the blob and transform the
data, but I
have no clue how to
pass the table I
build with my notebook back to the
blob. I
tried with spark and pandas.
I couldn't import azure-storage to
use the latter one to create a
blob.
The tables that
I am building with Databricks notebooks are
meant to be imported to Power BI.
I feel comfortable using Python when it
comes to transforming
data.
My question
is: Is there the best practice of doing what I want to do?
Getting tables from a local SQL server,
transform it and import it to
Power BI?
I want to do as much as possible inside Azure.
I know that
I can install the
on-premise-gateway for Power
BI, but then I
have to do all the transformation and
queries in Power BI as well...
The options are
just overwhelming...
推荐答案
你好，
如果您习惯使用Python，可以通过以下几种方法从Databricks访问Blob存储:
If you are comfortable using Python, here are some ways you can access Blob storage from Databricks:
https://docs.azuredatabricks.net/spark/latest/data -sources/azure/azure-storage.html
数据转换后，可以将其移动到Power BI可以访问的位置.
Once your data is transformed, you can move it to where Power BI can access it.
这篇关于最佳实践-在Azure中移动和转换数据-SQL，Blob，Power BI的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
