文件名称:azure-cosmosdb-spark:适用于Azure Cosmos DB的Apache Spark连接器
文件大小:35.42MB
文件格式:ZIP
更新时间:2024-02-24 00:09:04
spark apache-spark connector jupyter-notebook pyspark
适用于Apache Spark的Azure Cosmos DB连接器 azure-cosmosdb-spark是和的官方连接器。 该连接器使您可以通过python和scala Apache Spark DataFrames轻松读取和写入Azure Cosmos DB。 它还允许您轻松创建用于批处理,流处理和服务层的lambda体系结构,同时进行全局复制,并最大程度地减少了处理大数据所涉及的延迟。 目录 快速开始 从Cosmos DB读取 以下是Python和Scala有关如何创建一个Spark数据框以从Cosmos DB读取的摘录 # Read Configuration readConfig = { "Endpoint" : "https://doctorwho.documents.azure.com:443/" , "Masterkey" : "SPSVkSfA7f6vMgMvnYdzc1MaWb65v4VQNcI2Tp1WfSP2vtgmAwGXEPcxoYra5QBHHyjDGYuHKSkguHIz1vvmWQ==" , "Database" : "Depart