当前位置: 首页 > news >正文

免费的好网站智能网站推广优化

免费的好网站,智能网站推广优化,网站个人空间,网站数据搬家一 Python连接hive环境实例 经在网络查询相关的教程,发现有好多的例子,发现连接底层用的的驱动基本都是pyhive和pyhs2两种第三方库的来连接的 hive,下面将简介windows 10 python 3.10 连接hive的驱动程序方式,开发工具:pycharm …

一 Python连接hive环境实例 

        经在网络查询相关的教程,发现有好多的例子,发现连接底层用的的驱动基本都是pyhivepyhs2两种第三方库的来连接的 hive,下面将简介windows 10 python 3.10 连接hive的驱动程序方式,开发工具:pycharm  ,经过测试已成功,分享给大家,有什么问题,可私信与我。

1 第一种:Python安装支持hive相关的库(pyhive)

1.1 安装sasl,本人建议采用离线安装方式,减少在线自动版本解决的问题

1.1.1 查询python版本 ,在命令下执行如下命令,如果不行,请查阅相关python安装教程

python --version

 如下图所示

 1.1.2 下载sasl相应版本的库(whl), 此处特别注意版本,如果版本不一致,导致不能安装同时使用

我的python为python 3.10的,

cp310:表示为python的版本,为python 3 10的

win_amd64:表示为驱动为windows 64位的驱动

下载网址(包括其他离线库和包):sasl下载版本地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl

相应包:sasl-0.3.1-cp310-cp310-win_amd64.whl在

pip install  sasl-0.3.1-cp310-cp310-win_amd64.whl

1.1.3 安装sasl,切换python环境的根目录,命令为

pip install  sasl-0.3.1-cp310-cp310-win_amd64.whl

 如下图所示,此处显示已安装成功的提示


1.2 安装thrift,命令如下,此处没有特别注意事项,如果有的话,请联系我

pip install thrift

 如下图所示

 1.3 安装thrift_sasl,命令如下

pip install thrift_sasl

 

 1.4 安装phhive,命令如下

pip install pyhive

 如下图所示,已安装提示

 2  第二种: Python安装支持hive相关的库(pyhs2)

2.1 如果安装中,有提供c++的库或相关工具,建立直接执行c++库包,我本采采用的360的全部C++库的安装方式,此方法简单明了,减少缺包的情况;或到微信官网下功相应的包安装。

注:此步要很重要

2.1 安装命令如下

pig install  pyhs2

 


二 Python开发实例


 1 (本人推荐)使用pyhive和pandas连接和操作数据库,使用ORM框架(sqlalchemy)的
create_engine连接数据库,,代码如下
from pyhive import hive
import pandas as pd
import thrift_sasl
import puresasl
import sasl# 定义数据库连接
from sqlalchemy import create_engine,types# 读取数据
def select_pyhive(sql):# 创建hive连接engine = create_engine("hive://10.88.221.112:10000/ods")try:df = pd.read_sql(sql, engine)return  dffinally:if engine:engine.dispose()#执行函数
df=select_pyhive('SHOW DATABASES')
print(df)
 2  使用pyhive和pandas连接和操作数据库,使用pyhive中的connection来连接hive,代码如下
from pyhive import hive
import pandas as pd# 读取数据
def select_pyhive(sql):# 创建hive连接conn = hive.Connection(host='10.88.221.112', port=10000, username='hive', password='hive',database='ods')try:df = pd.read_sql(sql, conn)return  dffinally:if conn:conn.close()#执行函数
df=select_pyhive('SHOW DATABASES')
print(df)

http://www.sczhlp.com/news/37679/

相关文章:

  • 青岛网站制作公司网络app推广公司怎么对接业务
  • NeurIPS 2023多模态AI系统突破与安全研究
  • j
  • alex网站建设seo推广营销靠谱
  • 宁波余姚网站建设iis7站长工具
  • 如何在服务器上搭建网站怎样做一个网站平台
  • 免费网站注册com旺道seo优化
  • 高等数学 9.2 偏导数
  • PostGIS 介绍(1)--数据管理
  • dynamic-datasource多数据源
  • 【主题未知】目录
  • 02020205 .NET Core重点知识-05 异步方法不等于多线程、为什么有的异步方法没有声明async、异步方法不要用Sleep()
  • 江苏环泰建设有限公司网站全国新冠疫情最新情况
  • 怎样做学校网站中央新闻联播
  • 品牌网站建设 细致磐石网络360关键词推广
  • 网站注销申请书长沙百度推广优化排名
  • 自己做盗版影视网站关键词调价工具哪个好
  • 学习怎么做网站seo网站优化专员
  • 柳州城市的城乡建设管理局网站品牌宣传策划方案
  • 图案设计网站有哪些今天新闻头条新闻
  • 成都网站开发建设百度搜索榜
  • POLIR-Policy-Standards-Industries-Payment:行业标准 of 非银支付: 非银行支付机构支付业务设施技术要求
  • 南充网站建设多少钱百度热搜榜排名今日p2p
  • 上海网站建设免宁波网站推广运营公司
  • 校园网站设计微信视频号可以推广吗
  • 宜兴做网站多少钱网络销售怎么才能找到客户
  • 自己怎么做团购网站首页小熊猫seo博客
  • 桂林网站建网站页面怎么优化
  • 旅游订房网站开发需求文档直销的八大课程
  • 网易企业邮箱怎么收费东莞seo快速排名