python调用hive,python读取hive数据

　　Python访问Hive配置-jmydream的专栏-博客频道-CSDN。网

　　Python访问配置单元配置

　　分类：

　　储备

　　2012-09-04 15:41

　　36人阅读

　　收集

　　报告目录(？)[ ]

　　Hive可以通过三种方式启动：hive命令行模式，直接进入/hive/bin/hive的可执行程序，或者在linux平台上进入hive -service cli进行命令行查询，查询语句基本类似于mysql查询语句。

　　Hiveweb界面启动模式，hive

　　service hwi用于通过浏览器访问配置单元。可以分开执行查询，也可以同时执行多个查询；不需要在本地安装配置单元

　　配置单元远程服务(端口号10000)已启动。hive作为thrift service的服务器运行，允许用不同语言编写的客户端访问它。它通过thrift、jdbc、odbc连接器和hive服务器与hive进行通信。这种方法非常适合java和python程序员通过jdbc接口访问hive。

　　要实现这里的第三条路，先装节俭。

　　Thrift是一个跨语言的服务部署框架，最初由脸书在2007年开发，然后在2008年进入Apache孵化器。与SOAP、COM和CORBA类似，Thrift通过定义一种中间定义语言和Thrift代码生成工具来生成指定语言的代码。目前，节俭

　　支持C，Java，Python，PHP，Ruby，Erlang，Perl，Haskell，C #，Cocoa，Smalltalk，OCaml的代码生成。

　　这里，我们使用节俭的另一个应用。我们不是生成指定语言的代码，而是使用节俭网关和节俭序列化技术(支持C、PHP、python等语言)来调用其他异构系统的hive。这里我们使用python客户端通过Thrift调用hive(将与hive相关的Python语句放在hive服务器上)。

　　节俭主页：有详细安装说明的http://thrift.apache.org/,

　　从节俭主页下载thrift.http://thrift.apache.org/download/thrift-0.8.0.tar.gz的最新版本。

　　直接减压

　　tar zxvfthrift-0.8.0.tar.gz中的错误：这看起来不像tar归档文件

　　这是一只虫子

　　解决方案：

　　gzip-d xxxxtar.gz (. tar . gz文件的处理方法)

　　tar-XF xxxx.tar(用于。tar文件处理)

　　安装系统必备包和工具，根据http://thrift.apache.org/docs/install/ubuntu/.安装必备工具和包

　　$:sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libevent-dev automake libtool flex bison pkg-config g libssl-dev

　　Python先决条件包安装：

　　$:python-dev python-twisted

　　安装thrifthttp://thrift.apache.org/docs/BuildingFromSource/

　　直接操作

　　$:/配置

　　没必要跑。/bootstrap.sh

　　$:制作制作安装

　　节俭是装的。

　　Thrift的lib包被添加到python的lib中。

　　奔跑

　　$: python

　　fromhive_serviceimport

　　ThritHiveImportError:cannotimportnamrithive

　　我查了一下，发现python2.7/site-packages在步骤(1)执行后没有对应的模块，无法编译，所以刚解压完就去根目录，把build/lib里的所有模块复制到python2.7/site-packages，如下：有两种方式：

　　$:cd./thrift-0 . 8 . 0/lib/py/build/lib . Linux-x86 _ 64-2.7

　　CP-rth rift//usr/lib/Python 2.7/site-packages/Python插件模式

　　用eclipse python编写hive程序设置

　　在菜单项windonw- preferences下

　　为python添加thrift，为hive添加thrift

　　好的

　　Hive可以通过三种方式启动：这里实现了第三种方式。首先你要安装thriftthrift的lib包，在eclipse下加入python的lib。python写hive程序设置hive。启动hive有三种方式：Hive命令行方式，直接进入/hive/bin/hive的可执行程序。或者进入hive -service cli for linux平台命令行查询，查询语句基本类似于hiveweb界面启动模式下的mysql查询语句，hive

　　service hwi用于通过浏览器访问配置单元。可以分开执行查询，也可以同时执行多个查询；不需要在本地安装配置单元

　　配置单元远程服务(端口号10000)已启动。hive作为thrift service的服务器运行，允许用不同语言编写的客户端访问它。它通过thrift、jdbc、odbc连接器和hive服务器与hive进行通信。这种方法非常适合java和python程序员通过jdbc接口访问hive。要实现这里的第三条路，先装节俭。

　　Thrift是一个跨语言的服务部署框架，最初由脸书在2007年开发，然后在2008年进入Apache孵化器。与SOAP、COM和CORBA类似，Thrift通过定义一种中间定义语言和Thrift代码生成工具来生成指定语言的代码。目前，Thrift支持C、Java、Python、PHP、Ruby、Erlang、Perl、Haskell、C #、Cocoa、Smalltalk和OCaml的代码生成。这里，我们使用节俭的另一个应用。我们不是生成指定语言的代码，而是使用节俭网关和节俭序列化技术(支持C、PHP、Python等语言)来调用其他异构系统的hive。这里我们使用python客户端通过thrift调用hive(将hive相关的python语句放入hive服务器)。节俭主页：有详细安装说明的http://thrift.apache.org/,

　　从节俭主页下载thrift.http://thrift.apache.org/download/thrift-0.8.0.tar.gz的最新版本。

　　直接减压

　　tar zxvfthrift-0.8.0.tar.gz中的错误：这看起来不像tar归档文件这是一个错误解决方案：

　　gzip-d xxxxtar.gz (. tar . gz文件的处理方法)

　　tar-XF xxxx.tar(用于。tar文件处理方法)系统必备包和工具安装，根据http://thrift.apache.org/docs/install/ubuntu/.安装必备工具和包

　　$:sudo apt-get install libboost-dev libboost-test-dev libboost-program-options-dev libevent-dev automake libtool flex bison pkg-config g libssl-devpy Thon先决条件包安装：$:python-dev python-twisted安装thrifthttp://thrift.apache.org/docs/BuildingFromSource/直接运行$:/configure不运行。/bootstrap . sh $:make install thrift安装完成。