返回顶部
首页 > 资讯 > 后端开发 > Python >Python 连接clickhouse数据库以及新建表结构,csv导入数据
  • 279
分享到

Python 连接clickhouse数据库以及新建表结构,csv导入数据

clickhousejava服务器数据库 2023-09-07 13:09:55 279人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

目录 一、Python 连接clickhouse数据库 ◼ clickhouse对外的接口协议通常有两种形式: ◼ 代码实现部分: 二、使用客户端工具DBeaver连接clickhouse ◼ 新建clickhouse表 三、DBeaver

目录

一、Python 连接clickhouse数据库

◼ clickhouse对外的接口协议通常有两种形式:

◼ 代码实现部分:

二、使用客户端工具DBeaver连接clickhouse

◼ 新建clickhouse表

三、DBeaver 连接clickhouse 用csv文件导入数据

◼ 导入方式:

方法一:使用DBeaver自带导入数据功能;

方法二:具体方式如下:

解决问题:数据导入之后,出现中文乱码。


ClickHouse是近年来备受关注的开源列式数据库(DBMS),主要用于数据联机分析(OLAP)领域,于2016年开源。

一、python 连接clickhouse数据库

◼ clickhouse对外的接口协议通常有两种形式:

  1. 常规的Http协议,java的jdbc就采用这种方式,端口一般是8123;
  2. 面向Pythontcp协议,端口号通常为9000(对,是“通常”)。

端口问题,HTTP协议(默认端口8123);TCP (Native)协议(默认端口号为9000),Python里的clickhouse_driver用的tcp端口9000,DBeaver使用的是HTTP协议所以可以使用8123端口。

◼ 代码实现部分:

 (1)我们首先需要安装第三方库clickhouse_driver,

(2)完整代码:使用clickhouse_driver 包中的Client类,其中需要修改的参数有host,user,passWord

from clickhouse_driver import Clientclient = Client(host='127.0.0.1',port='9000',user=clickhouse_user ,password=clickhouse_pwd)sql = 'select * from db_name.tb_name limit 0, 1000'ans = client.execute(sql)

 

 

二、使用客户端工具DBeaver连接clickhouse

前提:Clickhouse客户端工具为dbeaver,首先需要安装连接工具Dbeaver。

Dbeaver安装教程地址:DBeaver安装与使用教程(超详细安装与使用教程)_多喝清晨的粥的博客-CSDN博客_dbeaver安装配置

(1)打开Dbeaver,通过操作界面菜单中“数据库”创建配置新连接,如下图所示,选择并下载ClickHouse驱动(默认不带驱动),

(2)填写基础配置

DBeaver配置是基于Jdbc方式,一般默认URL和端口如下:

jdbc:clickhouse://192.168.17.61:8123

如下图所示。在是用DBeaver连接Clickhouse做查询时,有时候会出现连接或查询超时的情况,这个时候可以在连接的参数中添加设置Socket_timeout参数来解决问题。

jdbc:clickhouse://{host}:{port}[/{database}]?socket_timeout=600000

 (3)测试连接,提示未安装驱动

到了这一步,说明连接配置信息填写完成,在弹出来的地方选择下载按钮,等它全部下载完驱动后即可测试连接。

如下图所示,开始下载驱动文件:

 点击“下载”,

 

等待下载完成,

 (4)再次测试连接,连接成功,

 可以看到已经成功连接到了Clickhouse。

 

 

◼ 新建clickhouse表

(1)右击,选择“新建列”,进行创建表,

(2)或者使用代码进行创建表,

 在sql编辑器中写入想要创建的表结构代码,

CREATE TABLE table_name (    node_id Int128,    node_name VARCHAR(100),    ll Int16,    ink VARCHAR(500),    onk VARCHAR(500),    fne VARCHAR(500),    tne VARCHAR(500)) Engine = MergeTree()   ORDER BY node_id

 这样表就创建好了。

三、DBeaver 连接clickhouse 用csv文件导入数据

导入方式:

(1)先再需要导入的数据表中 插入几条数据 然后 导出 csv 格式的数据。【目的是为了查看导出的cxv 的数据是是什么格式, 我们导入也按照这个格式导入】

(2)再导出的表格中 加入我们需要导入的数据,格式和导出的数据格式保持一致。

(3)然后 通过csv 的方式导入数据到数据库表。

方法一:使用DBeaver自带导入数据功能;

右击需要导入csv文件的表,选择“导入数据”,依次进行一下步骤,

 

 

 

 

导入数据成功了。

方法二:具体方式如下:

  1. 首先将待导入的csv数据表传输到clickhouse所在的服务器
  2. 在数据库中提前建好表,和等待导入数据匹配;
  3. 在客户端输入以下命令:
clickhouse-client --databse="testdb" --query="INSERT INTO testdb.TEST_table FORMAT CSV" < /dataset/data.csv

若出现问题,可以试一下 将FORMAT CSV 改为 FORMAT CSVWithNames
 

解决问题:数据导入之后,出现中文乱码。

解决方法:将csv 表格文件用记事本打开 另存为的方式 保存新的文件 ,编码格式选择为为UTF-8 然后保存。 然后从新的修改编码格式之后的文件导入数据库表格, 中文乱码的问题就解决了。

来源地址:https://blog.csdn.net/qq_45956730/article/details/127246423

--结束END--

本文标题: Python 连接clickhouse数据库以及新建表结构,csv导入数据

本文链接: https://lsjlt.com/news/398265.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作