返回顶部
首页 > 资讯 > 后端开发 > Python >sqlite3 批量insert的性能优
  • 296
分享到

sqlite3 批量insert的性能优

批量性能insert 2023-01-31 03:01:50 296人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

 1、传统方式导入,一万条数据的导入(46s)$sqlite_db = new PDO('sqlite:sqlitedata.db', 'Gongz', 'gongz', []);     $start = time();     $n =

 1、传统方式导入,一万条数据的导入(46s)

$sqlite_db = new PDO('sqlite:sqlitedata.db', 'Gongz', 'gongz', []);
    $start = time();
    $n = 0;
    while ($n < 100000) {
        $n ++;
        $sql = "INSERT INTO `result_data` (`buguid`, `buname`, `签约金额_万`, `认购金额_万`, `认购套数_万`, `date`, `number1`, `number2`, `rp_buname_95938`, `rp_type_95938`, `rp_parentguid_95938`, `rp_levelcode_95938`) VALUES ('871709c2-083c-e511-80c0-00155d0a6f23', '名称', '31', '547', '776', '2015-12-07 00:00:00', '123.7890', '456.5678', '名称', '4', 'e64c7c15-7ac9-406c-9969-d41aeebf3a09', 'a.aa.001.01')";
        $sqlite_db->exec($sql);
    }
    echo time() - $start;

 2、传统方式导入,关闭写如磁盘的检查,一万条数据的导入(10s)

$sqlite_db = new PDO('sqlite:sqlitedata.db', 'gongz', 'gongz', []);
    $start = time();
    $n = 0;
    $sqlite_db->exec('PRAGMA synchronous = OFF;');
    while ($n < 10000) {
        $n ++;
        $sql = "INSERT INTO `result_data` (`buguid`, `buname`, `签约金额_万`, `认购金额_万`, `认购套数_万`, `date`, `number1`, `number2`, `rp_buname_95938`, `rp_type_95938`, `rp_parentguid_95938`, `rp_levelcode_95938`) VALUES ('871709c2-083c-e511-80c0-00155d0a6f23', '名称', '31', '547', '776', '2015-12-07 00:00:00', '123.7890', '456.5678', '名称', '4', 'e64c7c15-7ac9-406c-9969-d41aeebf3a09', 'a.aa.001.01')";
    $sqlite_db->exec($sql);
    }
    echo time() - $start;

 3、开启事务,一万条数据的导入(0s)

 $sqlite_db = new PDO('sqlite:sqlitedata.db', 'gongz', 'gongz', []);
    $start = time();
    $n = 0;
    $sqlite_db->beginTransaction();
    while ($n < 10000) {
        $n ++;
        $sql = "INSERT INTO `result_data` (`buguid`, `buname`, `签约金额_万`, `认购金额_万`, `认购套数_万`, `date`, `number1`, `number2`, `rp_buname_95938`, `rp_type_95938`, `rp_parentguid_95938`, `rp_levelcode_95938`) VALUES ('871709c2-083c-e511-80c0-00155d0a6f23', '名称', '31', '547', '776', '2015-12-07 00:00:00', '123.7890', '456.5678', '名称', '4', 'e64c7c15-7ac9-406c-9969-d41aeebf3a09', 'a.aa.001.01')";
        $sqlite_db->exec($sql);
    }
    $sqlite_db->commit();
    echo time() - $start;

另外关于sqlite主键id的小技巧:

    在创建表的时候,可以不用指定主键,sqlite默认会有一个隐藏的rowid字段存在,只需要在select的时候在字段中将rowid as成一个字段名称就可以使用了


--结束END--

本文标题: sqlite3 批量insert的性能优

本文链接: https://lsjlt.com/news/187492.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作