`

插入海量数据时候 sql优化

 
阅读更多


1. INSERT INTO `table1` (field1,field2) SELECT field3,field4 FROM `table2`;


2. 如果遍历table1,然后再插入到table2时,可以先执行一个select空语句,把所有数据都遍历出来,然后放到缓存(这里可能有缓存命中的概率问题);

这样继续分段遍历,速度、效率上就会快一些;

如果该sql语句中有left join on,遍历出来的数据不会放到缓存中,改用where 语句代替

SELECT a.`contentid`, a.`status`, b.`content` FROM `#table_content` as a, `#table_article` as b WHERE a.`contentid` = b.`contentid` AND a.`status` = 6;


放到缓存以后,再次执行会从缓存里取数据,执行时间为0


只是针对简单查询




分享到:
评论

相关推荐

    mysql 数据插入优化方法

    当concurrent_insert=1时,允许对没有洞洞的表使用并发插入,新数据位于数据文件结尾(缺省)。 当concurrent_insert=2时,不管表有没有洞洞,都允许在数据文件结尾并发插入。 这样看来,把concurrent_insert设置为...

    数据库实战存储、管理和检索海量的数据数据库实战存储、管理和检索海量的数据

    在软件开发和数据管理领域,数据库是至关重要的组成部分,它可以存储、管理和检索海量的数据,并为用户和应用程序提供可靠、高效的数据处理能力。 数据库实战的第一步是设计数据库结构。在这个阶段,开发者需要分析...

    海量数据性能分析项目源码(带数据库)

    通过一个应用实例,批量插入百万条数据,然后进行查询分析优化 !!

    C#如何在海量数据下的高效读取写入MySQL

    由于工作的原因,经常需要对海量数据进行处理,做的数据爬虫相关,动辄千万级别的数据,单表几十个G都是都是家常便饭。 主要开发语言是C#,数据库使用的是MySQL。 最常见的操作便是 select 读取数据,然后在C#中对...

    C#在MySQL大量数据下的高效读取、写入详解

    最近由于工作的原因,经常需要对海量数据进行处理,做的数据爬虫相关,动辄千万级别的数据,单表几十个G 都是都是家常便饭。 那么主要的开发语言是C#,数据库使用的是MySQL。下面通过这篇文章我们来一起学习学习吧。

    C#在MySQL海量数据下的高效读取、写入

     由于工作的原因,经常需要对海量数据进行处理,做的数据爬虫相关,动辄千万级别的数据,单表几十个G都是都是家常便饭。 主要开发语言是C#,数据库使用的是MySQL。  常见的操作便是 select 读取数据,然后在C#...

    高性能高并发服务器架构大全

     SQL Server 2005对海量数据处理 170  分表处理设计思想和实现 174  Linux系统高负载 MySQL数据库彻底优化(1) 179  大型数据库的设计与编程技巧 本人最近开发一个访问统计系统,日志非常的大,都保存在...

    LeadBBS v2.10 论坛.rar

    38.论坛支持海量数据,无论有多少的帖子,查看任何页面速度一率恒定 39.支持玩家发件箱和收件箱,有新消息自动提示并闪烁加语音提示 40.支持管理员查看查看一切收件发件信息,但内容无权查看 41.支持清空收件箱功能 ...

    cms美女图片站源码 3.0

    ·占用空间小,建站成本低,无需等待,马上就可以拥有海量网站数据; ·免更新免维护,管理方便,操作简单,实现全站后台管理的全自动采集; ·实现全站URL路径伪静态功能,让各大搜索引擎收录更加友好; ·提供可根据...

    2009计算机 毕业设计 诚信体育用品

    SQL Server200是现今比较流行的数据库,他具有数据结构化,数据共享性高,数据独立性高以及数据由DBMS(数据库信息管理系统)统一管理和控制的优点。 2.2 数据流图 数据流图描述:用户初次在本网站购买商品需先注册为...

Global site tag (gtag.js) - Google Analytics