`
joseph830727
  • 浏览: 1538 次
最近访客 更多访客>>
社区版块
存档分类
最新评论

关于MySql大数据统计的问题

阅读更多
    现在在工作中遇到一个问题,就是MySql中有一张表,里面最多有2000W数据记录,时间是半年的,平均每天100W左右,我们的系统中有个功能,需要对2000W中符合时间区间的几百万做统计,汇总多个字段的和,目前发现查询的统计的效率特别的低下,不能够满足我们正常的应用,看大家有没有遇到过类似的问题,如何处理呢?而且,我看MySql的执行计划,根本也用不上什么索引;
    目前我们想的办法就是将这些数据按照周,或者月去汇总,然后,统计查询的时候,查询汇总表,但是,这种办法对于夸月,或者跨周的统计,也是比较费劲的
分享到:
评论

相关推荐

    基于JAVA大数据在线考试系统在线阅卷系统及大数据统计分析计算机毕业设计源码+数据库+lw文档+系统+部署

    项目架构:B/S架构 开发语言:Java语言 开发软件:idea eclipse 前端技术:Layui、HTML、CSS、JS、JQuery等技术 后端技术:JAVA 运行环境:Win10、JDK1.8 数 据 库:MySQL5.7/8.0 运行服务器:Tomcat7.0 CSDN太坑了...

    概率统计、SQL & MySQL、大数据技术速查表

    1-1 概率论基础速查表 1-2 概率分布速查表 2-1 SQL 速查表 2-2 MySQL & SQL 速查表 2-2 MySQL & SQL 速查表 3-1 Hadoop 速查表 3-2 Apache Spark 速查表 3-3 Hive 函数速查表

    前端模板094 大数据统计展示大屏.zip

    数据存储技术:包括传统的关系型数据库(如MySQL、PostgreSQL)、NoSQL数据库(如MongoDB、Cassandra)以及数据湖(Data Lake)等存储技术。 数据可视化工具:如Tableau、Power BI、D3.js等,用于将数据转换为图表...

    【前端模板】056 大数据统计展示大屏.zip

    数据存储技术:包括传统的关系型数据库(如MySQL、PostgreSQL)、NoSQL数据库(如MongoDB、Cassandra)以及数据湖(Data Lake)等存储技术。 数据可视化工具:如Tableau、Power BI、D3.js等,用于将数据转换为图表...

    mysql大数据高并发处理

    如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,...(例如:对外统计系统在7月16日出现的数据异常的情况,并

    【前端模板】090 企业营收大数据统计可视化大屏.zip

    数据存储技术:包括传统的关系型数据库(如MySQL、PostgreSQL)、NoSQL数据库(如MongoDB、Cassandra)以及数据湖(Data Lake)等存储技术。 数据可视化工具:如Tableau、Power BI、D3.js等,用于将数据转换为图表...

    深圳地铁大数据客流分析系统源码.zip

    深圳地铁大数据客流分析系统源码 该项目主要分析深圳通刷卡数据,通过大数据技术角度来研究深圳地铁客运能力,探索深圳地铁优化服务的方向; 强调学以致用,本项目的原则是尽可能使用较多的常用技术框架,加深对各...

    mysql cluster集群安装

    大数据统计降临到商业、经济、政治等领域,成为备受推崇的决策工具。对于海量数据的挖掘,有助于统计事情发生的概率,帮助人们计算做某些事情成功的几率。大数据似乎被其崇拜者推到不可触及的高空但也对数据信息安全...

    大数据分表的问题

    关于mysql单表存储量过大造成的系统性能优化做的相关单表拆分来解决数据库单表无法超过系统承受范围的功能模块。

    Spark2.x企业级大数据项目实战(实时统计、离线分析和实时ETL)

    Spark2.x企业级大数据项目实战(实时统计、离线分析和实时ETL),本门课程来源于一线生产项目, 所有代码都是在现网大数据集群上稳定运行, 拒绝Demo。课程涵盖了离线分析、实时分析绝大部分的场景,通过三个实际...

    大数据实验报告对应我的第二篇博客

    一、大数据平台的搭建 3 1. 架构设计 6 2 服务器集群的搭建 7 (1)安装Linux操作系统、 14 (2)安装大数据处理框架Hadoop 20 3 工具软件安装 21 (1)安装关系型数据库MySQL 26 (2)安装列族数据库HBase 27 (3)...

    大屏图表(echarts)数据统计分析页面

    大屏图表(echarts)数据统计分析页面,地图分析、图标分析

    Python+MySQL+Excel+Tableau+方法论+数据分析 大数据全栈开发工程师实践课程

    这是一次真正意义上的大数据全栈开发与数据分析课程,课程的基础理论架构由Python、MySQL、Exlcel、Tableau、方法论、数据分析等基础学科组成。由此基础上展开了十几个章节的具体课程,课程着重打造的大数据分析业务...

    尚硅 大数据

    大数据视频学习资料-【课程内容】 01_Linux基础 02_Hadoop 03_Zookeeper 04_Hadoop-HA 05_Hive框架基础 06_Flume 07_Oozie 08_HBase 09_Kafka 09_杂项 10_Storm 11_1离线平台项目测试 11_项目:大数据离线平台 12_...

    大数据全栈开发工程师实践课程-网盘链接提取码下载 .txt

    这是一次真正意义上的大数据全栈开发与数据分析课程,课程的基础理论架构由Python、MySQL、Exlcel、Tableau、方法论、数据分析等基础学科组成。由此基础上展开了十几个章节的具体课程,课程着重打造的大数据分析业务...

    毕业设计基于SpringBoot+MySQ的停车收费管理系统的设计与实现源码+数据库+论文

    为解决城市停车收费问题,做到车位资源的充分利用与信息共享,选用Java编程语言Spring Boot框架设计开发,Shiro权限控制,MD5算法信息加密,采用MySQL关系型数据库进行管理,大数据统计分析面板运用EChars可视化图表...

    大数据测试工具箱-FlytestingToolkit

    1、读取mysql数据库所有表信息,并存储到csv文件,便于阅读数据库表信息,进行数据库测试 2、根据给定的边界和特殊字符简化的用例模板自动生成完整的边界和特殊字符测试用例,解放设计用例中枯燥乏味的部分 3、根据...

    MySQL数据库设计、优化.pptx

    持续写入,避免瞬间压力 超长text/blob进行垂直拆分,并先行压缩 冷热数据进行水平拆分,LRU原则 快速更新大数据表禁止直接运行count(*)统计 MySQL数据库设计、优化全文共24页,当前为第3页。 规范 基础规范 单表行...

Global site tag (gtag.js) - Google Analytics