MySQL 亿级数据导入导出及迁移笔记
上周被安排做了一个MySQL亿级数据的迁移，特此记录一下，导入和导出是两个过程，本文想详细的介绍一下具体的使用，感兴趣的小伙伴们可以参考一下
如何使用分区处理MySQL的亿级数据优化
mysql在查询上千万级数据的时候，通过索引可以解决大部分查询优化问题。但是在处理上亿数据的时候，应该怎么解决，本文就是用分区来优化一下，感兴趣的一起来了解一下
MySQL单表亿级数据分页怎么优化？
有人说单表超千万数据就应该分库分表了，这么玩不合理啊。但是对于创新业务来讲，业务系统的设计不可能一上来就预估这么大的容量，成本和工期都不足矣完成系统的开发工作。我觉得对于创新型业务系统的设计，首先满足需
毫秒间查询千亿级Trace数据，SkyWalking上链路追踪这么强？
一、开篇自从SkyWalking开始在公司推广，时不时会在排查问题的人群中听到这样的话：“你咋还没接SkyWalking？接入后，一眼就看出是哪儿的问题了…"，正如同事所说的，在许多情况下，SkyWalking就是这么秀。作为实践者，我非常感谢SkyWalking，因为这款国产全链路监控产品给公司的...
Redis系列8：Bitmap实现亿万级数据计算
Redis系列1：深刻理解高性能Redis的本质Redis系列2：数据持久化提高可用性Redis系列3：高可用之主从架构Redis系列4：高可用之Sentinel(哨兵模式）Redis系列5：深入分析Cluster 集群模式 追求性能极致：Redis6.0的多线程模型追求性能极致：客户端缓存带来的革...
Spark千亿级数据去重，性能优化踩坑之路
大家好，我是狗哥，今天给大家写一点干货，这次咱们就从0-1把思路给大家讲一下，这也是我同事在数据开发中踩过的坑，希望能帮助到大家。先虚拟一个业务场景，方便大家思考我举个例子，拿京东或者淘宝说吧，如果你的业务让你计算几个维度(广告位置、小时、广告类型等等吧，我就随便举个例子)，每个维度的数据uv量级，...
挑战海量数据：基于Apache DolphinScheduler对千亿级数据应用实践
点亮 ⭐️ Star · 照亮开源之路 GitHub:https://github.com/apache/dolphinscheduler 精彩回顾 近期，初灵科技的大数据开发工程师钟霈合在社区活动的线上 Meetup 上中，给大家分享了《基于 Apache DolphinScheduler 对千...
挑战海量数据：基于Apache DolphinScheduler对千亿级数据应用实践
点亮 ⭐️ Star · 照亮开源之路GitHub:https://github.com/apache/dolphinscheduler精彩回顾近期，初灵科技的大数据开发工程师钟霈合在社区活动的线上 Meetup 上中，给大家分享了《基于 Apache DolphinScheduler 对千亿级数据...
“一个扫描枪一张表”，韵达选择 TDengine 应对每日亿级数据量
小 T 导读：此前，韵达使用 MySQL 分区+索引处理订单数据的方式遭受到了挑战，面对每日亿级的数据量，MySQL 显然已经无法满足当下的数据处理需求。为更好地发展业务，在此基础上韵达新增了 TDengine 的数据源，用专业的数据库来进行时序数据的处理。 作为一家头部物流公司，韵达每日...
如何用elasticsearch构架亿级数据采集系统（第1集：非生产环境windows安装篇）
（一）做啥的？基于Elasticsearch，可以为实现，大数据量(亿级)的实时统计查询的方案设计，提供底层数据框架。本小节jacky会在非生产环境下，在 window 系统下，给大家分享着部分的相关内容。（二）Elasticsearch的安装2.1 版本选择:elasticsearch-rtf第1...
开源IndexR:如何对上千亿的数据进行秒级探索式分析
目前，行业中的大数据分析架构一般使用基于 Hadoop 体系的分布式计算引擎 + 分布式存储系统架构（如下图）。 Hadoop 体系的架构特点是上层解决计算问题，下层解决存储问题。它可以让开发者在不了解分布式底层细节的情况下，进行分布式程序的开发。但是，这种架构同时也存在一些问题： 整合工...
亿级高并发数据库调优与最佳实践法则
做业务，要懂基本的SQL语句； 做性能优化，要懂索引，懂引擎； 做分库分表，要懂主从，懂读写分离… 数据库的使用，是开发人员的基本功，对它掌握越清晰越深入，你能做的事情就越多。 今天我们用10分钟，重点梳理一遍以下几方面： 数据库知识点汇总；数据库事务特性和隔离级别；详解关系型数据库、索引与锁机制；...
百亿数据毫秒响应级交易系统读写分离存储数据设计
刚完成了一个存储百亿级数据，响应时间要求10毫秒内的交易系统数据存储设计方案，现在有空整理一下思维。 一、分库分表 1.实时数据和历史数据分离 分为ABC表，AB表每日日切，只存储1天数据，每到24点切另外1张表。C表存储历史数据，T-1数据日终批量AB表迁移至C表 这样实现动态数据和静态数据之间的...
上亿条数据（GB级）文件去重解决方案
1.准备待处理的文件 2.随便一个文件都有100000000条数据库，如果直接去重非常麻烦 3.一段php代码解决问题 define('FileIn', $argv[1]);$time_start = microtime(true);$count = 0;function dump...
mysql数据库如何实现亿级数据快速清理
这篇文章主要介绍了mysql数据库实现亿级数据快速清理的方法，非常不错，具有参考借鉴价值，需要的朋友参考下吧
mogodb亿万级数据性能測试
本机i7四核8G废话少说mogodb最像sql的nosql使用批量插入一次20万循环10次总共200万数据用时65秒（尝试一次50万只是报内存溢出了，原因未知）插入2000万数据用时10分钟左右，这是内存占用90%,重新启动之后mongodb又回到20%预计是缓存问题2000万数据下查询在加索引情况...
Linux下和MySQL下利用python插入亿万级数据
下载mysqldb首先必须下载mysqldb，下载语句是yuminstallMySQL-python安装之后，在命令行输入#>>>python#接下来是python代码>>>importMySQLdb>>>#显示出了命令行即为安装成功>&g...
Redis 实战篇：巧用 Bitmap 实现亿级海量数据统计
本文将由二值状态统计类型作为实战篇系列的开篇，文中将用到 String、Set、Zset、List、hash 以外的拓展数据类型 Bitmap 来实现。
亿级数据表的优化问题
业务是这样的，定期要把最新的数据写到数据库里。表里有一列UpdateStatus，用来设置Archived和Current，每次在写入新数据时，把已有的数据改成Archived，然后新的数据改成Current。所以每次插入数据的步骤是，1. 先根据条件把表里对应的数据Update成Archived，...