本文介绍了canal在读取解析binlog文件的过程中的问题和解决方案

Canal

Canal解析binlog文件的设计缺陷

本文通过实际场景，用多种方式解析binlog，带你了解MySQL binlog event的组成，以及通过canal同步binlog时kafka里的数据的对应关系。最后再通过生产环境的2个问题给你加深理解。

MySQL

带你了解MySQL binlog event

本文期望以精炼的语言以及相对清晰的架构图来让你对Canal整体上有一个全面的了解，以及让你知道部署一套Canal的最佳实践

Canal核心各组件介绍及最佳部署实践

关于怎么给blog搞一个自定义的域名：申请域名、配置DNS、配置Vercel

Nobelium

关于怎么给blog搞一个自定义的域名

教你如何搭建一个和本站一样实用的blog

关于怎么搭建一个这样的blog

Canal-Client-Adapter

canal-client-adapter核心代码分析之启动流程

RocketMQ使用docker启动导致2台消费者实例instanceId相同的原因和解决方案

Docker

RocketMQ

RocketMQ使用docker启动导致2台消费者实例instanceId相同

解决MacOS下使用docker，宿主机访问volume，提示No sush file or directory

Volume

Mac使用docker，volume默认挂载路径/var/lib/docker/volumes不存在问题——多种解决方案

记刷一张亿级别表产生的线上问题，以及问题分析和思考

刷一张亿级表带来的思考

我们的配置中心一直是自研的，并且也用了很久，一直也没出现过什么问题。直到最近这段时间，出了两个同类型的问题，于是乎准备来研究并解决一下。
问题原因都是因为引入了某个新包，并且这个新包的classpath根路径下包含了1个application.properties文件，这个时候Spring会加载这个application.properties配置文件。如果该配置文件里有配置中心里没有配置的key-value，那么该配置就会生效（如果配置中心有，那么还是配置中心的优先级更高）。

SpringBoot

ConfigCenter

带你透过源码理解SpringBoot配置文件加载流程

Canal-Adapter

canal-adapter插件式架构解析

本篇文章记录了通过对1个线上问题的排查，引出了好几个次级问题，并一一解决的过程

ElasticSearch

线上问题分析——canal-adapter数据同步不全问题排查

shardingsphere

Online Problem

线上问题分析——shardingsphere表结构缓存导致的字段错位

Java

线上问题分析——一次线上OOM问题的分析与解决

创建可执行jar包的多种方式

通过IntelliJ IDEA 创建可执行jar包

Maven

线上问题分析——maven循环依赖导致传递依赖失效问题

shardingsphere-proxy和流式查询

SpringBoot是如何做到一个jar包就可以直接运行的

spring-cloud-gateway

spring-cloud-gateway跨域配置两三事

mysql流式查询下的性能隐患

mysql流式查询中的一个坑

定制spring-cloud-gateway限流器来解决线上问题

spring-cloud-gateway内存泄漏？

rate-limiter

限流算法及常见实现

Guava RateLimiter

binlog

如何解析离线binlog文件

dubbo

ShutdownHook

优雅停机之Dubbo

优雅停机（上）

RocketMQ 4.6.0 Message Trace 功能异常排查

Sentinel

Sentinel之计数统计及限流逻辑

Sentinel之限流算法

优雅停机之Spring Cloud Gateway

Docker端口映射的实现机制

gzip

SpringBoot开启gzip压缩min-response-size不生效

tomcat-jdbc

线上故障分析——数据库连接池满了

tomcat-jdbc连接池对于socketTimeout超时断连的处理BUG

诡异的RocketMQ消费日志分析

本篇文章主要探讨了MySQL中大字段的全量更新（full update）实验，揭示了在实验过程中发现的一些有趣的现象和细节。文章首先介绍了一些前置知识点，包括MySQL 8.0对于非压缩溢出页的结构改造，以及全量更新的流程。然后通过实验，详细地展示了更新过程中溢出页的变化，以及更新次数对于溢出页数量的影响。文章还深入分析了溢出页首页的结构，包括索引列表和空闲节点等部分。在实验过程中，文章提出了一些有趣的问题，如在优化表后索引页数量的增加等，这些问题为我们深入理解MySQL的内部机制提供了思考的方向。总的来说，这篇文章通过实验和详细的分析，为我们理解MySQL中大字段的全量更新提供了宝贵的实践视角和深入的理论知识。

MySQL 溢出字段常规更新（full update）实验

用几个实验验证char、varchar和text的底层存储

Innodb数据页更新实验

HTTP缓存机制主要涉及存储策略、过期策略和协商策略。存储策略决定是否缓存资源，主要受Cache-Control响应头影响。过期策略判断本地缓存是否过期，结合Expires和Cache-Control响应头。协商策略验证缓存内容是否最新，通过对比两个响应的最后一次修改时间或特征值。此外，启发式缓存和Vary头也影响缓存机制。Cache-Control也可以在请求头中使用，指示客户端的缓存行为。

HTTP

HTTP缓存机制解析

MySQL JSON字段部分更新实验

excel

Excel导入需求升级——支持内嵌图片导入

使用多值索引（Multi-Value Index）导致Canal同步异常

MySQL 连接阶段

记一次mysql连接问题

一文说透批量SQL

你真的懂PreparedStatement吗？

惊！一条SQL竟有如此威力

通过探究MyBatis动态SQL的实现机制来消除MyBatis不必要的空格和换行

mybatis

消除MyBatis不必要的空格和换行

这篇文章分析了MyBatis批量插入导致内存溢出的问题。通过分析hprof文件和线程堆栈信息，发现大量占用内存的对象是MyBatis内部使用的字符数组，而这些字符数组存储了大量的SQL语句。问题的根本原因是每批次插入的SQL字符串过长，包含了大量的空格和换行符。为了解决这个问题，可以减少每批次插入的数量、减少线程池的线程数量，并可以适当增加JVM堆内存。

MyBatis批量插入导致内存溢出问题分析

本文详细介绍了MySQL的并行复制原理，包括主从复制的工作流程、MySQL 5.6和5.7版本的并行复制架构，以及MySQL 8.0引入的基于写集的并行复制。重点讨论了组提交技术如何提高事务并行性，并分析了不同版本中并行复制的实现及其优缺点。

MySQL 并行复制原理及演进

Online DDL

MySQL OnlineDDL发展历程及各算法介绍

在排查高CPU和高带宽使用率的问题时，首先观察到某服务的实例CPU使用率明显偏高，同时带宽使用也高。通过iftop和tcpdump命令分析发现，主要流量来自数据库查询，可能存在死循环。进一步通过top和jstack命令定位到高CPU使用的线程，发现是RocketMQ的消费线程。最终确定问题在于分页查询时未更新最小ID，导致查询效率低下。为避免此类问题，建议使用自定义的分页框架。

高cpu使用率和高带宽使用排查思路

本文讨论了MySQL的异步复制和半同步复制两种主从复制方式。异步复制在事务提交后不保证从库接收binlog，可能导致数据丢失；而半同步复制要求至少一个从库确认接收到binlog后，主库才能提交事务，从而避免数据丢失。半同步复制有after_commit和after_sync两种模式，后者在MySQL 5.7.2版本中引入，提升了性能和数据一致性。此外，文章还提到了一些半同步复制的优化和监控方法，以及在使用canal时的注意事项。

MySQL异步复制和半同步复制

关于

记录日常开发过程的一些经验总结和思考

黑微狗的技术博客