redis应用进程中主机内核层面的改良

　　由于当前业务大量使用缓存，在tps较高的情况下经常会导致主从同步异常，进而影响redis与客户端失联，从redis实例监控和相关日志中去优化相关内核参数还是有必要的。请大家认真阅读本篇文章~

     案发现场的日志：

      缓存集群Redis重启错误报错：

     29808:M 07 Jun 09:46:32.209 # WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 128.

　　29808:M 07 Jun 09:46:32.209 # Server started, Redis version 3.0.4

　　29808:M 07 Jun 09:46:32.209 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.

　　29808:M 07 Jun 09:46:32.209 # WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.

　　优化选项：

　　1.调大/proc/sys/net/core/somaxconn参数

　　2.修改vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1

　　3.'echo never > /sys/kernel/mm/transparent_hugepage/enabled' add it to your /etc/rc.local 有待测试

　　优化建议：

　　1.命令：sysctl -w net.core.somaxconn = 1024 或者 echo ‘net.core.somaxconn= 1024’ >>/etc/sysctl.conf;sysctl -p

　　net.core.somaxconn是Linux中的一个kernel参数，表示socket监听(listen)的backlog上限。

　　backlog是socket的监听队列，当一个请求(request)尚未被处理或建立时，他会进入backlog。

　　而socket server可以一次性处理backlog中的所有请求，处理后的请求不再位于监听队列中。

　　当server处理请求较慢，以至于监听队列被填满后，新来的请求会被拒绝。

　　所以说net.core.somaxconn限制了接收新 TCP 连接侦听队列的大小。

　　对于一个经常处理新连接的高负载 web服务环境来说，默认的 128 太小了。生产环境和cpu的核数也是相关的，当前内核64和，参数值65535

　　2.命令：sysctl -w vm.overcommit_memory = 1　或者 echo 'vm.overcommit_memory = 1' >>/etc/sysctl.conf;sysctl -p

　　overcommit_memory参数说明：

　　设置内存分配策略(可选，根据服务器的实际情况进行设置)

　　/proc/sys/vm/overcommit_memory

　　可选值：0、1、2。

　　0， 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存，内存申请允许;否则，内存申请失败，并把错误返回给应用进程。

　　1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。

　　2， 表示内核允许分配超过所有物理内存和交换空间总和的内存

　　注意：redis在dump数据的时候，会fork出一个子进程，理论上child进程所占用的内存和parent是一样的，比如parent占用的内存为8G，

　　这个时候也要同样分配8G的内存给child,如果内存无法负担，往往会造成redis服务器的down机或者IO负载过高，效率下降。所以这里比较优化的内存分配策略应该设置为 1(表示内核允许分配所有的物理内存，而不管当前的内存状态如何)。

　　有待测试：

　　3.命令：'echo never > /sys/kernel/mm/transparent_hugepage/enabled' 不启用(会限制内存碎片清理，会使用系统软件的算法管理内存映射)此处可能理解有误，欢迎指正。

　　与 /sys/kernel/mm/transparent_hugepage/defrag　always (表示时刻进行内存碎片清理)息息相关

　　在 Linux 操作系统上运行内存需求量较大的应用程序时，由于其采用的默认页面大小为 4KB，因而将会产生较多 TLB Miss 和缺页中断，从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时，将会大大减少 TLB Miss 和缺页中断的数量，显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的，假设应用程序需要 2MB 的内存，如果操作系统以 4KB 作为分页的单位，则需要 512 个页面，进而在 TLB 中需要 512 个表项，同时也需要 512 个页表项，操作系统需要经历至少 512 次 TLB Miss 和 512 次缺页中断才能将 2MB 应用程序空间全部映射到物理内存;然而，当操作系统采用 2MB 作为分页的基本单位时，只需要一次 TLB Miss 和一次缺页中断，就可以为 2MB 的应用程序空间建立虚实映射，并在运行过程中无需再经历 TLB Miss 和缺页中断(假设未发生 TLB 项替换和Swap)。

　　为了能以最小的代价实现大页面支持，Linux 操作系统采用了基于 hugetlbfs 特殊文件系统 2M 字节大页面支持。这种采用特殊文件系统形式支持大页面的方式，

　　使得应用程序可以根据需要灵活地选择虚存页面大小，而不会被强制使用 2MB 大页面。本文将针对 hugetlb 大页面的应用和内核实现两个方面进行简单的介绍，以期起到抛砖引玉的作用

     小分享：SDS与C字符串的区别

     1、 常数复杂度获取字符串长度(C 字符串不记录自身的长度信息，要获取其长度需遍历整个字符串，复杂度O(N);SDS的len属性记录了长度，故复杂度为O(1))。

　　2、 杜绝缓冲区溢出(C 字符串不记录自身长度容易造成缓冲区溢出;SDS API对SDS修改时，会先检查空间是否满足需求，不满足，先进行扩展，再执行实际修改，避免了缓冲区溢出问题)。

　　3、 减少修改字符串长度时所需的内存重分配次数(C字符串长度变化时每次需要重新分配内存;SDS通过空间预分配和惰性空间释放两种策略，减少了内存重新分配的次数)。

　　4、 二进制安全(SDS不像C字符串局限于保持文本数据，也可以保持二进制数据，是二进制安全的)。

　　5、 兼容部分 C 字符串函数(SDS 可以直接重用一部分 C 字符串函数库里面的函数)。

      小结：相信大家阅读完毕收获不小吧？其实大家私下还得多多自学，才能学习到更多的知识！当然如果还有什么不懂的地方或者想了解相关方面的更多详细内容的话，尽在课课家教育平台~