MySQL: 诡异的MySQL server has gone away及其解决

在Mysql执行show status，通常更关注缓存效果、进程数等，往往忽略了两个值：

通常只占query的0.0x%，所以并不为人所重视。而且在传统Web应用上，query错误对用户而言影响并不大，只是重新刷新一下页面就OK了。最近的基础改造中，把很多应用作为service运行，无法提示用户重新刷新，这种情况下，可能就会影响到服务的品质。

通过程序脚本的日志跟踪，主要报错信息为“MySQL server has gone away”。官方的解释是：

The most common reason for the MySQL server has gone away error is that the server timed out and closed the connection.

Some other common reasons for the MySQL server has gone away error are:

据此分析，可能原因有3：

1，Mysql服务端与客户端版本不匹配。

2，Mysql服务端配置有缺陷或者优化不足

3，需要改进程序脚本

通过更换多个服务端与客户端版本，发现只能部分减少报错，并不能完全解决。排除1。

对服务端进行了彻底的优化，也未能达到理想效果。在timeout的取值设置上，从经验值的10，到PHP默认的60，进行了多次尝试。而Mysql官方默认值(8小时)明显是不可能的。从而对2也进行了排除。(更多优化的经验分享，将在以后整理提供)

针对3对程序代码进行分析，发现程序中大量应用了类似如下的代码(为便于理解，用原始api描述)：

$conn=mysql_connect( ... ... );

... ... ... ...

if(!$conn){ //reconnect

$conn=mysql_connect( ... ... );

}

mysql_query($sql, $conn);

这段代码的含义，与Mysql官方建议的方法思路相符[ If you have a script, you just have to issue the query again for the client to do an automatic reconnection. ]。在实际分析中发现，if(!$conn)并不是可靠的，程序通过了if(!$conn)的检验后，仍然会返回上述错误。

对程序进行了改写：

if(!conn){ // connect ...}

elseif(!mysql_ping($conn)){ // reconnect ... }

mysql_query($sql, $conn);

经实际观测，MySQL server has gone away的报错基本解决。

BTW： 附带一个关于 reconnect 的疑问，

在php4x+client3x+mysql4x的旧环境下，reconnet的代码：

$conn=mysql_connect(...) 可以正常工作。

但是，在php5x+client4x+mysql4x的新环境下，$conn=mysql_connect(...)返回的$conn有部分情况下不可用。需要书写为：

mysql_close($conn);

$conn=mysql_connect(...);

返回的$conn才可以正常使用。原因未明。未做深入研究，也未见相关讨论。或许mysql官方的BUG汇报中会有吧。

～～呵呵～～

欢迎转贴，请注明来处。【本帖地址】: http://www.jimmydong.com/blog/post/1/123

MySQL: 4.X 版本数据库向 5.15 以上迁移

会有两个问题：

1，表结构变化

2，权限表及辅助表变化

解决问题1，官方的建议是全部导出，然后在新的库里面导入。

实际操作中，旧表直接搬迁后是可以继续使用的，只是效率和一些新功能可能会受到影响。保持线上服务的同时，运行mysql_repaire，或者是在phpmyadmnin里面修复一下，就可以了。

注意：要先进行备份。升级后的表，如果需要退回到mysql4x版本，是不能够使用的。

解决问题2，如果不升级也是可以继续使用的，但是在日志中会看到：

070315 13:36:35 [ERROR] mysql.user has no `Event_priv` column at position 29
070315 13:36:35 [ERROR] SCHEDULER: The system tables are damaged. The scheduler subsystem will be unusable during this run.

同时会导致 SHOW VARIABLES; 命令不可用，无法查看系统变量情况。

官方的解决方案是： mysql/bin/mysql_fix_privilege_tables，但实际操作中发现并不能解决(Beta版的bug?)。手工处理会稍微复杂一些，因为表结构变化，直接导出、导入是不行的。

A，导出user表内容到user.sql

B，用scripts/mysql_install_db生成新结构的表，覆盖旧表。

C，修改user.sql，删除create段，修改INSERT段，将SQL语句补全为：

INSERT INTO `user` (`Host`,`User`,`Password`,`Select_priv`,`Inser ... ...) VALUES (.. ... ...)

D，删除user表内容，将user.sql导入。

E，重启数据库。

Done。

～～呵呵～～


欢迎转贴，请注明来处。【本帖地址】: http://www.jimmydong.com/blog/post/1/122

MySQL: Linux机上运行多个版本的MySQL

在同一台服务器上部署多个MySQL服务，可以有效提高机器利用率。而且，将不同内容分属不同服务上，也相对更安全些。

MySQL提供了mysqld_multi，但实际应用中没有人用它。弊端：

1，暂停、重启，会导致所有服务都停下来。

2，配置文件冗长，拆分、迁移时麻烦。

业内比较常用的方法是，将数据库数据文件和配置文件，以及开启关闭脚本，共同放在一个目录下。启动服务时，作为一个单独的服务；关闭时对其他服务没有影响。搬迁时，只要将这个目录迁移到目标机器上就OK了。

一个典型的例子：

10.10.82.83 [server2]$ cat start.sh
#!/bin/sh
rundir="/opt/server2";
echo $rundir;
/usr/local/mysql/bin/mysqld_safe --defaults-file="$rundir"/my.cnf --pid-file="$rundir"/mysql.pid --datadir="$rundir"/var --socket="$rundir"/mysql.sock --log-error="$rundir"/err.log --log-slow-queries="$rundir"/slow_query.log&

上例中使用的MySQL是按照官方建议安装在/usr/local/mysql下的。

有时候需要在同一台服务器上使用多个不同版本，比如，测试新版本等。按照以上逻辑，将新MySQLD安装在 /usr/local/mysql-new下，修改 start.sh 为 /usr/local/mysql-new/bin/mysqld_safe。数据库可以正常启动，但是，观察发现并不是新版本。原因何在？

官方的解释是：需要下载源代码版本，编译时指定运行目录。其实并非必须如此。

研究mysqld_safe文件，发现其逻辑为：

A，从命令行取配置参数

B，从配置文件取配置参数

C，对于mysqld的目录（basedir）和数据文件目录（datadir），如果以上都没有在配置中指定，则先检查当前目录是否可用，否则设置/usr/local/mysql为默认。

所以，虽然使用的是mysql-new下的mysqld_safe，但运行的还是/usr/local/mysql/bin/mysqld，也就是旧版本。需要相应修改启动脚本，或者是配置文件：

#!/bin/sh
rundir="/opt/server0";
echo $rundir;
/usr/local/mysql-new/bin/mysqld_safe --defaults-file="$rundir"/my.cnf --ledir=/usr/local/mysql-new/bin --basedir=/usr/local/mysql-new --pid-file="$rundir"/mysql.pid --datadir="$rundir"/var --socket="$rundir"/mysql.sock --log-error="$rundir"/err.log --log-slow-queries="$rundir"/slow_query.log&

这样就可以在同一台机器上同时运行多个版本的Mysql了。

～～呵呵～～

欢迎转贴，请注明来处。【本帖地址】: http://www.jimmydong.com/blog/post/1/121

MySQL: time_format格式

TIME_FORMAT(time,format)

eg： time_format(the_time, '%Y-%m-%d %T')

～～呵呵～～


欢迎转贴，请注明来处。【本帖地址】: http://www.jimmydong.com/blog/post/1/120

转： apache2 MPM的选择与配置

　谈到Apache，大多数系统管理员对其稳定版1.3印象颇深。虽然Apache 2.0的系列开发版早已由Alpha、Beta发展到现在的GA（General Availability）版，但是一些人潜意识里还认为开发版并非可用于生产环境的稳定版本。尤其是1.3版的API与2.0版不兼容，使得大量模块必须要重写才能在2.0版上使用。Apache 1.3和2.0之间的内部变化的确较大，用Apache创始人Brian Behlendorf自己的话来说：“这个版本包括了数百个新的特性，所以这个产品应该具有3.1或8i这样的产品编号，而不是2.0。”Apache 2.0中加入了很多的核心改进和新功能，如Unix线程、多协议支持、新的构建系统、对非Unix平台的更佳支持、IPv6支持、新的Apache API、过滤器、多语言错误响应、原生的Windows NT Unicode支持、更简单化的配置，以及升级的正则表达式库等。它当然还包括对许多模块的重要改进，同时也加入了一些新的模块。

$ ./configure --help|grep mpm

--with-mpm=MPM
Choose the process model for Apache to use.
MPM={beos|worker|prefork|mpmt_os2| perchild|leader|threadpool}

StartServers          5
MinSpareServers      5
MaxSpareServers     10
MaxClients         150
MaxRequestsPerChild  0

StartServers         10
MinSpareServers      10
MaxSpareServers     15
ServerLimit       2000
MaxClients         1000
MaxRequestsPerChild  10000

#define DEFAULT_SERVER_LIMIT 256
#define MAX_SERVER_LIMIT 20000

StartServers         2
MaxClients         150
MinSpareThreads     25
MaxSpareThreads     75
ThreadsPerChild     25
MaxRequestsPerChild  0

#define DEFAULT_THREAD_LIMIT 64
#define MAX_THREAD_LIMIT 20000

#define DEFAULT_SERVER_LIMIT 16
#define MAX_SERVER_LIMIT 20000

StartServers         3
MaxClients         2000
ServerLimit        25
MinSpareThreads     50
MaxSpareThreads     200
ThreadLimit        200
ThreadsPerChild     100
MaxRequestsPerChild  0

MySQL5的分区研究

MySQL5.1提供的分区技术，令人对其充满希望。

根据官方文档，分区技术能够极大的帮助DBA人员。支持的分区模式包括：

Range

List

Hash

Key

----

安装配置记录：

wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.16-beta-linux-i686-icc-glibc23.tar.gz/from/http://mysql.cdpa.nsysu.edu.tw/

tar -xzvf mysql-5.1.16-beta-linux-i686-icc-glibc23.tar.gz

mv mysql-5.1.16-beta-linux-i686-icc-glibc23 /usr/local/mysql-5.1

修改启动脚本，启动

检查当前版本是否支持分区：

SHOW VARIABLES LIKE '%partition%';

测试带分区的表：(From 手册)

CREATE TABLE tr (id INT, name VARCHAR(50), purchased DATE)
PARTITION BY RANGE(YEAR(purchased))
(
PARTITION p0 VALUES LESS THAN (1990),
PARTITION p1 VALUES LESS THAN (1995),
PARTITION p2 VALUES LESS THAN (2000),
PARTITION p3 VALUES LESS THAN (2005)
);


INSERT INTO tr VALUES
(1, 'desk organiser', '2003-10-15'),
(2, 'CD player', '1993-11-05'),
(3, 'TV set', '1996-03-10'),
(4, 'bookcase', '1982-01-10'),
(5, 'exercise bike', '2004-05-09'),
(6, 'sofa', '1987-06-05'),
(7, 'popcorn maker', '2001-11-22'),
(8, 'aquarium', '1992-08-04'),
(9, 'study desk', '1984-09-16'),
(10, 'lava lamp', '1998-12-25');

从服务器上可以看到文件结构为：

10.10.82.83 [testuser]$ l
total 404M
-rw-rw---- 1 mysql mysql 8.5K 2007-03-14 15:26:29 tr.frm
-rw-rw---- 1 mysql mysql 32 2007-03-14 15:26:29 tr.par
-rw-rw---- 1 mysql mysql 68 2007-03-14 15:26:48 tr#P#p0.MYD
-rw-rw---- 1 mysql mysql 1.0K 2007-03-14 15:26:48 tr#P#p0.MYI
-rw-rw---- 1 mysql mysql 48 2007-03-14 15:26:48 tr#P#p1.MYD
-rw-rw---- 1 mysql mysql 1.0K 2007-03-14 15:26:48 tr#P#p1.MYI
-rw-rw---- 1 mysql mysql 44 2007-03-14 15:26:48 tr#P#p2.MYD
-rw-rw---- 1 mysql mysql 1.0K 2007-03-14 15:26:48 tr#P#p2.MYI
-rw-rw---- 1 mysql mysql 84 2007-03-14 15:26:48 tr#P#p3.MYD
-rw-rw---- 1 mysql mysql 1.0K 2007-03-14 15:26:48 tr#P#p3.MYI

说明创建分区成功。

测试分区管理，删除：

ALTER TABLE tr DROP PARTITION p2;

添加：

ALTER TABLE tr ADD PARTITION (PARTITION p2 VALUES LESS THAN (2000));

注意：

1，删除分区后，分区内的数据也不可恢复的删除了。

2，只有range和list分区可以进行无数据影响的添加操作。其他种类的分区，不要进行分区管理。或者是，先把数据全导出，改变分区结构后再导入。

3，作为分区依据的列值是可以修改的，修改后会转移到对应分区中。（这点很有意义哟～）

下面是实战：

CREATE TABLE `user` (
`id` int(11) not null auto_increment,
`cn` varchar(22) not null default '',
`nickname` varchar(32) not null default '',
`genderid` tinyint(1) unsigned default null,
`artnum` int(8) unsigned default '0',
`elitenum` int(8) unsigned default '0',
`commnum` int(11) not null default '0',
`delnum` int(8) unsigned default '0',
`loginnum` int(8) unsigned default '1',
`linetime` int(8) unsigned default '0',
`lastdate` datetime default null,
`power` int(10) not null default '0',
`score` int(8) default '0',
`inputdate` datetime default null,
`finallydate` datetime default null,
`ad3` tinyint(4) not null default '0',
primary key (`id`),
key `nickname` (`nickname`),
key `finallydate` (`finallydate`)
) ENGINE=MyISAM DEFAULT CHARSET=gb2312 AUTO_INCREMENT=4589157
PARTITION BY RANGE(id)
(
PARTITION p5 VALUES LESS THAN (5000000),
PARTITION p6 VALUES LESS THAN (6000000),
PARTITION p7 VALUES LESS THAN (7000000),
PARTITION p8 VALUES LESS THAN (8000000),
PARTITION p9 VALUES LESS THAN (9000000),
PARTITION p10 VALUES LESS THAN (10000000),
PARTITION p11 VALUES LESS THAN (11000000),
PARTITION p12 VALUES LESS THAN (12000000),
PARTITION p13 VALUES LESS THAN (13000000),
PARTITION p14 VALUES LESS THAN (14000000),
PARTITION p15 VALUES LESS THAN (15000000),
PARTITION p16 VALUES LESS THAN (16000000),
PARTITION p0 VALUES LESS THAN MAXVALUE
);

关入400万数据，性能对比：

（待补充）

方案二，使用Key进行划分

create table `user2` (
`cn` varchar(22) not null default '',
`nickname` varchar(32) not null default '',
`genderid` tinyint(1) unsigned default null,
`artnum` int(8) unsigned default '0',
`elitenum` int(8) unsigned default '0',
`commnum` int(11) not null default '0',
`delnum` int(8) unsigned default '0',
`loginnum` int(8) unsigned default '1',
`linetime` int(8) unsigned default '0',
`lastdate` datetime default null,
`power` int(10) not null default '0',
`score` int(8) default '0',
`inputdate` datetime default null,
`finallydate` datetime default null,
`ad3` tinyint(4) not null default '0',
primary key (`cn`),
key `nickname` (`nickname`),
key `finallydate` (`finallydate`)
) engine=myisam default charset=gb2312
partition by key(cn)
partitions 3;

增加分区数：ALTER TABLE user2 ADD PARTITION PARTITIONS 10;

减少分区数：ALTER TABLE user2 COALESCE PARTITION 6;

增加和减少分区时，数据并不丢失。

一个不很方便的地方在于，当划分分区时，有unique的列时可能会拒绝操作。

另外，关于性能方面。range,list划分会对提高性能有帮助，但是作用多大，还是跟具体应用有关的。可以肯定的是，不会比我们传统上用程序逻辑将数据分散到多个表的方法效率更高，只是更方便而已。对于hash,key的划分，需要消耗大量计算时间，如果设计不当，可能还会造成性能的下降。所以，这也是我没有立即写性能对比数据的原因。

以后在实际应用中，采用分区技术确实能够有效提高性能得到验证后，再回来补充性能部分的内容。

～～呵呵～～

欢迎转贴，请注明来处。【本帖地址】: http://www.jimmydong.com/blog/post/1/119

OpenVPN快速应用

本文要点：

如何快速搭建一个单Client-Server的VPN应用，适用Windows的客户端，Linux的服务器端。目的是能够快速连入机房环境，更有效的维护和管理服务系统。

对于如何用OpenVPN构架一个企业的通用VPN应用，本文并不适宜。

参考：

OpenVPN^TM Static Key Mini-HOWTO

首先，下载安装OpenVPN。

（假定： 当前服务器外网IP为 www.myserver.com ，内网IP为 192.168.0.3）

生成公共Key：

openvpn --genkey --secret openvpn_static.key

将Key放到C:下，然后复制一份到服务器/etc下。

服务器端编辑配置文件：

#vi /etc/openvpn.cfg

dev tun
ifconfig 10.8.0.1 10.8.0.2
secret /etc/openvpn_static.key
keepalive 10 60
ping-timer-rem
persist-tun
persist-key
user root
group root
daemon

启动服务：

/usr/local/sbin/openvpn /etc/openvpn.cfg

开启IP转发：

echo 1 > /proc/sys/net/ipv4/ip_forward

编辑客户端配置文件： c:openvpn.ovpn

remote www.myserver.com
/>dev tun
ifconfig 10.8.0.2 10.8.0.1
secret C:openvpn_static.key
keepalive 10 60
ping-timer-rem
persist-tun
persist-key
route 192.168.0.0 255.255.0.0

配置文件上点右键，选择“start openvpn on this config file”，即可连入服务器。

同时，可以访问到与服务器同一局网的机器。对于需要连入服务器环境管理多台机器是非常方便的。

~~呵呵~~

欢迎转贴，请注明来处。【本帖地址】: http://www.jimmydong.com/blog/post/1/117