批量进行Mysql数据处理的一项工作记录以及保存一个nginx变量大全
一、批量进行Mysql数据处理的一项工作记录
在使用SQL执行一起数据批量处理的时候遇到执行数速度非常慢。表temp_users是一个包含百万级的用户ID表，表user_list是一个亿级的表，因为跨库，这里使用的是federated引擎创建的结构表。根据要实现的目标，理论上要执行的SQL应该如下：
update temp_users tu, user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss is null and tu.uidss=ul.uid;但因为数据量太大，在直接执行这个SQL的时候发现半天没有响应，基本属于走不通的理论可行的逻辑（当然或许也和我本机性能较差）。当前情况下，只能着手进行优化处理。
【1.分步先批量取出uid批量修改数据】
查询百万级表，一次取出几百条的用户ID,使用in查询从亿级表中取出要拿到的字段数据，然后组装成几百个SQL一次性扔给数据库执行修改，首先是这个方法是可行的，但速度大概在1秒10条左右，还是比较慢，全量修改完毕需要约3天时间。
【2.直接对uid分批执行SQL】
在1方法太慢之后，我想了想其它的办法，其中之一就是将uid在SQL中进行分批以减少一次影响的数量。总共百万级，又涉及到跨库查询，在尝试按末尾一位、二位、三位后，发现三位执行时间还可以，且不易超时。如下：
update tv_users tu,user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where SUBSTR(uidss,-3) = '100' and tu.passwordss is null and tu.uidss=ul.uid;
#受影响的行: 1521
#时间: 16.357s此方法确实可行。这样来看，一秒终大约能执行100条，是上面速度的10倍，应该在几个小时就能执行完毕。于是使用程序批量生成1000条SQL语句放在navicat查询下执行，
【3.使用存储函数替代批量执行】
在2的方法凑效之后，可以考虑使用存储函数，就不需要再用程序批量生成一大堆的SQL，粘贴执行，使用存储函数更显得对MYSQL的熟练运用吧。存储函数如下：
delimiter //
drop procedure if exists doupdate;
create procedure doupdate()
begin
declare i int;
#小于100的加前补0的逻辑
set i = 100;
repeat
update tv_users tu,user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss is null and SUBSTR(uidss,-3) = i and tu.uidss=ul.uid;
set i = i + 1;
until i > 999
end repeat;
end //
#调用函数
call doupdate()【4.发现问题速度变慢】
上面2，3都是可以使用的方法，且我在开始执行的时候也确实可行，速度也正常，但是在执行到后期发现速度越来越慢：
[SQL] update tv_users tu,user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss is null and SUBSTR(uidss,-3) = '302' and tu.uidss=ul.uid; #受影响的行: 1514 #时间: 49.051s [SQL]update tv_users tu,user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss is null and SUBSTR(uidss,-3) = '989' and tu.uidss=ul.uid; #受影响的行: 1524 #时间: 162.145s [SQL]update tv_users tu,user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss is null and SUBSTR(uidss,-3) = '990' and tu.uidss=ul.uid; #受影响的行: 1510 #时间: 249.241s [SQL]update tv_users tu,user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss is null and SUBSTR(uidss,-3) = '991' and tu.uidss=ul.uid; #受影响的行: 1569 #时间: 331.324s
在该表中，目前只有uidss有索引，但使用substr进行处理查询就没法用上uidss的主索引了（此处我进行了测试，其中还发现查询select count(*)的时候能用上这个主索引，但是查询具体字段的时候用不上）。我到是知道mysql里BTREE索引中到是有一个前缀索引，但是我这里的查询是需要对后缀进行索引才有用。当然我也可以脑洞大开想一下再加一列，这列数据刚好和uidss字段内容是反着等，从而加上索引，不过我暂时还不想去试验这个方法。
为什么会越来越慢呢？从索引来看，此查询用不上什么索引，或者说我未建相关索引；从数据变化来看，执行到越后面，passwordss字段为null的行越来越少。其它的变化我看不出来，是不是可以推测导致查询变慢的原因是因为null字段的问题，即一开始都是大量的null的时候还好查，后面null行越为越少时查询越来越慢。NULL 并不是空值，而是要占用空间，所以mysql在进行比较的时候，NULL 会参与字段比较，所以对效率有一部分影响。在B树索引中不会存储NULL值，所以如果索引的字段可以为NULL，索引的效率会下降很多。当然我这里尚未对passwordss字段加索引，但鉴于此，于是我考虑将这个passwordss字段的null值全部替换成空然后对此字段加索引进行尝试。操作后进行查询效率如下：
[SQL]update tv_users tu force index (passwordss),user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss ='' and SUBSTR(uidss,-3) = '001' and tu.uidss=ul.uid ; #受影响的行: 0 #时间: 36.331s [SQL]update tv_users tu force index (passwordss),user_list ul set tu.passwordss=ul.passwd, tu.mobiless=ul.mobile where tu.passwordss ='' and SUBSTR(uidss,-3) = '040' and tu.uidss=ul.uid ; #受影响的行: 1589 #时间: 134.757s
【5.其它可考虑的方法】
上面虽然有所改善，但也只能说是有一点点吧，甚至也可以说没有什么改善。然后又有了一些想法，
#创建视图，利用视图修改
create view nopassdata as SELECT uid,passwd,mobile from user_list where uid in (select uidss from tv_users where passwordss = SUBSTR(uidss,-3) = '999');
update tv_users left join nopassdata on uid=uidss set passwordss=passwd, mobiless=mobile where passwordss='' and SUBSTR(uidss,-3) = '104';
#会有报错：[Err] 1443 - The definition of table 'nopassdata' prevents operation UPDATE on table 'tv_users'.
#创建临时表，连接临时表进行操作
create temporary table nopasstable SELECT uid,passwd,mobile from user_list where uid in (select uidss from tv_users where passwordss = '');
#整合成一个SQL：
update tv_users left join (
SELECT uid,passwd,mobile from user_list where uid in (select uidss from tv_users where passwordss = '' limit 10);
) as nopass on uid = uidss set passwordss=passwd, mobiless=mobile where passwordss='';
#提示报错[Err] 1235 - This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery' MySQL子查询不支持 limit
#于是再加一层嵌套
update tv_users left join (
SELECT uid,passwd,mobile from user_list where uid in (select uidss from (select uidss from tv_users where passwordss = '' limit 10) as tea )
) as nopass on uid = uidss set passwordss=passwd, mobiless=mobile where passwordss='';写到这里，我里通过方法2已经完成了90%的数据更新了，不过所使用的方法我相信不是最优的方法，做个记录吧。
二、保存一个nginx变量大全
$arg_PARAMETER 如果在请求中设置了查询字符串，那么这个变量包含在查询字符串是GET请求PARAMETER中的值。
$args 该变量的值是GET请求在请求行中的参数。
$binary_remote_addr 二进制格式的客户端地址
$body_bytes_sent 响应体的大小，即使发生了中断或者是放弃，也是一样的准确。
$content_length 该变量的值等于请求头中的Content-length字段的值
$cookie_COOKIE 该变量的值是cookie COOKIE的值
$document_root 该变量的值为当前请求的location（http，server，location，location中的if）中root指令中指定的值。
$document_uri 同$uri
$host 该变量的值等于请求头中Host的值。如果Host无效时，那么就是处理该请求的server的名称。
在下列情况中，$host变量的取值不同于$http_host变量。
当请求头中的Host字段未指定（使用默认值）或者为空值，那么$host等于server_name指令指定的值。
当Host字段包含端口是，$host并不包含端口号。另外，从0.8.17之后的nginx中，$host的值总是小写。
$hostname 有gethostname返回值设置机器名。
$http_HEADER 该变量的值为HTTP 请求头HEADER，具体使用时会转换为小写，并且将“——”（破折号）转换为"_"(下划线)。
$is_args 如果设置了$args，那么值为“？”，否则为“”
$limit_rate 该变量允许限制连接速率。
$nginx_version 当前运行的nginx的版本号
$query_string 同$args
$remote_addr 客户端的IP地址
$remote_user 该变量等于用户的名字，基本身份验证模块使用。
$remote_port 客户端连接端口
$request_filename 该变量等于当前请求文件的路径，有指令root或者alias和URI构成。
$request_body 该变量包含了请求体的主要信息。该变量与proxy_pass或者fastcgi_pass相关。
$request_body_file 客户端请求体的临时文件。
$request_completion 如果请求成功完成，那么显示“OK”。如果请求没有完成或者请求不是该请求系列的最后一部分，那么它的值为空。
$request_method 该变量的值通常是GET或者POST。
$request_uri 该变量的值等于原始的URI请求，就是说从客户端收到的参数包括了原始请求的URI，该值是不可以被修改的，不包含主机名，例如“/foo/bar.php?arg=baz”。
$scheme 该变量表示HTTP scheme（例如HTTP，HTTPS），根据实际使用情况来决定，
例如：rewrite ^ $scheme://example.com$uri redirect;
$server_addr 该变量的值等于服务器的地址。通常来说，在完成一次系统调用之后就会获取变量的值，为了避开系统钓鱼，那么必须在listen指令中使用bind参数。
$server_name 该变量为server的名字。
$server_port 该变量等于接收请求的端口。
$server_protocol 该变量的值为请求协议的值，通常是HTTP/1.0或者HTTP/1.1
$uri 该变量的值等于当前请求中的URI（没有参数，不包括$args）的值。它的值不同于request_uri，由浏览器客户端发送的request_uri的值。
例如，可能会被内部重定向或者使用index。
另外需要注意：$uri不包含主机名，例如 "/foo/bar.html"
当前URL= $scheme://$server_name/$url
