mszc
mszc
3月前 · 13 人阅读

场景描述

  • 从全文检索或者缓存中获取ID,根据ID查询数据库获取基础信息,进行页面展示

  • SQL:select * from table where id in(id1,id2,id3...id40)

  • 此种场景的常规方案是将id对应的基础信息在redis中缓存一份,mysql只是做为后端存储。我们做如下测试就是尝试mysql是否可应对这种查询场景。然而根本原因是DBA告诉我,现在MySQL性能已经极其厉害。

数据量说明

  • 1.8亿条数据
  • 使用Oneproxy分为200个数据表(200个表在同一台机器)
  • 因为id是随机的,查询时oneproxy会将查询分散到所有后端MySql

性能指标

MySql服务器

mysql的具体配置不在这里列举,即下面的性能报告只是特定场景下的性能分析,不代表mysql的“真实”性能。本文核心是提供一种测试方法,而不是单纯的提供一份数据报告 。

测试程序简介

  • 基础:php、swoole协程
  • 使用协程控制程序的并发数,每个协程中执行一次查询。当一次查询完成,管道通知开始新的查询。

程序代码

mysql_test.php

<?php
ini_set('memory_limit', '1280M'); //协程会耗费较多的内存

define('MAX_MYSQLPOOL_NUM', $argv['1']); //mysql最大连接数,即并发数
define('TESTCOUNT', $argv['2']);  //一共的测试次数

$mysqlconf = [
    'host' => '127.0.0.1',
    'port' => 3307,
    'user' => 'root',
    'password' => '123456',
    'database' => '',
    'timeout' => 10
];

SwooleCoroutine::create(function () use ($mysqlconf) {
    $stime = microtime(true); //程序开始时间

    $pool = new MysqlPool($mysqlconf); 
    $chan = new chan(MAX_MYSQLPOOL_NUM); //并发数,协程间使用channel通信

    for($i = 1; $i< TESTCOUNT + MAX_MYSQLPOOL_NUM; $i++) {
        $chan->push('x');
        SwooleCoroutine::create(function() use($pool, $chan, $i) {
            //测试的业务逻辑开始
            $conn = $pool->get();
            if($conn) {
                $sql = "select /* parallel */ * from table where id in (".implode(',', getRandpid()).')';
                $time1 = microtime(true);
                $conn->query($sql);
                $time2 = microtime(true);

                if($i % intval(TESTCOUNT / 10) == 0) { //输出执行的进度
                    echo "
 finish $i / ".TESTCOUNT; 
                }
                $pool->put($conn, (($time2 - $time1) * 1000)); //每次查询耗时就不单独做实例,直接修改连接池类做简单统计
            } else {
                echo "
 connect mysql fail,跳过SQL";
            }
            //业务逻辑结束
            $chan->pop();
        });
    }
    $etime = microtime(true);
    echo "
 ============执行结果=============";
    echo "
 并发数量: ".MAX_MYSQLPOOL_NUM;
    echo "
 查询次数: ".TESTCOUNT;
    echo "
 执行总耗时: ".intval($etime - $stime)."秒
";
    
    echo "
 QPS (查询次数/总耗时) :". intval((TESTCOUNT / ($etime - $stime)));
    echo "
 每次查询耗时平均值:".intval($pool->alltime / TESTCOUNT) ."ms";
    echo "
 ============end=============
";
    die;
});


//数据库连接池,https://wiki.swoole.com/wiki/page/852.html
class MysqlPool
{
    protected $pool;
    private $mysqlconf;
    public $alltime;

    public function __construct($mysqlconf)
    {
        $this->pool = new SplQueue();
        $this->mysqlconf = $mysqlconf;
        $this->alltime = 0;
    }

    public function put($mysql, $time = 0)
    {
        $this->pool->push($mysql);
        $this->alltime += $time;
    }

    public function get()
    {
        //有空闲连接
        if (count($this->pool) > 0) {
            return $this->pool->pop();
        }
        
        $mysql = new SwooleCoroutineMysql();
        $res = $mysql->connect($this->mysqlconf);
        if ($res == false) {
            echo "
 connect error info: ".$mysql->error."
";
            return false;
        } else {
            return $mysql;
        }
    }
}

//随机生成的数字
function getRandpid()
{
    for ($i = 0; $i < 40; ++$i) {
        $ret[] = rand(1, 185724600);
    }
    return $ret;
}

测试1:直接连接mysql,查询单表的性能

  • 结果分析:
    根据主键查询单表,mysql的性能基本可以满足正常业务的需求

测试2

  • 说明
    查询oneproxy。因为查询id是随机的,每查一次oneproxy,对应查询的是40个mysql的表。
    即,当oneproxy的并发数为1,mysql的对应并发数是40

  • 测试代码:
    以上提供的代码即为此种情况的代码,无须修改。

  • 测试指令:

    php mysql_test.php 1 1000 //并发为1,查询1000次
    php mysql_test.php 10 1000 //并发为10,查询1000次
    php mysql_test.php 50 10000 //并发为50,查询10000次
    ...
    php mysql_test.php 100 10000 //并发为100,查询10000次
    
  • 测试结果:


  • 结果分析:

    • 1:OneProxy做为mysql的代理,对查询性能基本0消耗。
      当oneproxy的查询并发为5时,对应mysql的查询并发为200。测试2的结果,并发为5,每次查询耗时30ms。测试1,mysql并发200,每次查询耗时29ms。可得到结论,oneproxy对性能0消耗。
    • 2:每次查询耗时太高,很小流量的业务才能使用此方案。

测试3:后端mysql表分散到多台机器

最后,关注性能的同时,也要关注系统的稳定性、开发者的易用性、易维护性。

收藏 0
mysql 查询 并发 php pool echo
评论 ( 0 )