golang - go-sql-driver/mysql for rows.Next()的性能问题
本文介绍了golang - go-sql-driver/mysql for rows.Next()的性能问题的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
1.当查询出来的记录过万时,遍历Rows的时间过长,达到1分钟甚至更多
程序代码:
rows, err := p.conn.Query(sqlStr, params...)
if err != nil {
log.Println("mysql query error", err.Error())
return nil, err
}
log.Println("conn结束:", goutil.GetCurrentTime())
//延时关闭Rows
defer rows.Close()
//获取记录列
if columns, err := rows.Columns(); err != nil {
return nil, err
} else {
//拼接记录Map
values := make([]sql.RawBytes, len(columns))
scans := make([]interface{}, len(columns))
for i := range values {
scans[i] = &values[i]
}
//此处遍历在3W记录的时候,长达1分钟甚至更多
for rows.Next() {
_ = rows.Scan(scans...)
each := map[string]interface{}{}
for i, col := range values {
each[columns[i]] = string(col)
}
rowMaps = append(rowMaps, each)
}
return rowMaps, nil
}
解决方案
可以用创建多个goroutine 分段查询数据。使用channl在线程中拿去查询结构进行迭代。
这篇关于golang - go-sql-driver/mysql for rows.Next()的性能问题的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文