109-特定场景深度分页SQL优化技巧

〇〇

https://mp.weixin.qq.com/s/wzFtEEIc3qff9RlMxGgJNA

〇〇

在duckdb中造了一些数据
create or replace table t10m
as
with t1 as (select (random()*50)::int16 as owner from range(10000))
select
row_number()over()::int as id,a.*
from t1 a,range(1000) b
;


select owner,count(*) from t10m group by  owner order by 2;

select id,owner
from t10m
where owner=10
order by id desc
offset 100 rows fetch next 10 rows only;

select count(*) from t10m where owner >=10;



select id,owner
from t10m
where owner>=10
order by id desc
offset 6000000 rows fetch next 10 rows only;

〇〇

看了原文思路就是把每个owner的数据按id预先算出序号和页号

〇〇

对于包含多个owner的条件查询就不好用了

sql_tigerliu

〇〇 发表于 2023-9-3 17:56
对于包含多个owner的条件查询就不好用了

这种东西不可能是通用的 ， 你的这个场景可以拆分成union all。 文章的场景用来优化本论坛可行否？

〇〇

那要在mysql 中测试，忘了5.7支持分析函数没

〇〇

还有一种场景是任意条件查询，比如末尾是A的owner,union  也不行

〇〇

还有经常要对查询结果集任意条件排序再翻页

newkid

我和老刘在微信讨论了一点技术上的细节，这里想讨论一下这种需求到底是否存在？
如果有个用户说，我想看第六百万页的数据，其实他的意思是，我想看一下靠后一点的，随便第几页都行。
所以，实际上只需要这几个导航按钮：首页，末页，下一页，上一页。中间再放十来个页码让用户挑选。不允许跳跃到指定页码。

newkid

如图