webdevqa.jp.net

低いライクvs iLIKE

次の2つのクエリコンポーネントのパフォーマンスはどのように比較されますか?

低め

... LOWER(description) LIKE '%abcde%' ...

iLIKE

... description iLIKE '%abcde%' ...
29
user664833

答えは、Postgresのバージョン、エンコード、ロケールなどの多くの要因に依存します- LC_COLLATE 特に。

裸の式lower(description) LIKE '%abc%'は通常、description ILIKE '%abc%'よりも少し高速で、どちらかは同等の正規表現description ~* 'abc'よりも少し高速です。これは、テスト対象のすべての行に対して式を評価する必要がある順次スキャンの場合に重要です。

Butあなたが答えで示すような大きなテーブルでは、確かにインデックスを使用します。任意のパターン(左アンカーだけでなく)の場合、追加モジュール pg_trgm を使用してtrigramインデックスを提案します。次に、秒ではなくミリ秒について話します。上記の式の違いは無効になります。

GINインデックスとGistインデックス(gin_trgm_opsまたはGist_trgm_ops演算子クラスを使用)は、LIKE~~)、ILIKE~~*)、~~*(およびその他のバリアント)を同様にサポートします。 descriptionにトライグラムGINインデックス(通常はGistよりも大きいが、読み取りは高速)を使用すると、クエリはdescription ILIKE 'case_insensitive_pattern'を使用します。

関連:

Postgresでのパターンマッチングの基本:

上記のトリグラムインデックスを使用する場合、通常を使用する方がより実用的です。

description ILIKE '%abc%'

または、大文字と小文字を区別しない正規表現演算子(%ワイルドカードなし)を使用します。

description ~* 'abc'

(description)のインデックスは、次のようなlower(description)のクエリをサポートしていません。

lower(description) LIKE '%abc%'

およびその逆。

lower(description)exclusivelyの述部では、式のインデックスがわずかに優れたオプションです。

他のすべての場合、(description)のインデックスは、both大文字と小文字を区別する、および-insensitiveの述語をサポートするため、推奨されます。

20

私のテストによると(ten各クエリの)、LOWERLIKEは約17%iLIKEよりも高速です。

説明

ランダムな混合テキストデータを含む100万行を作成しました。

require 'securerandom'
inserts = []
1000000.times do |i|
        inserts << "(1, 'fake', '#{SecureRandom.urlsafe_base64(64)}')"
end
sql = "insert into books (user_id, title, description) values #{inserts.join(', ')}"
ActiveRecord::Base.connection.execute(sql)

行数を確認します。

my_test_db=# select count(id) from books ;
  count  
---------
 1000009

(はい、私は他のテストから9つの余分な行を持っています-問題ではありません。)

クエリと結果の例:

my_test_db=# SELECT "books".* FROM "books" WHERE "books"."published" = 'f'
my_test_db=# and (LOWER(description) LIKE '%abcde%') ;
   id    | user_id | title |                                      description                                       | published 
---------+---------+-------+----------------------------------------------------------------------------------------+------
 1232322 |       1 | fake  | 5WRGr7oCKABcdehqPKsUqV8ji61rsNGS1TX6pW5LJKrspOI_ttLNbaSyRz1BwTGQxp3OaxW7Xl6fzVpCu9y3fA | f
 1487103 |       1 | fake  | J6q0VkZ8-UlxIMZ_MFU_wsz_8MP3ZBQvkUo8-2INiDIp7yCZYoXqRyp1Lg7JyOwfsIVdpPIKNt1uLeaBCdelPQ | f
 1817819 |       1 | fake  | YubxlSkJOvmQo1hkk5pA1q2mMK6T7cOdcU3ADUKZO8s3otEAbCdEcmm72IOxiBdaXSrw20Nq2Lb383lq230wYg | f

LOWER LIKEの結果

my_test_db=# EXPLAIN ANALYZE SELECT "books".* FROM "books" WHERE "books"."published" = 'f' and (LOWER(description) LIKE '%abcde%') ;
                                                   QUERY PLAN                                                   
----------------------------------------------------------------------------------------------------------------
 Seq Scan on books  (cost=0.00..32420.14 rows=1600 width=117) (actual time=938.627..4114.038 rows=3 loops=1)
   Filter: ((NOT published) AND (lower(description) ~~ '%abcde%'::text))
   Rows Removed by Filter: 1000006
 Total runtime: 4114.098 ms

iLIKEの結果

my_test_db=# EXPLAIN ANALYZE SELECT "books".* FROM "books" WHERE "books"."published" = 'f' and (description iLIKE '%abcde%') ;
                                                   QUERY PLAN                                                   
----------------------------------------------------------------------------------------------------------------
 Seq Scan on books  (cost=0.00..29920.11 rows=100 width=117) (actual time=1147.612..4986.771 rows=3 loops=1)
   Filter: ((NOT published) AND (description ~~* '%abcde%'::text))
   Rows Removed by Filter: 1000006
 Total runtime: 4986.831 ms

データベース情報の開示

Postgresバージョン:

my_test_db=# select version();
                                                                                 version
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 PostgreSQL 9.2.4 on x86_64-Apple-darwin12.4.0, compiled by i686-Apple-darwin11-llvm-gcc-4.2 (GCC) 4.2.1 (Based on Apple Inc. build 5658) (LLVM build 2336.11.00), 64-bit

照合設定:

my_test_db=# select datcollate from pg_database where datname = 'my_test_db';
 datcollate  
-------------
 en_CA.UTF-8

テーブル定義:

my_test_db=# \d books 
                                      Table "public.books"
   Column    |            Type             |                       Modifiers
-------------+-----------------------------+-------------------------------------------------------
 id          | integer                     | not null default nextval('books_id_seq'::regclass)
 user_id     | integer                     | not null
 title       | character varying(255)      | not null
 description | text                        | not null default ''::text
 published   | boolean                     | not null default false
Indexes:
    "books_pkey" PRIMARY KEY, btree (id)
25
user664833

Rails Project。ILIKELOWER LIKEのほぼ10倍高速です]で、entities.name列にGINインデックスを追加します

> Entity.where("LOWER(name) LIKE ?", name.strip.downcase).limit(1).first
Entity Load (2443.9ms)  SELECT  "entities".* FROM "entities" WHERE (lower(name) like 'baidu') ORDER BY "entities"."id" ASC LIMIT $1  [["LIMIT", 1]]
> Entity.where("name ILIKE ?", name.strip).limit(1).first
Entity Load (285.0ms)  SELECT  "entities".* FROM "entities" WHERE (name ilike 'Baidu') ORDER BY "entities"."id" ASC LIMIT $1  [["LIMIT", 1]]
# explain analyze SELECT  "entities".* FROM "entities" WHERE (name ilike 'Baidu') ORDER BY "entities"."id" ASC LIMIT 1;
                                                                   QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------
 Limit  (cost=3186.03..3186.04 rows=1 width=1588) (actual time=7.812..7.812 rows=1 loops=1)
   ->  Sort  (cost=3186.03..3187.07 rows=414 width=1588) (actual time=7.811..7.811 rows=1 loops=1)
         Sort Key: id
         Sort Method: quicksort  Memory: 26kB
         ->  Bitmap Heap Scan on entities  (cost=1543.21..3183.96 rows=414 width=1588) (actual time=7.797..7.805 rows=1 loops=1)
               Recheck Cond: ((name)::text ~~* 'Baidu'::text)
               Rows Removed by Index Recheck: 6
               Heap Blocks: exact=7
               ->  Bitmap Index Scan on index_entities_on_name  (cost=0.00..1543.11 rows=414 width=0) (actual time=7.787..7.787 rows=7 loops=1)
                     Index Cond: ((name)::text ~~* 'Baidu'::text)
 Planning Time: 6.375 ms
 Execution Time: 7.874 ms
(12 rows)

GINインデックスは、ILIKEのパフォーマンスを向上させるのに非常に役立ちます

0
lfx_cool