OpenPNE 3

再現確認は済んでいませんが、この問題が存在するとすれば致命的です。優先度を引き上げて取り組みます。

バックポート先チケットにしか記述していなかった以下の情報をこちらにも転記します。

重複するコミュニティ名がなかった場合に実行されるコミュニティインポート用のSQLが誤っていた。

OpenPNE 2 からコミュニティを取得する SQL の WHERE 句の c_commu_category_id に指定される ID は、 OpenPNE 2 のコミュニティカテゴリ ID であるべきであるにも関わらず、 OpenPNE 3 のコミュニティカテゴリ ID を指定してしまっていた。

OpenPNE 2 のコミュニティカテゴリと OpenPNE 3 のコミュニティカテゴリはデータ構造が異なっており、 OpenPNE 2 では別テーブルであった中カテゴリも小カテゴリと同一のテーブルに格納される。そのため、小カテゴリの ID を OpenPNE 2 のものから意図的にずらしている。また、 OpenPNE 2 と OpenPNE 3 のどちらも、コミュニティは中カテゴリではなく小カテゴリに属するような実装になっている。

コンバータは小カテゴリに属するコミュニティ群のみを取得しにいこうとする。しかし、このときのコンバート対象とする小カテゴリIDの一覧は OpenPNE 3 のものであるので、 OpenPNE 2 では小カテゴリの ID だが OpenPNE 3 では中カテゴリの ID であるものはインポート対象にされていなかった。

既に OpenPNE 2 から OpenPNE 3.4 へのアップグレードを実施してしまい、コミュニティとカテゴリの紐付けが正しくおこなえていない SNS を修復するためのアップグレード手順も追加します。

既にコンバート済みのデータの修復を以下のようにすることを考えています。

  *  残してある OpenPNE 2 のコミュニティとカテゴリの状態から、誤ったコンバートをしていないかどうか推定する
  *  誤ったコンバートをしていた場合、*OpenPNE 2 由来のコミュニティとカテゴリについてのみ*、データの修復を試みる

更新履歴 0f226cf5d89eddc5fc609b54528041c2a4ff2780 で適用されました。

フィードバックします。

• アップグレード後の OpenPNE 3 で OpenPNE 2 からコンバートしたコミュニティを1つ以上削除した状態で、openpne:fix-wrong-categorized-community タスクを実行すると、community_config や community_member の無いコミュニティが作成され、作成されたコミュニティへのアクセスや管理画面のコミュニティ管理のページでエラーが発生します
  • community_config や community_member にコンバート時のデータが残っている場合のみコミュニティを作成するようにすればこの問題は回避できるのではないかと思いますが、community_member に関してはメンバー退会時のカスケード削除がなされている可能性があるため、メンバー0人になった場合に処理スキップしたり、管理者の引き継ぎなどの処理を追加で行う必要がありそうです
• アップグレード後にコミュニティカテゴリの紐付けが正しくないと運営者が気づいた場合、コミュニティカテゴリ名を変更したり、コミュニティカテゴリを削除して運用している可能性が考えられますが、このような場合に openpne:fix-wrong-categorized-community タスクを自動実行すると表示上間違ったコミュニティカテゴリに紐付いてしまったり、なくなってしまったコミュニティが修復されないことになります
  • おそらくこのような場合には自動修復ではなく、手動修復（ないしは修復なしで運用継続）を選ぶべきだと思いますが、タスクを実行する人に具体的にどのような場合に自動修復を行うべきかの説明をタスク実行時の説明文もしくはタスクを実行する人が目を通すであろうドキュメントに記載してあると分かりやすくなるのではないかと思います
• 「Auto-detected community which OpenPNE 3 recogized to fix are "%d" to "%d" 」の説明文について、
  • community が複数形になっていません（ are が続くので不自然です）
  • recogized の綴りが間違っています
  • 末尾の . がこの文だけありません
  • 表示される数値がコミュニティIDであることを明記すると分かりやすくなると思いました

3f9b43dca66f270c874392584b8fd8628cf43408, 6e7de531cbcca07f3b43e95d4368f4362ce760af, 968a0d2fea86e7f0449d43c7512b90ee5d09f9e0 にて http://redmine.openpne.jp/issues/1527#note-13 の指摘点について修正しました。

OpenPNE 2 からインポートされたが OpenPNE 3 で運用をはじめて以降に削除されたコミュニティを誤って復旧させてしまっていた問題の対策として、「community_member にレコードが存在しているかどうか」を確認するようにしました。正しくインポートできたコミュニティを削除する際、 community の外部キー制約によって community_member のレコードは削除されます。一方で、アップグレード時に community にレコードが追加されなかったコミュニティの場合、 community_member にはレコードが存在しています。そこで、「community にレコードはないが community_member にはレコードが存在している」コミュニティを「OpenPNE 2 からのアップグレード時に欠損したコミュニティ」であると判断するようにしました。

また、 note-13 のコメントに従い、いくつかの文章の表現を訂正したり、説明を追記したりしました。

なお、 note-13 のコメントのなかにメンバー退会時（強制退会も含む）の管理権限の交代について記述されていましたが、管理権限についての配慮は特に必要ないのではと考えています。メンバー退会時におこなわれるコミュニティ管理者交代関連の処理は community_member テーブルから取得した ID をベースにおこなわれるため、 community テーブルのレコードの有無は関係しません（なお、この処理は OpenPNE 2 からのバージョンアップがサポートされた 3.4.0 から変更されていません）。community テーブルにレコードが存在しないことによって、メンバーが一人もいなくなった場合にそのコミュニティ自体を削除しようとして失敗する問題は存在しますが、このタスクの挙動に影響があるものではありません。

note-14 の修正方針については問題ないと思います。

修正内容について、1点フィードバックします。

6e7de531cbcca07f3b43e95d4368f4362ce760af で修正している detectLackedCommunityIdsByCategoryId() 内のクエリについて、

SELECT c_commu_id FROM c_commu WHERE c_commu_category_id = ? AND c_commu_id NOT IN (SELECT id FROM community WHERE id <= ?) AND c_commu_id IN (SELECT community_id FROM community_member WHERE community_id = c_commu_id)

SELECT c_commu_id FROM c_commu WHERE c_commu_category_id = ? AND NOT EXISTS (SELECT * FROM community WHERE id = c_commu_id) AND EXISTS (SELECT * FROM community_member WHERE community_id = c_commu_id)

すいません、 http://redmine.openpne.jp/issues/1527#note-15 のコメント書いてから調べたところ、MySQL で EXISTS が遅いという情報がいくつかあったので一旦レビュー待ち状態に戻します。

コミュニティ数 10,000、コミュニティメンバー数 100,000 のデータを作成して検証しましたが、実行時間の差がまったくなかったため note-15 の指摘の修正は必要ないと判断し、レビュー済みにします。

必ず1つの行を返す相関サブクエリに対しては、IN は必ず = よりも遅いです。例えば、次の例を

SELECT * FROM t1 WHERE t1.col_name
= (SELECT a FROM t2 WHERE b = some_const);

SELECT * FROM t1 WHERE t1.col_name
IN (SELECT a FROM t2 WHERE b = some_const);

http://dev.mysql.com/doc/refman/5.1/ja/optimizing-subqueries.html

を参考にすると、以下のような書き換えは有効かもしれません。

SELECT c_commu_id FROM c_commu WHERE c_commu_category_id = ? AND c_commu_id NOT IN (SELECT id FROM community WHERE id <= ?) AND c_commu_id = (SELECT community_id FROM community_member WHERE community_id = c_commu_id LIMIT 1)

参考のため EXPLAIN 結果を貼っておきます。

mysql> EXPLAIN SELECT c_commu_id FROM c_commu WHERE c_commu_category_id = 1 AND c_commu_id NOT IN (SELECT id FROM community WHERE id <= 10000) AND c_commu_id IN (SELECT community_id FROM community_member WHERE community_id = c_commu_id);
+----+--------------------+------------------+-----------------+----------------------------------------------------+------------------+---------+-----------------------------+-------+--------------------------+
| id | select_type        | table            | type            | possible_keys                                      | key              | key_len | ref                         | rows  | Extra                    |
+----+--------------------+------------------+-----------------+----------------------------------------------------+------------------+---------+-----------------------------+-------+--------------------------+
|  1 | PRIMARY            | c_commu          | ALL             | c_commu_category_id,c_commu_category_id_r_datetime | NULL             | NULL    | NULL                        | 10000 | Using where              |
|  3 | DEPENDENT SUBQUERY | community_member | ref             | community_id_idx                                   | community_id_idx | 4       | openpne2.c_commu.c_commu_id |     1 | Using where; Using index |
|  2 | DEPENDENT SUBQUERY | community        | unique_subquery | PRIMARY                                            | PRIMARY          | 4       | func                        |     1 | Using index; Using where |
+----+--------------------+------------------+-----------------+----------------------------------------------------+------------------+---------+-----------------------------+-------+--------------------------+

mysql> EXPLAIN SELECT c_commu_id FROM c_commu WHERE c_commu_category_id = 1 AND NOT EXISTS (SELECT * FROM community WHERE id = c_commu_id) AND EXISTS (SELECT * FROM community_member WHERE community_id = c_commu_id);
+----+--------------------+------------------+--------+----------------------------------------------------+------------------+---------+-----------------------------+-------+-------------+
| id | select_type        | table            | type   | possible_keys                                      | key              | key_len | ref                         | rows  | Extra       |
+----+--------------------+------------------+--------+----------------------------------------------------+------------------+---------+-----------------------------+-------+-------------+
|  1 | PRIMARY            | c_commu          | ALL    | c_commu_category_id,c_commu_category_id_r_datetime | NULL             | NULL    | NULL                        | 10000 | Using where |
|  3 | DEPENDENT SUBQUERY | community_member | ref    | community_id_idx                                   | community_id_idx | 4       | openpne2.c_commu.c_commu_id |     1 | Using index |
|  2 | DEPENDENT SUBQUERY | community        | eq_ref | PRIMARY                                            | PRIMARY          | 4       | openpne2.c_commu.c_commu_id |     1 | Using index |
+----+--------------------+------------------+--------+----------------------------------------------------+------------------+---------+-----------------------------+-------+-------------+

mysql> EXPLAIN SELECT c_commu_id FROM c_commu WHERE c_commu_category_id = 1 AND c_commu_id NOT IN (SELECT id FROM community WHERE id <= 10000) AND c_commu_id = (SELECT community_id FROM community_member WHERE community_id = c_commu_id LIMIT 1);
+----+--------------------+------------------+-----------------+----------------------------------------------------+------------------+---------+-----------------------------+-------+--------------------------+
| id | select_type        | table            | type            | possible_keys                                      | key              | key_len | ref                         | rows  | Extra                    |
+----+--------------------+------------------+-----------------+----------------------------------------------------+------------------+---------+-----------------------------+-------+--------------------------+
|  1 | PRIMARY            | c_commu          | ALL             | c_commu_category_id,c_commu_category_id_r_datetime | NULL             | NULL    | NULL                        | 10000 | Using where              |
|  3 | DEPENDENT SUBQUERY | community_member | ref             | community_id_idx                                   | community_id_idx | 4       | openpne2.c_commu.c_commu_id |     1 | Using index              |
|  2 | DEPENDENT SUBQUERY | community        | unique_subquery | PRIMARY                                            | PRIMARY          | 4       | func                        |     1 | Using index; Using where |
+----+--------------------+------------------+-----------------+----------------------------------------------------+------------------+---------+-----------------------------+-------+--------------------------+

テストOKです。