华人性研究编辑部发ppt课件

《华人性研究编辑部发ppt课件》由会员分享，可在线阅读，更多相关《华人性研究编辑部发ppt课件（48页珍藏版）》请在装配图网上搜索。

1、第 8 章群集分析：根本概念與演算法 2021 台灣培生教育出版(Pearson Education Taiwan)群集分析群集分析 l群集分析將資料分成許多有意義或有用的群體群集l假设以有意義的群體為目標，則群集應捕捉資料的根本結構。但在一些情況下，群集分析對其他應用而言只是一個起點而已，例如資料彙總l不論是針對了解性understanding或运用性utility而言，群集分析在心思學與其他社會科學、生物學、統計學、樣式辨識pattern recognition、資訊檢索、機器學習與資料探勘等領域上，都扮演很重要的角色為了解而分群：為了解而分群：l生物學Biology l資訊檢索infor

2、mation retrievall天氣 l心思學與醫學 l商業 為运用而分群為运用而分群 l彙總summarization l壓縮 l有效地發掘最近鄰居 什麼是群集分析？什麼是群集分析？群集分析是根據物件的資料，以及物件之間的關係資訊為基礎來進行物件的群集群集分析的目的是要使同群內的物件彼此类似或相關的，且與其他群中的物件不同不相關當群內的类似度或同質性很大，且群間的差異很大時，則有較好或更具區別性的群體以不同方式對一样集合之資料點做分群以不同方式對一样集合之資料點做分群 不同的分群類型不同的分群類型 l階層式的與分割式的：最常見的分群類型，是根據群集的集合為巢狀nested的或非巢狀的unn

3、ested來區分，而在傳統的術語中則稱為階層的或分割的l互斥的與重疊的與模糊的：當指派每個物件至單一群集中，圖8.1中的分群為独一的exclusive。有許多情況是一個點可被合理地指定到一個以上的群集中，這種情況最好是由非互斥分群non-exclusive clustering來描画。在最普通的意義中，运用重疊的或非互斥分群可用來反應一個物件會同時屬於一個以上的群體類別l完好的與部份的：完好分群complete clustering將每個物件指定至一個群集中，而部份分群partial clustering卻不是。部份分群的動機為資料集中的一些物件能够不屬於已定義清楚well-defined的群

4、集，許多在資料集中的物件可被表示為雜訊noise、離群值outlier或不有趣的背景uninteresting background不同的群集類型不同的群集類型 l分散良好的Well-Separated：群集是物件的集合，相較於其他不在群集中的物件，每個物件與群集中的其他物件會較接近或很类似。有時是运用門檻值來說明一個群中的一切物件必須彼此是夠接近的或类似的。只需當資料包含自然的群集natural clusters且彼此是相距很遠的，這個群集的理想定義會被滿足不同的群集類型不同的群集類型l以雛型為基礎的Prototype-Based：群集是物件的集合，其中每個物件會接近相當类似所屬群集之雛型。

5、針對連續屬性資料，群集的雛型通常為質量中心centroid，即在群集中一切點的平均值mean。當質量中心沒有意義時，例如當資料有類別的屬性時，則雛型通常是medoid，亦即為群中最具代表性的點不同的群集類型不同的群集類型l以圖形為基礎Graph-Based：假设資料表示成圖形，這裡的節點為物件，而鏈結表示物件之間的連結，則群集可被定義為連結的元件connected component；即一群彼此相連的物件，但沒有和此群體外的物件相連不同的群集類型不同的群集類型l以密度為基礎Density-Based：群集為一個物件密集的區域且由低密度的區域所圍繞l共享屬性Shared-Property，概念的

6、群集：普通來說，我們定義群集為物件的集合且共有一些屬性，這個定義包含之前一切群集的定義；例如，在以中心為基礎的群集中的物件共享一個特性，就是它們全部與一样的質量中心點centroid或medoid非常接近準則準則Road Map lK-means：這是一個以雛型為主的分割式分群技術，以試圖找出运用者指定之群集個數K，並以群中心為代表l凝聚式層階分群法Agglomerative Hierarchical Clustering：這個分群方法是指一群為緊密相關之分群技術，藉由每一點為一個單一群集開始，接著多次合併兩個最接近的群集，直到剩下包含一切群集之單一群集為止，以產生階層式分群lDBSCAN：這

7、是以密度為基礎的分群演算法，可以產生分割式分群，其分群數可由演算法自動決定，在低密度區域的點會被歸類為雜訊而被省略；因此，DBSCAN不能產生完好的分群利用二維之資料點說明不同類型的群集利用二維之資料點說明不同類型的群集 K-means l以雛形為基礎之群集技術可建立具有一個階層之資料分割，這樣的技術有一些，但最常見的兩個技術是K-means與K-medoid。K-means运用雛型的中心，通常是一群資料點的平均，且典型地被應用於連續n維度空間的物件上。K-medoid运用雛型之中心點，以一個最具代表性的點來表示一群資料點，可應用的範圍很廣，因為它需求對成一對的資料點做鄰近值測量，使得中心點不

8、會對應至實際的資料點，而中心點根據其定義必須是實際的資料點运用运用K-means演算法來找尋樣本資料中的三個群集演算法來找尋樣本資料中的三個群集 K-means：其他議題：其他議題 l處理空的群集：之前根本K-means演算法的問題是，在分配步驟執行間，假设沒有資料點被分配到群集，則會得到空的群集。假设這個問題發生，則需求一個战略去選擇一個替代的中心點，否則平方誤差將會很大l離群值：當平方誤差評估準則被运用時，離群值會影響所發現的群集。尤其，當離群值出現時，所產生的群集中心點雛型就能够不具代表性，所以SSE也會較高，因為這樣，預先發掘離群值並刪除它們通常是有用的K-means：其他議題：其他議

9、題l減少SSE與後處理：一個用來減少SSE的顯著方法是去找尋多個群集，即使用較大的K。然而，在許多情況中，我們能够會去改善SSE，但不會要去添加群集的數量，這通常是能够的，因為K-means根本上會收斂到一個區域最小值。有很多技術可用來改進所產生的群集，以產生有較小SSE的分群，這樣的战略是著重於個別的群集，因為總和SSE為每個群集對SSE貢獻的加總藉由添加群集數量以減少總和藉由添加群集數量以減少總和 SSE的战略的战略l分裂群集：有最大SSE值的群集通常會被選擇，但也可針對某一個特定屬性，將群體根據最大的標準差進行分割l提出新的群集中心點：通常會選擇遠離任何群中心的點。假设記錄每個點對SSE

10、的貢獻，則可以很簡單地決定這個點。另一個方法是從一切的點中隨機選擇或從有最大SSE的點選擇總和總和SSE的增量最小化時，減少群集數量的战略的增量最小化時，減少群集數量的战略l解散群集：這個是藉由移除群集所對應之中心點，以及重新分配資料點給其他群集來達成。理想上，被分散的群集會添加總和SSEl合併兩個群集：根本上會選擇最近的群中心，雖然其他方法是去合併兩個群集，使得總和SSE有最小增量l兩個合併战略是一样的，皆运用在階層式分群技術，如中心點方法和Wards methodll遞增式更新中心點：為了取代在分配一切的資料點至群集後才會更新群中心的方式，我們可以在每一次分配點給群中心後就進行更新。要留意

11、的是：因為資料點會移動到新的群集兩次更新，或停留在它現在的群集零次更新，因此每一步驟需求零次或兩次更新。K-means與不同類型的群集與不同類型的群集 lK-means和它的變型在找尋不同類型的群集時有一些限制，尤其是當群集是非球型non-spherical shapes，或有各種不同之大小或密度時。K-means在發現自然的natural群集會有困難有不同大小之有不同大小之K-means群集群集 有不同密度之有不同密度之K-means群集群集 非球狀之非球狀之K-means群集群集 優點與缺點優點與缺點 lK-means很簡單且廣泛地运用在各種不同的資料型態上，即使執行多次也同樣是相當有效率

12、的。一些變型，包含bisecting K-means，會更有效率且不會遭到初始問題的影響lK-means並不適用於一切類型的資料，它不能處理非球狀non-globular的群集，或是有不同大小與密度之群集，然而假设有足夠多的群集，根本上它可以找到乾淨的子群集l對有包含離群值之資料，K-means在做分群時會有困難lK-means會因為中心中心點的標示而受資料的限制，相關技術 K-medoid分群法並沒有這個限制，但是本钱很昂貴凝聚式階層分群l階層分群技術hierarchical clustering techniques是第二重要的分群方法類別l好像K-means，這些方法和許多分群演算法比起

13、來相對較久遠，但它們依然被廣泛运用產生階層分群的方法產生階層分群的方法l凝聚式的Agglomerative：將資料點當成個別群集開始，在每一步驟，合併最接近的一組群集。這需求定義群集鄰近值cluster proximity的概念l分裂式的Divisive：從包含一切群集開始，在每一步驟，分割一個群集直到個別資料點仍留在單獨的群集中為止。在這個情況下，需求決定在每一步驟中哪一個群集要被切割，以及如何做切割l階層分群法通常可用樹狀圖表示稱為dendrogram，可顯示群集子群集的關係，以及群集被合併凝聚式觀點或分割分裂式觀點順序。四個資料點的階層分群以樹狀圖和巢狀群集表示四個資料點的階層分群以樹狀

14、圖和巢狀群集表示 根本的凝聚式階層分群演算法根本的凝聚式階層分群演算法 完全鏈結或完全鏈結或MAX或或CLIQUEl針對完全鏈結complete link或階層式分群的MAX版本，兩個群集的鄰近值被定義為在兩個不同群集中恣意兩個點之間的最大距離最小类似度l运用圖形的專有名詞來看，假设把一切點當成單一群集開始，每次在兩個點之間参与一個鏈結，最短鏈結優先参与，直到一切的點在群集中，且完全地連結為止，即构成cliquel完全鏈結不易受雜訊或離群值的影響，但它可分割大的群集並支持球狀群集6個點之完全鏈結分群個點之完全鏈結分群 群平均群平均l針對階層分群的群平均group average版本，兩個群集的

15、鄰近定義為在不同群集中一切兩兩資料點之間的平均成對鄰近值average pairwise proximityl這是介於單一鏈結single link與完全鏈結complete link方法之間的中間方法 6個資料點的群平均分群個資料點的群平均分群 階層分群法的重要議題階層分群法的重要議題l缺乏全域目標函數 l處理不同群集大小之才干 l最後的合併決策 DBSCANl以密度為基礎之分群法density-based clustering會找出遠離低密度區域之高密度的區域lDBSCAN為一個簡單且有效之以密度為基礎分群演算法傳統的密度定義方法：以中心點為基礎之方法傳統的密度定義方法：以中心點為基礎之方

16、法l以中心點為基礎的方法中，會對資料集合中的特定點，計算點的某個Eps範圍內點的數量來估計密度。這也包含點本身以中心點為基礎之密度以中心點為基礎之密度 中心點、邊緣點與雜訊點中心點、邊緣點與雜訊點 DBSCAN演算法演算法 l根據之前對中心點、邊緣點以及雜訊點的定義，DBSCAN演算法可解釋如下：任何足夠接近的兩個中心點在彼此的Eps距離中是會被放入同一群集。同樣地，任何與中心點足夠接近的邊緣點會被放入一样群集中當成中心點假设邊緣點是接近不同群集之中心點，則必須解決其關連l1:Label all points as core,border,or noise points.l2:Eliminat

17、e noise points.l3:Put an edge between all core points that are within Eps of each other.l4:Make each group of connected core points into a separate cluster.l5:Assign each border point to one of the clusters of its associated core points.DBSCAN的優點與缺點的優點與缺點 l由於DBSCAN运用以密度為基礎之群集定義，使得DBSCAN相對地較能抵抗雜訊，且能處

18、理恣意形狀和大小的群集lDBSCAN可以發現許多K-means無法發現的群集l當群集有不同密度時，DBSCAN的執行會有困難，同時在高維度的資料中執行也會有困難，因為很難定義資料的密度l在高維度資料中，因為最近鄰近點需求先計算一切資料兩兩的鄰近值，所以DBSCAN就非常耗時群集評估群集評估l在發展監督式分類模型的過程中，分類模型的評估為一個不可短少的部份，且這裡有完全被接受的評估方法和程序，例如正確性accuracy和交叉驗證cross-validationl因為群集評估cluster evaluation的本質，因此沒有很好的發展或是常被运用於群集分析中，但群集評估或傳統上稱為群集驗證，cl

19、uster validation是很重要的l為了能區分資料中的非隨機結構non-random structure能否為群集驗證中的重要概念，以下是關於群集驗證的一些重要議題：l決定資料集合群集趨勢，即識別非隨機結構能否真的存在資料中l決定群集的正確數量l評估群集分析結果與資料有多符合，而不用參考外部資訊l將外部知結果，如外部提供的類別標記，與群集分析結果比較l比較兩個集合的群集以決定哪一個比較好判斷分群正確性的評估測量方法判斷分群正確性的評估測量方法l非監督式unsupervised：測量分群結構不需运用到外部資訊，SSE即為一例l監督式supervised：測量哪個群集演算法發掘的分群結構會

20、與一些外部結構相配l比較式relative：比較不同的分群法或群集。比較群集的評估方法有監督式，或用於比較目的之非監督評估方法群集內聚力與分散力之圖形觀點群集內聚力與分散力之圖形觀點 以圖形為基礎之群集的測量方法列表以圖形為基礎之群集的測量方法列表 側影係數側影係數l側影係數silhouette coefficient方法是結合內聚力和分散力，下面步驟解釋如何對個別的點計算側影係數，其流程是由以下三個步驟所組成。我們可运用距離，但也可运用類似类似度的方法：l對第i個物件，計算它至群集內一切點的平均距離，稱這個值為ai。l對第i個物件和任何沒有包含這個物件的群集，計算它至特定群集內一切物件之平均

21、距離，找到一切群集的最小值bi。l對第i個物件，其側影係數為si=(biai)/max(ai,bi)。SkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVn

22、Yq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3

23、F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiT

24、lXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4cNfQiUlXo#s%v)y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr$u(x+B2E5

25、H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkW

26、nZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C

27、4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdOgSjVn

28、Yq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v(y0B3

29、F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C3F7IaMdPkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(x+B2E6H9KcOfRiUmX

30、p!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+A2E

31、5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4FMeQhTlWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A1D5G8KbNeQiTlWo#

32、r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSjVnYq$t*w-A1D4G

33、8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjUmYp!t&w)z1C4F7JaMePhSkWnZq

34、$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfQiUlXp#s%v)y0B3F6IaLdOgSjVmYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq!t*w-A1D4G8JbMeQhTlWoZr%u(x+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7

35、IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3EMdPgSkVnYq$t*x-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9LcOfRjUmXp!s&w)z0C4F7IaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r%v(y+B3E6I9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkWnZq$u*x-A2D5H8KbNfQiTlXo#s%v(y0B3E6I9LdOgRjVmYp!t&w-z1C4G7JaMePhTkWnZr$u*x+A2E5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgSjVmYq!t

36、&w-z1D4G7JbMePhTkWoZr$u(x+A2E5H9KcNfRiUlXp#s&v)y0C3F6IaLdPgSjVnYq!t*w-z1D4G8JbMeQhTkWoZr%u(x+B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*B2E5H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVn