MongoDB - The first sight

Introduction

MongoDB is a document database designed for 易於開發與擴展，資料結構是field and value pairs 的BSON documents (像是JSON object). Value 型態除了string, int可為 document, arrays of document...
MongoDB與DynamoDB都能運用GoeJOSN格式儲存座標地理位置

RDB v.s MongoDB 術語
database -> database
table -> collection
row -> document
column -> field

MongoDB 對應回RDB的專有名詞（aggregation mapping from SQL terms）：
WHERE -> match
GROUP BY -> group
HAVING -> match
SELECT -> project
ORDER BY -> sort
LIMIT -> limit
SUM() -> sum
COUNT -> sum/sortByCount
join -> lookup

MongoDB的index

如同NoSQL的設定，沒透過index搜尋則會full collection scan. Index 是個能夠易於traverse 的資料結構。儲存對某field的value by 排序狀態，讓index搜尋時有效的匹配範圍操作的查詢

MongoDB index type

  • Single-field - 除了_id 之外可以自定義其他index，因為欄位單一因此順序不重要。e.g.: {score: 1}
  • Compound Index - 定義index於多欄位 ，架設index為以下兩個組成 {name:1, score: -1}，則index會先以name做排序再排score。
  • Multikey Index - 在Content裡面若有array的field，MongoDB會另外建立一個index entry for 這個value
  • Geospatial Index - 支持地理座標為值的index: 2d indexes與2dsphere indexes
  • Text Index -  提供text index能search collection裡的content，這Index不會存特定的停用詞（stop words），例如 "a", "the", "and"...
  • Hash Index - 顧名思義，但查詢只支援equality matches

MongoDB indexing Strategies

建立index有很多面向，依照期望的query 結果、讀寫頻率、系統有多少記憶體空間...等
最佳的策略是在production相同等級的環境以及相同的dataset量級，在index很耗費資源的觀念下，確保建立有用的index，不用的請刪除。基本上一個index就應該能夠應付所需的情境，多個index則可採用index insertions

4個策略
。以查詢field為條件的設為index
。用index對查詢結果做排序
。確保index在RAM合適的使用量
。建立可選擇性的查詢，也就是能在建立index的filed上，又能再縮小範圍，猶如前面ep015提到的結構化文字格式



MondoDB 除了單筆寫入資料外，亦有Bulk write的操作，分為有順序性的跟沒順序性的。ordered vs unordered.
Ordered, 其中一個寫入錯誤就會return並不會執行接下來剩下的操作。
Unordered, 其中一個寫入失敗也會把剩下的operation繼續做完。(execute operation in parallel)

基本上ordered 會需要等一筆資料寫完才會再寫一筆，效率上會比Unordered慢。預設bulkWrite() 是ordered.


了解策略之前，先搞懂專有名詞...
Chunk?
Data partitioning with chunks
MongoDB 用 shard key 去關聯Collection切分過後的data into "Chunks". 當資料成長超過chunk size，MongoDB 切chunks。Insert and update都會觸發chunk split。

chunk size default 64 MB

Bulk Insert 到sharded collection的策略

大量insert 會影響sharded cluster performance，因此有以下策略。
。Pre-Split the Collection (預先拆分 collection) - 假設初始shard為空只有一個chunk, MongoDB需要花時間在接收data並寫入時拆分chuck。為了避免此問題可以預先拆分，有點像是AWS S3 解決initial hotspot issue, 事先預熱避免 5XX error
。Unordered Writes to mongos (無順序寫入) - 之前提過的無順序性是parallel 處理的，parameter "ordered" set to "false"
。Avoid Monotonic Throttling (避免 throttle 在同一位置) - 假設shard key 在insert時是有順序的增加，那麼每一筆資料必定都是寫在最後一個chuck中，沒有發揮到sharded cluster平行寫入的功用。因此在寫入量超過單一shard能處理的量，可以對shard key做設計讓資料即便insert有順序性也會分散在不同的shard中。

Text Search

MongoDB提供Text Search, MongoDB 只允許在每個collection中建立一個text index, 允許跨多個fields.  Fields 可為string 或者是array of string. $text 會用空白鍵為分割去tokenize 來對文字收尋，搜尋除了基本文字搜尋, 也能做到exact search, exclude, sorting by score等操作。概念跟最早Elasticsearch 全文檢索的操作概念很像。

MongoDB Security

關於Security的幾件事，在上PROD之前需要檢查
  1. 開啟 Access Control以及強制 Authentication, 可用SCRAM 或x.509 authentication機制或結合Kerberos/LDAP架構。
  2. Configure Role-Based Access Control (RBAC) - 建立admin, 建立其他user，根據不同使用者或應用程式去設定access的權限
  3. Encrypt Communication (TLS/SSL)加密通訊 - 啟用TLS/SSL 在mongod and mongos 間傳輸時加密
  4. Encrypt and Protect Data 加密資料 - 可以針對storage layer做資料加密
  5. Limit Network Exposure - 限制網路環境避免暴露在公開的網路中
  6. Audit system activity - enterprise 版本有auditing功能。
  7. 用專用的user跑 MongoDB - 角色權限切得越單純乾淨越好
  8. 若沒有用到javascript去操作MongoDB, 蛇可以下指令關掉支援server side scripting with "--noscripting"
  9. 參考security Standards Compliance
  10. 定期檢查版本是否有安全性漏洞，如CVE

留言

張貼留言

這個網誌中的熱門文章

[專案] 銀行端末系統

由不同專案中可以了解不同領域的些許瑣事 台灣有許多銀行，在端末terminal system的架構幾乎差不多。而所謂的櫃員、櫃姊也就是在各櫃檯負責做交易的人員。 (台灣其實可以不必這麼多銀行，這情況並沒有因為競爭而讓使用者受惠，這跟台灣不必這麼多大學一樣，但這就是另外一些故事了..) 會叫做端末系統，是因為古早能下指令command line畫面稱為terminal終端機，操作方式如PTT。 櫃源系統就如機場的系統、醫院的病例系統長年已存在，幾乎是由組合語言、C、COBOL之纇的語言撰寫，再傳遞資訊的方式是以一大量的字串，統稱"電文"的方式傳遞、接收訊息。不同銀行接收資訊的雙方(中心與櫃員)的格式各有不同，以這種方式來傳遞資訊安全、快速且又不容易被外部擷取。(相對於現在網頁之間傳遞訊息，訂立相同的header與該傳到畫面的內容body，讓 不同瀏覽器皆能解析 ) 櫃員在每個櫃台都有一定量的現金來提供顧客臨櫃提款，若是櫃員金額不足，則需要向主管申請提領金額到櫃台。 主管授權分為近端與遠端，近端為自己就可敲入主管櫃員帳號密碼，遠端則是會發送訊息到主管櫃元的電腦中請他做核准。 銀行印表機有不同的形式： 存摺印表機：列印存摺，最大能放得下A4大小的紙 匯兌印表機：大型印表機，能印寬版紙。可放入連續報表紙列印 快速印表機：機型如洗衣機，印表機底下有大櫃子能夠放連續報表紙 ‧‧‧ 銀行代碼共七碼，前三碼為銀行碼，接續三碼為分行碼，最後一碼為檢查碼 代碼查詢  http://www.trdo.gov.tw/mtn201/mtn201.asp 附註： 系統環境：iBranch SDK (包含電文、畫面、列印報表格式、程式邏輯) 遇到困難：無技術上困難 (It's long time to go, coming soon)
閱讀完整內容

如何在MacOS 中自由切換不同Python版本 - pyenv + virtualenv

  https://stackoverflow.com/questions/48470540/how-to-work-with-pyenv-virtualenv-and-pipenv 假設要不同資料夾、不同專案設定不同的python版本，可以由以下兩中方式達成 pyenv + virtualenv pyenv + pipenv 此篇介紹第一種方式pyenv 與virtualenv的組合，相對簡單明瞭。 mac os terminal操作步驟 更新pip sudo pip3 install --upgrade pip 用homebrew安裝pyenv-virtualenv (會一併的安裝這兩者與他們的dependency) brew install pyenv-virtualenv  安裝指定版本於本機，在此用python 3.7.7為例 pyenv install 3.7.7 以 python 3.7.7為版本，建立一個名為 venv377的虛擬環境 pyenv virtualenv 3.7.7 venv377 切換到專案的資料夾下 cd project_101 將預設的python版本使用venv377這個環境 pyenv local venv377 ＊pyenv 有三種scope: global, local, shell，顧名思義就是修改系統python、當前目錄python、以及目前登入terminal的shell ＊＊ 若是遇到Failed to activate virtualenv，是因為啟動shell時沒有加上pyenv, virtualenv 的init，please check "add script in .zshrc" 所以說，有兩個方法可以切換python版本 在virtualenv去指定某個版本 就要在該目錄下第6步 - pyenv local project_py377 這樣就會在該目錄下生成 .python-version 裡面就會寫用什麼環境的python e.g.: venv377 在任何folder下指定某個版本 就直接下 pyenv activate venv377, 即可用python3.7.7 source deactivate就能脫逃 add script in .zshrc $ echo '
閱讀完整內容

用 C# 控制 Win7 輸入法

圖片
參考網址 - VISTA 與輸入法程式介面 文/黃忠成 http://www.dotblogs.com.tw/code6421/archive/2010/09/27/17909.aspx (感謝上述作者提供此方便的程式，範例可從網站中下載) 由於舊的win32應用程式和.NET FRAMEWORK 2.0有些無法在VISTA以後的作業系統順利執行。控制win7作業系統輸入法亦然，但利用上述參考網址的範例在Visual Studio 2012 Desktop中開啟並執行後，會發生程式直接關閉的情形。輸出訊息最後一行如下所示： '[2672] VistaIMEHelperNet.vshost.exe: Managed (v4.0.30319)' 程式以返回碼 0 (0x0) 結束。 造成此問題是TSFWrapper.cs程式在做記憶體釋放使用到的函式 Marshal.FreeCoTaskMem(ptr) 有問題，詳細原因等待日後深入研究。目前把方法改用Marshal.FreeBSTR(ptr)的方式，即可在Win7 中執行。(後來發現是範例程式雖然是寫FreeCoTaskMem，但網址中的程式碼是寫FreeBSTR) 點擊第一個按鈕"Fetch Input Profile List"後列出所有安裝的輸入法，但只限中文輸入法。若安裝多國不同語言的輸入法，在Form1.cs中 button1_Click函式裡TSFWrapper.GetInputMethodList(langIDs[0])的langIDs可用其他值帶入，langIDs = TSFWrapper.GetLangIDs()可取得所有語言的ID。 例如：langID中文 = 1028;英文 = 1033;日文 = 1041 點選按鈕一列出所有安裝的輸入法 點擊第二項與第三項按鈕分別可切換輸入法與設定回預設英文輸入法。 不過將此做法用於非GUI的方式，也就是非windows form的方式，而是純console介面來呼叫第二與第三個按鈕function會出現crash。以下為跳出錯誤訊息視窗的內容： 類型 'System.Runtime.InteropServices.COMException' 的未處理例外狀況
閱讀完整內容