kiko的閒聊

在 proxmox 下裝 k8s 經常不定時重啟

2023-09-20T11:03:00.002+08:00

找了很多方式，都無法解決，以下的方式目前穩定很多：

根據參考資料，使用N5105很容易有這樣的問題，剛好現在主力是用N5105，所以就參照做法，主要就是裝 microcode。

https://cyrusyip.org/en/post/2023/01/31/install-microcode-on-proxmox/
https://www.barhe.org/archives/1247

prxmox linux and win19 trim space

2023-08-24T23:27:00.005+08:00

如果空間已清掉，但卻顯示一直被暫用，那就得另外手動下指令去清空。

在 proxmox 中的硬碟要設定 discard，然後進到要清空間的VM裡頭

linux

sudo fstrim -a

win10

WIN得下載一個檔案SDelete：https://learn.microsoft.com/zh-tw/sysinternals/downloads/sdelete
開啟系統管理模式的CMD

sdelete64.exe -z C:

k8s rclone use google cloud service account sync file to google drive folder

2023-03-07T17:49:00.002+08:00

*補充說明，這個方式可能我的操作沒有對，同步資料時，同樣的目錄或檔案不會蓋掉！！會重覆，目前一直找不到解法，所以暫時不再使用這個方式。

使用 romancin/rclonebrowser 這個 image 跑在k8s上，其中要同步的目錄記得要先 mount 起來。
申請 google cloud 的 service account

啟用 google drive api
點選 google drive api，點選憑證，建立憑證，服務帳戶
把生成的那個 service account email 加到要分享的 google driver

進到 rclone-webgui 中設定 config

選 advance 輸入，其中 root_folder_id，就是準備寫入的 google drive 目錄，瀏覽器到那個目錄就會看到
記的有 shared with me 的選像都輸入 true
Configure this as a team drive?
選 Y

參考資料：

https://github.com/romancin/rclonebrowser-docker

proxmox 增加 CPU 溫度偵測

2022-08-19T11:08:00.001+08:00

找了一些網路上的修改，有個地方有錯，簡單說明如下：

apt install lm-sensors
sensors-detect
都選預設就好
sensors
測試是否可以看到CPU溫度
cp /usr/share/perl5/PVE/API2/Nodes.pm /usr/share/perl5/PVE/API2/Nodes.pm.bak
cp /usr/share/pve-manager/js/pvemanagerlib.js /usr/share/pve-manager/js/pvemanagerlib.js.bak
nano /usr/share/perl5/PVE/API2/Nodes.pm

找尋：PVE::pvecfg::version_text();
在其後一行寫入：
$res->{thermalstate} = `sensors`; #增加溫度偵測

nano /usr/share/pve-manager/js/pvemanagerlib.js

~~找尋 Ext.create('Ext.window.Window'~~
~~在其下的 height 原本 400，修改成 420~~
找尋 alias: 'widget.pveNodeStatus'
在其下的 height 原本 300，修改成 320
找尋 textField: 'pveversion',

並在 textField: 'pveversion', value: ''},
其下一行加入

      {  
            itemId: 'thermal',  
            colspan: 2,  
            printBar: false,  
            title: gettext('CPU Thermal State'),  
            textField: 'thermalstate',  
            renderer:function(value){  
                 const c0 = value.match(/Core 0.*?\+([\d\.]+)Â/)[1];  
                 const c1 = value.match(/Core 1.*?\+([\d\.]+)Â/)[1];  
                 const c2 = value.match(/Core 2.*?\+([\d\.]+)Â/)[1];  
                 const c3 = value.match(/Core 3.*?\+([\d\.]+)Â/)[1];  
                 return `Core 0: ${c0} ℃ | Core 1: ${c1} ℃ | Core 2: ${c2} ℃ | Core 3: ${c3} ℃`  
            }  
      }

systemctl restart pveproxy
每一個node都要改

k8s wordpress 的需求應該開多少呢？

2022-05-06T14:22:00.004+08:00

原先測試時，使用的教學對於 request是如下：

          resources:
            limits:
              cpu: 200m
              memory: 200Mi
            requests:
              cpu: 100m
              memory: 200Mi

但這個的規格，不裝插件還好，但只要有一些插件，跑起來就特別慢，所以最後調整成：

          resources:
            limits:
              cpu: 1000m
              memory: 512Mi
            requests:
              cpu: 100m
              memory: 200Mi

Proxmox DRBD9 雙機用肚子內的硬碟達到熱備援

2022-05-01T19:16:00.001+08:00

有以下幾點要注意：

Proxmox 4：https://pve.proxmox.com/wiki/DRBD9
如果沒花錢訂閱Promox，記得要修改Proxmox的程式庫：https://pve.proxmox.com/wiki/Package_repositories

# PVE pve-no-subscription repository provided by proxmox.com, NOT recommended for production use
deb http://download.proxmox.com/debian jessie pve-no-subscription

VM的硬碟要選raw

Create the first VM on DRBD for testing and live migration

On the GUI you can see the DRBD storage and you can use it for as virtual disk storage.

NOTE: DRBD supports only raw disk format at the moment.

Try to live migrate the VM - as all data is available on both nodes it will take just a few seconds. The overall process might take a bit longer if the VM is under load and if there is a lot of RAM involved. But in any case, the downtime is minimal and you will see no interruption at all.

巢狀 Proxmox Cluster異常的處理

2022-05-01T18:49:00.003+08:00

因為單一一台主機，所以透過巢狀proxmox建叢集時，在機器重開時，會發生叢集在一開始跑，檢查有主機不見的問題，導致想要手動啟動巢狀PVE的VM時出現『TASK ERROR: cluster not ready – no quorum?』這時可以採取以下幾個動作：

pvecm expected 1
service pve-cluster restart

這樣就可手動起動巢狀PVE的VM，起動後等一陣子VM完全起來後，叢集會自行恢復

參考資料：

https://blog.pulipuli.info/2014/08/proxmox-ve-fix-proxmox-ve-cluster-not.html

proxmox 巢狀 proxmox 及IO直通、全盤映射

2022-05-01T11:26:00.003+08:00

因為只有一台主機，所以為了可以在proxmox建立ceph群組，所以需要讓proxmox巢狀再建一個proxmox在裡面，並直通一個硬碟給裡面那台pve建立ceph，不過瞭解後，發現全盤映射比較快

HOST開啟直通流程：

HOST允許 io 直通：

nano /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
參考資料：https://www.10bests.com/dsm-hdd-hibernation-on-pve/

巢狀 proxmox 相關設定

巢狀pve需將CPU設定為 HOST

巢狀 proxmox 全盤映射

巢狀pve直接映射硬碟

在HOST找出想要被直通的硬碟：ls /dev/disk/by-id
在HOST的shell下指令，置換掉虛擬硬碟成直通的硬碟
參考資料：https://wangxingcs.com/2020/0227/1411/

k8s學習-NFS

2022-04-13T21:33:00.007+08:00

最後改採Helm來導入

https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner/blob/master/deploy/test-pod.yaml

步驟

$ helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
$ helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner
–set nfs.server=x.x.x.x
–set nfs.path=/exported/path
在POD需要儲存區的地方則要帶入以下的內容 volumes:

volumes:
- name: nfs-pvc
persistentVolumeClaim:
claimName: nfs-pvc-wordpress-mysql

參考資料：

Mikrotik trunk with OpenWRT

2022-04-13T21:33:00.006+08:00

最近因為想把Server區的網路與家用的無線網路架構進行分離，可以因此想透過Mikrotik的RouterOS當切割兩種不同Vlan的流量，並同時讓不同樓層的OpenWrt AP在串接時，可以允許不同Port導出不同的Vlan。

Mikrotik

Vlan介面：針對要開啟Trunk的Port先建立兩個Vlan介面附加於其上
增加Vlan橋接
將Vlan與Bridge串在一起

OpenWRT

Switch控制Vlan的分佈：OpenWRT的規劃，需要先跳出Lan與Wan的觀念，不然會一直被卡住，因此建議直接以某Lan孔，直接給其具有Trunk的能力，之後再於其它孔根據需求調整對應的Vlan Tag
Interface透過Bridge串接Vlan與介面：針對要使用的某些孔或WIFI產生不同的SSID介面，與Switch的Vlan透過Bridge來串接

參考資料：

Mikrotik

https://blog.downager.com/2017/03/26/RouterOS-%E5%AF%A6%E4%BD%9C-VLAN-Trunk-%E8%AE%93-MOD-%E6%B5%81%E9%87%8F%E9%80%9A%E9%81%8E-Switch-%E4%B8%A6%E9%9A%94%E9%9B%A2%E5%85%B6%E4%BB%96%E4%B8%8A%E7%B6%B2%E6%B5%81%E9%87%8F/

OpenWrt

有關技術裝備的相關知識

2022-03-21T21:11:00.011+08:00

KN千牛頓

牛頓的意義，一個65kg的物體，懸空時，會需要有一反重力的對應力量，也就是鉤環或繩子受到的拉力，因此某人在鉤環或繩上的拉力F=m物體重量 X a重力加速度，因此=65kg X 9.8m/s 約等於 650N，也就是一條26KN的鉤環，在靜態下，可以承載26kn(26000N) / 650N＝40個65kg的物體：
https://www.youtube.com/watch?v=WyExE2qH4Fs&t=119s
真實墬落產生的拉力，約1~2KN：
https://www.youtube.com/watch?v=WyExE2qH4Fs&t=654s
高處墬落與低處墬落，高處墬落反而較為安全，因為動力繩的延展能力，進而吸收墬落產生的拉力：
https://www.youtube.com/watch?v=WyExE2qH4Fs&t=682s

繩索

舊繩（硬繩）強度下降：https://youtube.com/clip/UgkxmDDkKbLPJKzOCPe8ed8fULVL3_yiALCA
八字圈結壓繩對強度的影響：
https://youtube.com/clip/Ugkx6Y3MSlrSfabtc1qc4YqETCEmVPTNZnxO
繩皮破損對強度的影響：
https://youtube.com/clip/UgkxAYPESFyNqLOFTIJoX7nniym9ljIIrAIx
wet rope impact strength, the answer is yes and no, depend on the instruction of manufactory
https://www.youtube.com/watch?v=ccN4Rxo1Ueg

dyneema sling

舊sling的強度：
https://www.youtube.com/watch?v=WyExE2qH4Fs&t=354s

OJS 3.3.8 與 JATSParserPlugin 2.1.3 插件的相容問題

2022-01-07T14:19:00.002+08:00

目前OJS 3.3.8 與 JATSParserPlugin 2.1.3 插件使用時，如出現以下錯誤

OJS array_unique() expects parameter 1 to be array, null given in JatsParserPlugin.inc.php

則請在插件的 JatsParserPlugin.inc.php 檔案的 1000 行進行修改，

- $submissionFileIds = array_unique($publication->getData('jatsParser::fullTextFileId'));

+ $submissionFileIds = array_unique($publication->getData('jatsParser::fullTextFileId') ?? []);

參考資料：

https://github.com/Vitaliy-1/JATSParserPlugin/commit/1f000a5ce5e12a7fe82c257223556be551538f19

OJS on GCE send mail

2022-01-05T17:39:00.000+08:00

OJS 如果架在 GCE 上，會因為 GCE 擋掉 SMTP 的功能，

因此需要透過第三方服務來發信，以下為利用 Sendgrid 來達到寄信功能。

Sendgrid 有兩件事要做

取得Sendgrid API KEY：只要有寄信權限就好
設定DNS授權：
https://docs.sendgrid.com/ui/account-and-settings/how-to-set-up-domain-authentication

config.inc.php要修改一下設定
smtp = On
SMTP server settings
smtp_server = smtp.sendgrid.net
smtp_port = 587
smtp_auth = tls
smtp_username = apikey
smtp_password = pass
smtp_suppress_cert_check = On
allow_envelope_sender = On
default_envelope_sender = youremail@domain.com
force_default_envelope_sender = On
force_dmarc_compliant_from = On
dmarc_compliant_from_displayname = ‘%n’
time_between_emails = 3600
max_recipients = 10
require_validation = Off
validation_timeout = 14

參考資料：

GCE 專案加SSH KEY

2021-12-03T17:45:00.004+08:00

在 Compute Engine的Metadata加上 enable-oslogin：
```
gcloud compute project-info --project=projectid add-metadata \
    --metadata enable-oslogin=TRUE
```
https://cloud.google.com/compute/docs/instances/managing-instance-access
把SSH KEY塞進去專案中，KEY可以用cloud shell editor 寫到cloud shell平台：
```
gcloud compute os-login ssh-keys add \
    --key-file=KEY_FILE_PATH \
    --project=PROJECT \
    --ttl=EXPIRE_TIME
```
https://cloud.google.com/compute/docs/connect/add-ssh-keys#os-login

CEPH 相關指令

2021-10-26T15:24:00.005+08:00

確認目前POOL的統計資料

https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/1.2.3/html/storage_strategies/show-pool-statistics
rados df

檢查POOL的複製數量設定

https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/1.2.3/html/storage_strategies/get-pool-values
ceph osd pool get <pool-name> <key>
EX-檢查複製數量：ceph osd pool get ceph-filesystem-metadata size
EX-檢查複製最小數量：ceph osd pool get ceph-filesystem-metadata min_size
EX-確認實際每個OSD的複製數量：ceph osd dump | grep 'replicated size'

確認CEPHFS檔案分佈在哪幾個OSD

sudo ceph osd map cephfs_data /mnt/cephfs/ubWPYCacJB0DE.img
參考資料：https://ceph.io/en/news/blog/2013/ceph-osd-where-is-my-data/

參考資料：

https://www.modb.pro/db/50697

Raspberry Pi 4B Ubuntu Server 20.04 disable usbcore autosuspend

2021-10-24T08:55:00.002+08:00

目前使用 Raspberry Pi 4B 建立一套K8s，並導入 Rook-CEPH，用的儲存媒體是接上USB3的NVME SSD硬碟，不過跑一陣子後，SSD就會自動離線，導致OSD一直出現DOWN的情況，由於建立之出都不會有問題，都是過一陣子才出現問題，所以目前判斷是 USB 設備的自動休眠問題，於是嘗試以下指令，後續如還有問題再回來此文修正

設備是：

Raspberry Pi 4B X 3
Anker PowerPort 6 60W（每個端口最大輸出5V / 2.4A）：這個與 4B 要求的 5.1V / 3.0A 是有所差距的，這點會影響外接USB硬碟的狀態，不過這個供電器，可以預期接5片沒外接任何設備的 4B 是可以
外接硬碟：ORICO M.2 NvMe SSD 外接盒 M2PV-C3 10Gbps ＋ Kingston NV1 500GB NVMe PCIe SSD（選NV1是考慮其低電壓）

由於 Ubuntu 官方給 Raspberry Pi 4B Raspberry Pi 4B 的 Server版，並沒有使用GRUB，所以一般直接改GRUB的boot參數的方法就沒法進行，因為根本找不到 /etc/default/grub 這個檔案。

所以採用以下方式：

cd /boot/firmware
nano cmdline.txt
在最後面，補上 usbcore.autosuspend=-1（注意前面要有個空白）

2021/10/26補充說明：

補上usbcore.autosuspend之後，的確比較不會一直出現OSD DOWN
不過目前如果一片4B接兩台外接硬碟很容易就造成某一個SSD離線。

Proxmox的KSM設定

2021-08-14T15:48:00.003+08:00

確認Proxmox的Web介面中已有啟動KSM設定：
[System] -> [ksmtuned] -> [Stop]
前項確認有啟動後，進到Shell更改觸發KSM的最低限度：

/etc/ksmtuned.conf

修改『KSM_THRES_COEF』值，預設是20，代表RAM用到80%才發動，目前都是改成40

參考資料：

http://blog.jason.tools/2019/01/pve-ksm-tune.html

ionic 4 build release error with admob free and firebase

2019-03-20T09:18:00.000+08:00

在 ionic 4 的環境，如果混用Firebase及admob，在編譯release的版本時可能會發生以下的問題：
The library com.google.android.gms:play-services-measurement-base is being requested by various other libraries at [[16.3.0,16.3.0], [16.4.0,16.4.0]], but resolves to 16.4.0. Disable the plugin and check your dependencies tree using ./gradlew :app:dependencies.

找了許多討論，可以瞭解問題核心在於不同plugin引用不同版本的問題：

https://github.com/arnesson/cordova-plugin-firebase/issues/856

最後按討論安裝了：

https://github.com/dpa99c/cordova-android-play-services-gradle-release
https://github.com/dpa99c/cordova-android-firebase-gradle-release

並指定版本為『15.+』，不過反而產生其它問題。

最後找資料：

https://stackoverflow.com/questions/50569501/gradle-sync-fails-play-services-measurement-base

在『project/platforms/android/app/build.gradle』的最後一行補上『com.google.gms.googleservices.GoogleServicesPlugin.config.disableVersionCheck = true』

但如果前面兩個動作拿掉，還是一樣不行，也就是三個動作都要做。

ionic native plugin firebase build ios error

2017-12-20T08:33:00.002+08:00

近日重建ios版的ionic2 app時，會遇到一個怪情況：

在ionic cordova build ios沒問題，但是進到xcode進行編譯時，會出現以下的錯誤：terminating with uncaught exception of type NSException

再進一步檢查內容，可以發現： erminating app due to uncaught exception 'com.firebase.core', reason: 'Configuration fails. It may be caused by an invalid GOOGLE_APP_ID in GoogleService-Info.plist or set in the customized options.

找了一些資料後，目前初步結論可知cordova-plugin-firebase對於GoogleService-Info.plist這個檔案的處理有不正確的地方，經檢視該plugin的網頁提到某些firebase的設定檔應該放置在：platforms/ios//Resources

但即便在該目錄下有放置 GoogleService-Info.plist這個檔案，但仍是發生錯誤，最後是往下再放一個Resources，才解決xcode編譯問題：platforms/ios//Resources/Resources

環境說明：

@ionic/cli-utils : 1.19.0

ionic (Ionic CLI) : 3.19.0

global packages:

cordova (Cordova CLI) : 7.1.0

local packages:

@ionic/app-scripts : 3.1.2

Cordova Platforms : android 6.3.0 ios 4.5.4

Ionic Framework : ionic-angular 3.9.2

System:

Android SDK Tools : 24.4.1

ios-deploy : 1.9.2

Node : v9.1.0

npm : 5.5.1

OS : macOS Sierra

Xcode : Xcode 9.2 Build version 9C40b

Environment Variables:

ANDROID_HOME : /usr/local/opt/android-sdk

Misc:

backend : legacy

cordova build ios error "module FirebaseInstanceID not found"

2017-11-16T09:22:00.001+08:00

如果有使用較新版（2.x以上）phonegap-plugin-push，在build --verbose 時，如果出現"module FirebaseInstanceID not found"這樣的錯誤警訊

請參考phonegap-plugin-push在github上針對cocoapod的說明：
https://github.com/phonegap/phonegap-plugin-push/blob/master/docs/INSTALLATION.md#cocoapods

簡單說就是，該裝的LIB在cordova platform add ios時無法主動裝進去，所以產生錯誤，所以做以下動作即可

cd platforms/ios
pod install

updating the version of com.google.android.gms

2017-11-14T10:21:00.005+08:00

在ionic 2應用firebase的開發中，如果混合多種plug-in(如push、iap、admob)，會發生內部引用LIB的異常，如果遇到以下的錯誤警示：

Execution failed for task ':processDebugGoogleServices'.
> Please fix the version conflict either by updating the version of the google-services plugin (information about the latest version is available at https://bintray.com/android/android-tools/com.google.gms.google-services/) or updating the version of com.google.android.gms to 11.0.1.

解法：
1. 在/project/platforms/android/project.properties 中，將相關的都改成提示的版本

cordova.system.library.3=com.google.firebase:firebase-messaging:11.0.1

cordova.system.library.4=com.google.android.gms:play-services-base:11.0.1

cordova.system.library.5=com.google.android.gms:play-services-ads:11.0.1

2. 這個方式，預計在遇到 ionic cordova platofrm remove android 時，會需要重新修正。

Module not found: Error: Can't resolve

2017-11-12T22:37:00.003+08:00

Module not found: Error: Can't resolve './app.module.ngfactory' in
resolve './app.module.ngfactory

在 ionic cordova build anroid --prod 遇到這樣的的錯誤警報，先去檢查是否有額外不小心新加的page忘了加進去app.module之中

firebase query 回來資料反轉時間序（還未測）

2017-05-06T08:39:00.005+08:00

https://github.com/angular/angularfire2/issues/283

ericel commented

on 20 Jan

• edited

In my case I had a field in the datebase called createdAt (createdAt: firebase.database.ServerValue.TIMESTAMP)
To retrieve I simply ask my list to query order by child

this.postList = this.af.database.list('post',  {
      query: {
        orderByChild: 'createdAt'
      }
    });

getPost() {
     return this.postList.map(posts => {
         return posts.reverse();
     });

ionic2 storage 1.1.16 以上，會出現『Cannot resolve all parameters for ‘Storage’(?, ?)』的錯誤

2017-03-20T00:47:00.001+08:00

在官方的 ionic-storage 的 2.0.0 以解決此問題：

Moved to NgModule to resolve dependency injection issue.

Update Steps:

Run npm install @ionic/storage@2.0.0 --save --save-exact
Remove Storage from your providers in app.module.ts
import { IonicStorageModule } from '@ionic/storage' instead of import { IonicStorage } from '@ionic/storage' in app.module.ts
Add IonicStorageModule.forRoot() to the imports array in app.module.ts

看來是把 storage 從 provider 中移出來

參考資料：

https://github.com/driftyco/ionic-storage/releases/tag/v2.0.0

要如何升級 ionic2 專案中的 package.json 的依存庫

2017-03-20T00:43:00.004+08:00

IONIC2的更新也算快，但似乎沒有指令可以簡單將 package.json 中引用的函式的版本升級，後來找了一下資料，主要有以下幾個步驟：

先將全域的ionic升級：npm install -g ionic
檢查目前專案中 package.json 所列的函式是否有過期的：npm outdated
將 2. 所提式的過期版本更新回 package.json
之後再下達更新 npm update

另外也可以參考

npm i -g npm-check-updates
npm-check-updates -u
npm install

參考資料：

How to update Ionic 2 cli and libraries

kiko的閒聊

在 proxmox 下裝 k8s 經常不定時重啟

prxmox linux and win19 trim space

k8s rclone use google cloud service account sync file to google drive folder

proxmox 增加 CPU 溫度偵測

k8s wordpress 的需求應該開多少呢？

Proxmox DRBD9 雙機用肚子內的硬碟達到熱備援

Create the first VM on DRBD for testing and live migration

巢狀 Proxmox Cluster異常的處理

proxmox 巢狀 proxmox 及IO直通、全盤映射

k8s學習-NFS

最後改採Helm來導入

步驟

參考資料：

Mikrotik trunk with OpenWRT

有關技術裝備的相關知識

OJS 3.3.8 與 JATSParserPlugin 2.1.3 插件的相容問題

OJS on GCE send mail

GCE 專案 加SSH KEY

CEPH 相關指令

Raspberry Pi 4B Ubuntu Server 20.04 disable usbcore autosuspend

Proxmox的KSM設定

ionic 4 build release error with admob free and firebase

ionic native plugin firebase build ios error

cordova build ios error "module FirebaseInstanceID not found"

updating the version of com.google.android.gms

Module not found: Error: Can't resolve

firebase query 回來資料反轉時間序（還未測）

ionic2 storage 1.1.16 以上，會出現『Cannot resolve all parameters for ‘Storage’(?, ?)』的錯誤

要如何升級 ionic2 專案中的 package.json 的依存庫

GCE 專案加SSH KEY