雨恩的生活日誌

排查IIS ASP.NET網站應用程式記實

2026-06-30T10:36:10.890+08:00

事情發生在windows domain controller (DC)伺服器的硬碟故障導致我們直接放棄該台DC並將所有DC工作全部轉移到另一台DC之後。登入網域驗證的工作沒有問題的移轉了, 但問題出在DNS: client若使用DHCP取得IP的, 基本沒什麼問題。問題在固定IP的電腦或伺服器, 基本上若有變慢或卡住的情形, 檢查其DNS設定做更改就是。但有些情況是比較難排查的:

我們注意到內部一套使用ASP.NET開發的系統, 之前都流暢運行, 現在在登入或操作數分鐘之後, 會出現卡住10多秒的情形, 但之後又可以持續正常運行一段時間。

一開就懷疑是名稱解析問題, 但該伺服器的DNS已改成正確的, 狀況還是沒有改善。問Copilot意見，由它的建議中，找到查IIS Log的方法:

📑 檢查 IIS 日誌

日誌位置
- 預設路徑：
  程式碼
  %systemroot%\system32\LogFiles\W3SVC1\
  （不同網站會有不同的 W3SVC 編號資料夾）

打開最可能的日誌檔後，複製全部的內容，再貼回給Copilot去分析。它告訴我幾個要注意的地方, 其中出現302重導, POST請求的問題, 可能是登入流程, session驗證, 或後端SQL查詢延遲。這讓我將注意力放到登入的部份, 確實問題是在登入或操作數分鐘之後, 會出現卡住10多秒的情形。而我們的ASP.NET應用程式, 也是在登入時必須和後端資料庫比對資料成功後才發給session。先看看是否連線到資料庫正常, 用tnsping:

C:\Documents and Settings\ops>tnsping xxx

TNS Ping Utility for 32-bit Windows: Version 9.2.0.1.0 - Production on 25-6月 -2 026 10:53:52

已使用的參數檔案:

使用 TNSNAMES 介面程式來解析別名 Attempting to contact (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP) (HOST = tf-or11g.princo.com.tw)(PORT = 1521))) (CONNECT_DATA = (SERVER = SHARED) (SERVICE_NAME = orclXDB))) OK (0 msec)

Copilot說: "你跑的 tnsping xxx 測試結果顯示 Oracle Net 連線非常快 (0 msec)，代表網路、Listener、TNS 解析都沒有問題。這樣一來，IIS /salary/login.aspx 多次 302 延遲就不是「連線建立」的問題，而更可能是應用程式與 Oracle DB 互動的效能瓶頸。接下來可以從以下幾個角度深入檢查：" 然後列了一大堆可能的檢查方向。我先試個人覺得比較有可能的:

慢查詢 / Index 問題

登入驗證通常會查詢使用者表，若缺少索引或 SQL 效能差，會造成延遲。

檢查：

sql

SELECT sql_id, executions, elapsed_time/executions AS avg_ms
FROM v$sql
WHERE sql_text LIKE '%LOGIN%';

SQL_ID        EXECUTIONS     AVG_MS
------------- ---------- ----------
059zr3n1302hh         10    14287.3
04zbxydx7zr42          1      15098

Copilot看到這個結果後說: "你查到的 SQL 結果非常關鍵：這代表登入相關的 SQL 平均執行時間 14~15 秒，這正好對應到 IIS /salary/login.aspx 出現的 10 秒以上延遲。也就是說，問題不是 Oracle Net 連線或 Dispatcher，而是登入驗證 SQL 本身效能差。"

找出 SQL 內容

sql

SELECT sql_text
FROM v$sql
WHERE sql_id='059zr3n1302hh';

INSERT INTO mgmt_db_dbNInstanceInfo_ecm
(BANNER, CHARACTERSET, DATABASE_NAME, DEFAULT_TEMP_TABLESPACE, DV_STATUS_CODE,
 ECM_SNAPSHOT_ID, GLOBAL_NAME, HOST_NAME, INSTANCE_NAME, LOGINS, LOG_MODE,
 NATIONAL_CHARACTERSET, OPEN_MODE, STARTUP_TIME)
VALUES (:1, :2, :3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14)

可惜的是, 這個平均執行時間 14~15 秒的SQL, 並不是單純的登入驗證查詢而是不知道在何時觸發的管理性 INSERT! 因此這個方向不對。

Copilot也叫我去檢查v$lock裡是否有大量鎖定, 這也個條死巷子。

最後我問了Copilot一個問題: how to find the long rurn sql query?

它的回答, 給了我找到root cause的契機。

To identify long‑running SQL queries in Oracle, you can use several dynamic performance views. Here are the most effective approaches:

🔎 Methods to Find Long‑Running SQL

1. Active Sessions Currently Running

sql

SELECT s.sid,
       s.serial#,
       s.username,
       s.machine,
       q.sql_id,
       q.sql_text,
       q.elapsed_time/1000000 AS elapsed_sec,
       q.executions
FROM   v$session s
JOIN   v$sql q ON s.sql_id = q.sql_id
WHERE  s.status = 'ACTIVE'
ORDER BY elapsed_sec DESC;

我在網站應用程式卡住的時候去跑這支SQL查詢, 就看到一個可疑的長執行SQL: select * from dual@yyy

而yyy正是我們網站應用程式有用到的database link名稱, 再去檢查該資料庫連結名稱的定義, 發現其定義只是一個簡單的名稱, 應該是以前用手動指定在(現已故障放棄不用的)Domain Controller的DNS對應。

因此, 將該資料庫連結名稱定義修改後, 問題就解決了。

Ubunt 24.04 加裝XFCE桌面環境

2025-07-29T11:55:00.002+08:00

微軟的Copilot一直推薦我使用XFCE來取代GNOME桌面:

為了讓你在 XRDP 下獲得穩定的使用者體驗，尤其是在登入後不閃退、不依賴 GNOME 和 systemd --user，我建議你使用 XFCE 或 MATE 桌面環境，並重新配置 session 啟動鏈條。

我就信它一次, 來試試看:

🧰 1. 安裝 XFCE 桌面環境（推薦）

sudo apt update

sudo apt install xfce4 xfce4-session xfce4-goodies dbus-x11

為什麼選 XFCE：
它不依賴 systemd --user，且在 XRDP 下表現穩定、資源消耗低。

📝 2. 編輯 /etc/xrdp/startwm.sh

請將內容改成如下：

#!/bin/sh

. /etc/profile

. ~/.profile

exec startxfce4

✅ 確保該檔案可執行：

sudo chmod +x /etc/xrdp/startwm.sh

⚙️ 3. 設定 PAM 與 D-Bus 相容性（選用）

確認 XRDP session 使用 PAM 載入環境：

sudo grep pam_systemd /etc/pam.d/xrdp-sesman || echo "session required pam_systemd.so"

如果沒有該行，可加入：

echo "session required pam_systemd.so" | sudo tee -a /etc/pam.d/xrdp-sesman

🧹 4. 清理殘留 .Xauthority 及 lock file（首次修復建議）

sudo rm -f /tmp/.X11-unix/X*

sudo rm -f /tmp/.X*-lock

rm -f ~/.Xauthority

touch ~/.Xauthority

chown ops:ops ~/.Xauthority

🚀 5. 重啟 XRDP

sudo systemctl restart xrdp

sudo systemctl restart xrdp-sesman

現在你重新連線後，應該會進入 XFCE 桌面，並且長時間不會被 session timeout 或閃退問題困擾。

--------------------------------------------

安裝 XFCE 桌面環境(sudo apt install xfce4 ...)後, 出現"正在設定lightdm"的對話框, 要我選default display manager, 我要選gdm3或lightdm? 同樣問Copilot, 它說lightdm。

--------------------------------------------

如上圖, XFCE果然簡潔有力, 就是古典的桌面, 但是我的要求是穏定, 其他再說, 所以先試看看一段時間。桌面的使用必須熟悉一下, 但似乎有些問題要先解決:

(1) XFCE裡的終端機模擬程式, 無法開啓? 但是"xfce終端機"可以正常啓動? 在桌面下方的選單, 單選的"終端機模擬程式", 其指令為exo-open --launch TerminalEmulator, 一直打不開?

🛠️ 解法：設定預設終端機程式給 exo-open

XFCE 使用 exo-preferred-applications 來設定「首選應用程式」，只要設定好 Terminal 類別即可：

✅ 方法一：圖形介面設定

在 XFCE 桌面上開啟 「設定」 → 「首選應用程式」
選擇「實用工具」分頁（Utilities）
在「終端機模擬程式」選項中，選擇 xfce4-terminal 或你想使用的其他程式（如 xterm）

這樣設好後, 左上角的"應用程式"下拉選單裡的"終端機模擬程式", 和中間下方的"終端機模擬程式"圖示, 按下後才會出現正常的命令列工具(其實就是xfce終端機)。我也試過其他選項, 如GNOME終端機, 都不能正常啓動。

(2) xfce中的firefox無法啓動? 觀察到log: Authorization required, but no authorization protocol specified Error: cannot open display: :10.0

這個錯誤訊息表示 Firefox 嘗試在顯示器 :10.0 上啟動，但 X11 授權失敗。這在使用 XRDP、VNC 或 SSH X11 轉發時非常常見。

🛠️ 解決方法

✅ 1. 設定 XAUTHORITY 環境變數

export XAUTHORITY=$HOME/.Xauthority

這告訴 Firefox 使用你目前使用者的 X 授權檔案。

✅ 4. 若使用 XRDP，請確認 session 啟動時有正確載入 .Xauthority

你可以在 ~/.xsession 或 startwm.sh 中加入：

export XAUTHORITY=$HOME/.Xauthority

我選擇在startwm.sh中加入:export XAUTHORITY=$HOME/.Xauthority

(3) xfce會自己suspend? 一小段時間不使用後, 機器自己休眠了, 因為是要當伺服器用, 所以不能休眠。讓 XFCE 完全不自動休眠:

⚙️ 停用 XFCE 的自動休眠功能

1. 關閉電源管理器的休眠設定

打開 XFCE 電源管理器設定：

xfce4-power-manager-settings

在「系統」分頁中：

將「閒置後執行動作」設為「無動作」
將「蓋上筆電蓋子時」的動作也設為「無動作」

🧱 阻止系統層級的 suspend 行為

使用 systemctl 將休眠相關目標屏蔽：

sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target

這會防止任何服務或使用者觸發休眠、睡眠或混合睡眠。

🖥️ 停用螢幕節能與 DPMS

在 XFCE 啟動時執行以下命令，或加入到啟動項目中：

xset s off

xset -dpms

xset s noblank

這些設定會停用螢幕保護、節能模式與自動關閉螢幕。

🧠 額外建議：確認 session 不會觸發 GNOME 或 systemd 的 idle suspend

如果你有混合使用 GNOME 元件或 systemd-logind，請檢查 /etc/systemd/logind.conf：

[Login]

IdleAction=ignore

然後重啟 systemd-logind：

sudo systemctl restart systemd-logind

這樣設定後，XFCE 就不會自動休眠了。

---------------------------------------------

所以, startwm.sh 變成:

if test -r /etc/profile; then

. /etc/profile

if test -r ~/.profile; then

. ~/.profile

export XAUTHORITY=$HOME/.Xauthority

xset s off

# xset -dpms

xset s noblank

exec startxfce4

----------------------------------------------

Ubuntu 24.04 XRDP+GNOME桌面狀況(黑畫面+閃退)

2025-07-24T16:48:00.003+08:00

Ubuntu 24.04的GNOME桌面, 使用XRDP, 由遠端桌面工具登入時, 使用界面真的很棒。非常現代化的設計, 多個桌面任你增減, 應用程式隨你拖拉, 非常直覺的設計, 而且反應流暢快速, 令人愛不釋手。

但是我碰到許多問題, 一開始是用遠端桌面連線工具程式連入時, 畫面卡住, 只看到滑鼠遊標變成X, 就是所謂的黑畫面。找了一下, 有人說是將/etc/xrdp/startwm.sh加入以下幾行:

unset DBUS_SESSION_BUS_ADDRESS

unset XDG_RUNTIME_DIR

. $HOME/.profile

一開始, 還管用, 但不久又出狀況, 用遠端桌面連線工具程式連入時, 打完帳號密碼, 就立刻閃退。又找了一下, 網上有人說, 可以在client端的機器, 找default.rdp這個檔案, 把檔案的這行:

use redirection server name:i:0

改成

use redirection server name:i:1

試了一下, 可以哦! 連進去了。

但好景不常, 沒幾天, 它自己斷線, 然後就再也連不進去了, 一直閃退!

所以開始和Copilot一起找問題:

1. 先看/etc/xrdp/xrdp.ini, /etc/xrdp/sesman.ini, 沒什麼特別問題

2. 查看/var/log/xrdp-sesman.log, Copilot看完後說: " XRDP session 啟動順利地完成使用者驗證並啟動了 Xorg，但在 window manager 啟動階段卻快速崩潰。這是造成 session 秒斷的主要原因。" 然後它建議我檢查 /etc/xrdp/startwm.sh, 我就直接把這個.sh檔案內容給它看。它回答看起來就是預設的寫法, 依賴/etc/X11/Xsession來啓動桌面環境。並建議我大改/etc/xrdp/startwm.sh, 我覺得不知道在改什麼, 就告訴它, 重開機就可以連進去, 但一段時間後會斷線, 然後就連不進去。於是它要我試試:

2-1 檢查之前連線殘存的lock file

ls -la /tmp/.X11-unix/

ls -la /tmp/.X*-lock

2-2 session是否沒斷乾淨, 可以重開服務

sudo systemctl restart xrdp-sesman

sudo systemctl restart xrdp

2-3 session 顯示號與 Xserver 衝突, 查看

ps aux | grep X

有的話, kill

3. 它要我看 ~/.xsession-errors, 然後它告訴我: "這些錯誤訊息揭露了 XRDP session 在 GNOME 桌面環境下啟動失敗的根本原因：缺少 dbus-launch 命令，導致整個 D-Bus 初始化鏈出錯，無法提供桌面環境所需的進程通訊功能。" 它要我做以下動作:

3-1 安裝缺少的 dbus-x11 套件，這會提供 dbus-launch 命令

sudo apt install dbus-x11

3-2 安裝完成後，建議重啟 XRDP：

sudo systemctl restart xrdp

sudo systemctl restart xrdp-sesman

** 到這裡, 原本連不進去的, 就可以連進去了。接著我開始用力的測試XRDP, 用遠端桌面連線工具程式連入又登出, 又連入又登出, 就這樣試好幾次都可以。接著, 我用console登入, 再登出後。再使用遠端桌面連線工具程式嘗試連入, 結果又不行了! 我同樣再把~/.xsession-errors, 裡的錯誤訊息找出來給它看。它說: "GNOME 需要 systemd --user 配合 D-Bus 啟動許多組件，缺失可能導致不穩定", 並建議安裝systemd-user, 以及檢查PAM:

cat /etc/pam.d/xrdp-sesman

這個檔要包含:

session required pam_systemd.so

** 以上動作做完後, 遠端桌面連線工具程式連入又登出, 都可以正常的再連入。但是console登入卻被警告使用者session已經存在, 不能登入, 除非強制將session關閉, 但如此可能造成一些問題。我試著按強制關閉, 卻沒反應。此時想到, 用:

$ ps aux | grep X

gdm 26693 0.0 0.1 540508 82208 tty1 Sl+ 11:51 0:00 /usr/bin/Xwayland :1024 -rootless -noreset -accessx -core -auth /run/user/124/.mutter-Xwaylandauth.577FA3 -listenfd 4 -listenfd 5 -displayfd 6 -initfd 7 -byteswappedclients

ops 27037 0.0 0.1 315300 74344 ? Sl 11:51 0:00 /usr/lib/xorg/Xorg :10 -auth .Xauthority -config xrdp/xorg.conf -noreset -nolisten tcp -logfile .xorgxrdp.%s.log

ops 28353 0.0 0.1 314792 74016 ? Sl 11:52 0:00 /usr/lib/xorg/Xorg :11 -auth .Xauthority -config xrdp/xorg.conf -noreset -nolisten tcp -logfile .xorgxrdp.%s.log

ops 43840 0.0 0.0 6924 2016 pts/0 S+ 13:32 0:00 grep --color=auto X

明顯可以看到session 顯示號10, 11兩個行程都還在, 並沒有因為遠端桌面連線登出而消失。所以就kill:

$ sudo kill 28353

$ sudo kill 27037

此時由console就可以正常的登入了。

***確實, XRDP和GNOME桌面環境的配合, 還不太穩定。不像SSH這般的穩定, 幾乎沒有出問題。

----------------

結論:

----------------

1. 主要是XRDP session出問題, 可查看其log: ~/.xsession-errors

2. dbus-x11套件要安裝

3. PAM設定要看一下

4. session 顯示號行程是否卡住, 可以用ps aux | grep X看, 有必要可kill

Windows AD裡若有多台DC, 當其中一台出現問題時, 解決過程! (考古文)

2025-07-17T10:28:00.000+08:00

沒錯! 2025年了, 還在用Windows 2003 server的AD網域。所以, 最新版的Windows AD應該已經不會有這些問題了吧! 我不知道! 但是windows 2003的AD, 就已經可以有多台DC, 當然是為了防止單一台主機故障, 我們辛苦一筆一筆建立的使用者帳號就不見了。有了多台DC, 就可以把這些帳號資料同時存在不同的DC, 萬一有一台機器壞了, 還有其他DC保存個這些資料。

那麼平常使用AD帳號登入機器時, 自然也是去DC查詢帳號密碼對不對。是不是多台DC環境下, 只要有一台DC正常運作, 就可以了呢? 很多人都會理所當然的這麼想的, 但在2003, 其實不是這樣的。我們有一台主機, 在登入畫面, 當選擇登入AD網域時, 一直出現 "無法登入, 因為無法連線到網域" 的錯誤訊息。因為之前已經檢查了相關主機狀況, 所以我知道多台DC中有一台有點問題。它出現了以下幾個徵狀:

1. 在Active Directory使用者及電腦, 要查找使用者時出現問題

2. 查看事件檢視器的目錄服務分類, 看到一些複寫的錯誤及警告, 例如:

------------------------------------------------------------------------------------------------------------------------

這個伺服器是下列 FSMO 角色的擁有者，但並不認為它是有效的。對於含有 FSMO 的磁碟分割，這個伺服器自從重新啟動後即未以任何它的協力電腦成功複寫過。複寫錯誤正阻礙這個角色的確認。

要求連絡 FSMO 操作主機的操作將會失敗直到這個問題被更正為止。

FSMO 角色: CN=RID Manager$,CN=System,DC=princo,DC=com,DC=tw

使用者動作:

1. 初始同步處理是系統啟動時所做的第一個早期複寫，初始同步處理失敗可能說明了為什麼無法確認 FSMO 角色。這個程序已在 KB article 305476 中說明。

2. 這個伺服器擁有一或多個複寫協力電腦，而所有這些協力電腦的複寫都將失敗。請使用命令 repadmin /showrepl 來顯示複寫錯誤，更正有問題的錯誤。例如，阻礙複寫成功的問題可能在 IP 連線能力，DNS 名稱解析或安全性驗證。

3. 在所有複寫協力電腦全都關閉是預期發生 (可能因為維護或從嚴重損毀中修復) 的稀有狀況中，您可以強迫確認角色。這可以經由使用 NTDSUTIL.EXE 拿取角色給相同的伺服器來達到。這可以使用 http://support.microsoft.com 上 KB articles 255504 和 324801 中所提供的步驟來達到。

下列操作可能會受影響:

架構: 您將不再能夠修改這個樹系的架構。

網域命名: 您將不再能夠從這個樹系新增或移除網域。

PDC: 您將不再能夠執行諸如群組原則更新和非 Active Directory 帳戶密碼重設之類的主要網域控制站操作。

RID: 您將不再能夠為新使用者帳戶、電腦帳戶或安全性群組配置新的安全性識別元。

基礎結構: 諸如萬用群組成員資格之類的跨網域名稱參照將無法正確地更新，如果參照目標物件已移動或重新命名。

------------------------------------------------------------------------------------------------------------------------

以及:

-------------------------------------------------------------------------------------------------------------------------

這是本機網域控制站上，下列目錄磁碟分割的複寫狀態。

目錄磁碟分割:

DC=princo,DC=com,DC=tw

本機網域控制站最近並未從一些網域控制站收到複寫資訊。顯示出的網域控制站計數，分成下列的間隔。

超過 24 小時:

超過一週:

超過一個月:

超過兩個月:

超過標記存留時間:

標記存留時間 (天):

180

未及時複寫的網域控制站可能會發生錯誤。它可能會遺失密碼變更，並且無法驗證。未在標記存留時間內進行複寫的 DC 可能已遺失某些物件的刪除，在重新調整之前，它將被自動中止以後的複寫操作。

如果要依照名稱來識別網域控制站，請安裝包含在安裝 CD 中的支援工具，然後執行 dcdiag.exe。

您也可以使用支援工具 repadmin.exe 來顯示樹系中網域控制站的複寫延遲。命令為 "repadmin /showvector /latency <partition-dn>"。

------------------------------------------------------------------------------------------------------------------------

針對"無法登入, 因為無法連線到網域" 的錯誤訊息, 我當然問了AI, 它給我很多可能的問題原因和查找方法, 包括網路是否斷線, DNS查找是否正常等。這些, 我都已經排除了, 所以我直接告訴AI, 都不是這些問題, 而是多台DC中的一台壞了, 而那台要登入的主機, 那台DC不選, 偏要選壞掉的DC來查找登入資訊。

這就是Windows 2003的AD網域, 最令人不能理解的地方了。

我即然已經知道是有某台DC出問題, 那麼把它修好就是了。但不希望使用者等待我修護, 最直接的方式, 就是先將壞掉的DC關機。然後, 使用者再重新登入他的主機, 就會看到原本直接立刻跳出錯誤訊息的情況, 變成等待一會後, 就成功登入了。由行為來看, 問題並不在AD, 而昰要登入的主機(剛好也是Windows 2003), 為什麼不會(聰明一點)自動去試另一台DC? 而是固著在一台有問題的DC, 直到那台DC被關機?

使用者問題排除後, 我如何修這台出問題的DC? 因為查了一下, 發現是複寫失敗太久了(標記存留時間 =180天), 可能遺失某些物件的刪除, 等等的。我並沒有把握可以完整的修好它, 所以就選擇簡單一些的方法: "把該台DC降級", 然後以後有必要, 再考慮是否把它升級回去。

但因為該台DC和其他正常的DC連線已經有問題, 所以用dcpromo指令, 做降級動作時, 會無法成功, 因為它要先連回AD, 做清除自己這個DC的資訊。這時候AI幫上忙了:

--------------------------------------------------------------------------------------------------------------------------

在 Windows Server 2003 中，如果你使用 dcpromo 降級網域控制站（DC）時遇到錯誤，例如無法聯繫其他 DC 或複製失敗，可以考慮使用 強制移除（/forceremoval） 的方式跳過某些檢查。

🛠️ 使用 dcpromo /forceremoval 強制降級

這個指令會將 DC 降級為成員伺服器，即使它無法與其他 DC 通訊：

dcpromo /forceremoval

⚠️ 注意：這不會清除 Active Directory 中的該 DC 資料，會留下「孤立的 metadata」，你必須在其他健康的 DC 上手動清理。

🧹 強制降級後的清理步驟

清除 AD metadata

在其他 DC 上執行：

ntdsutil metadata cleanup

選取要移除的 DC，並執行 remove selected server

移除 DNS 記錄

刪除該 DC 的 A 記錄、SRV 記錄、反向查詢記錄
檢查 _msdcs、_sites 等區域是否仍有殘留

移除 AD Sites and Services 中的伺服器物件

📌 額外提醒

若該 DC 擁有 FSMO 角色，請先轉移或在其他 DC 上「強制接管（seize）」角色
若該 DC 是 Global Catalog 或 DNS Server，也需在其他 DC 上重新設定

-----------------------------------------------------------------------------------------------------------------

所以, 做法是先找故障DC是否有 FSMO 角色, 若有則強制接管（seize）該角色, 還好我的情況是只有一個RID master。由另一台正常的DC先行強制接管後, 就去把故障DC降級, 接著還要去清一些AD metadata。這樣就暫時解決這個問題了。

至於如何查找 FSMO 角色及強制接管這些角色, 就問AI就可以了:

------------------------------------------------------------------------------------------------------------------

🛠️ 使用 netdom 查詢 FSMO 角色分布

netdom query fsmo

這個指令會列出目前網域中五個 FSMO 角色的持有者：

FSMO 角色	功能說明
Schema Master	控管 AD 架構的變更
Domain Naming Master	控管網域新增/移除
RID Master	分配 RID 給 DC，用於建立 SID
PDC Emulator	模擬舊版 PDC，處理密碼同步與時間同步
Infrastructure Master	更新跨網域物件參照資訊

✅ netdom 工具包含在 Windows Server 2003 Support Tools 中，請確認已安裝。

🛠️ 強制接管 RID Master 的步驟

請在你要接管角色的 DC 上執行以下操作：

開啟命令提示字元

ntdsutil

進入 FSMO 管理模式

roles

建立連線到目標 DC（你要接管角色的 DC）

connections connect to server <你的DC名稱> quit

執行強制接管 RID Master

seize rid master

完成後退出工具

quit quit

------------------------------------------------------------------------------------------------------------------

同樣, 清除AD metadata, 也是問AI:

-------------------------------------------------------------------------------------------------------------------

🧹 使用 ntdsutil 清除 AD metadata 的步驟

請在健康的 DC 上執行以下操作：

開啟命令提示字元

ntdsutil

進入 metadata cleanup 模式

metadata cleanup

建立連線到本機或其他 DC

connections connect to server <你的DC名稱> quit

選擇要移除的 DC

select operation target list domains select domain <編號> list sites select site <編號> list servers in site select server <編號> quit

移除選定的 DC

remove selected server

退出工具

quit quit

📋 清理後的額外步驟

Active Directory Sites and Services

刪除該 DC 的 NTDS Settings 與 Server 物件

Active Directory Users and Computers

刪除該 DC 的電腦帳戶（位於 Domain Controllers OU）

DNS 管理主控台

移除該 DC 的 A、SRV、PTR 記錄，特別是 _msdcs 區域

-----------------------------------------------------------------------------------------------------------------

雖然, Windows 2003是個老系統了, 這些問題別人肯定也碰過, 微軟的文件也是會有的。但是, 查找文件還是很花時間精神的。有了AI的協助, 要下什麼指令, 或找問題, 會更有效率。但是人類的判斷能力還是更好一些的, AI受限於我們輸入給它的資訊, 不見得看得到全貌。但是透過多次的來回問答, AI給了我許多協助, 得以更快的解決問題。

在Windows 2003 server裡備份檔案, 使用ShadowSpawn + robocopy (考古文)

2025-07-10T18:06:00.002+08:00

時光來到2025, 還在用Windows 2003 server, 大家就知道我的年資不少了。反正, 基於各種原因, 就是要用Windows 2003就對了。而且有備份檔案的需求, 上網找了一下可能的方案, 發現robocopy有不少愛好者, 評價很好。所以就想用, 而robocopy在windows 2003是透過resource kit提供。沒想到微軟的網站上, 已經找不到這個resource kit了, 所幸在Archive網站仍然可以找到。Windows 2003 Resource Kit x86 Internet Archive的連結

注意一下, 似乎只支援x86, 還好的是我使用的那台機器是x86。安裝方法很簡單, 下載下來的 rktools.exe檔直接執行, 然後一直下一步就可以了。預設會在C:\Program Files\Windows Resource Kits\Tools目錄下安裝許多工具程式, 其中也包括robocopy。

Robocopy的使用方法, 可以參考這個網站: Robocopy使用詳例

**********************************************************

接著, 我發現了一件事: 有些檔案因為被鎖定, 所以一直沒有被robocopy備份到! 才想到要做Shadow copy! 又研究了一下, 發現ShadowSpawn的評價不錯, 它的網址: Candera/shadowspawn 是GitHub的一個公開專案, 可是專案owner Candera說已經十多年沒認真使用Windows平台了, 目前也沒心力再支援這個專案了, 也希望有心人可以fork它的專案來接手維護。而且, 之前的已編譯好的可執行程式目錄也不見了。所以只能自己編譯了(還好有source code), 但我試了一下, 發現我編出來的程式, 沒辦法在Windows 2003上面跑, 因為使用的微軟開發環境太新了!

所幸, Candera有指出明路: 關於可在Windows 2003執行的ShadowSpawn可以在那裡找的討論文, 所以下載這支程式, 不用安裝, 直接放到HD, 再安裝vcredist-2010_x86.exe (如果原本沒裝過的話), 就可以了。試了一下, 可以順利執行! 但好像路徑名稱和中文不太合, 用英文路徑名就很順了。

** 警語: 是說, 我一直覺得不是由官方網站下載的程式, 安全性很令人擔心! 反正, 我先試試, 出了問題再來報告。

在Ubuntu 24.04上使用nsd安裝一台Authoritative DNS Server

2025-07-08T18:04:00.002+08:00

我發現安裝Ubuntu 24.04 Server後預設會有systemd-resolved service在跑, 使用netstat -l指令查看, 會看到127.0.0.53之類的socket出現, 還有使用ls -l /etc/resolv.conf, 會發現這個檔案變成軟連結。問了Copilot, 它說: "127.0.0.53 是 Linux 系統（特別是使用 systemd 的發行版，如 Ubuntu）中 systemd-resolved 的本地 DNS stub resolver。它的作用是作為本機 DNS 中介，將應用程式的查詢轉發給實際的上游 DNS 伺服器。"而systemd-resolved的上遊是那台DNS server呢? 應該是放在 /etc/systemd/resolved.conf 這個設定檔, 這個檔可以如下設定:

[Resolve]

DNS=8.8.8.8

FallbackDNS=1.1.1.1

然後, 下指令:

sudo systemctl restart systemd-resolved

重啓systemd-resolved, 應該就可以正常的ping的到主機名稱了。

問題是, 我要安裝nsd時, 會發現port 53已經被佔用, 不能安裝了。所以第一個動作, 我必須先禁用systemd-resolved, 改回使用原本的/etc/resolv.conf檔的老方法。Copilot告訴我的詳細作法:

-------------------------------------------------------------------------------------------------------

關閉 systemd-resolved 的完整步驟：

- 停止並禁用服務

sudo systemctl disable --now systemd-resolved

- 移除 /etc/resolv.conf 的符號連結（symbolic link）

預設這個檔案其實是連到 /run/systemd/resolve/stub-resolv.conf

sudo rm /etc/resolv.conf

- 建立一份你自己的 resolv.conf 檔案

你可以手動指定 DNS，例如使用 Google DNS：

echo "nameserver 8.8.8.8" | sudo tee /etc/resolv.conf

echo "nameserver 1.1.1.1" | sudo tee -a /etc/resolv.conf

- ✅ 確認你的設定生效

執行：

cat /etc/resolv.conf

- 確認內容是你剛剛設定的 DNS。

📌 提醒一下：

關掉 systemd-resolved 之後，你系統上的某些網路管理工具（如 NetworkManager）如果沒有特別設定，可能會重新覆蓋 /etc/resolv.conf。

-------------------------------------------------------------------------------------------------------

為了避免/etc/resolv.conf再被別的工具覆蓋, Copilot教的方法:

=============================================================

方法一：使用 chattr 鎖定 resolv.conf

這個方法簡單又有效，適合手動管理 DNS。

- 確保 resolv.conf 已存在並正確設定

cat /etc/resolv.conf

- 例如，內容應該類似：

nameserver 8.8.8.8

nameserver 1.1.1.1

- 鎖定該檔案以防修改

sudo chattr +i /etc/resolv.conf

- 這會把檔案設成不可修改（immutable）。

- 如果日後你想修改內容，請先移除鎖定：

sudo chattr -i /etc/resolv.conf

⚙️ 方法二：調整 NetworkManager 設定（如果你有用它）如果你的系統有安裝 NetworkManager，可以這樣讓它不要自動控制 DNS 設定。- 編輯設定檔：

sudo nano /etc/NetworkManager/NetworkManager.conf

- 在 [main] 區段底下加一行：

dns=none

- 重新啟動 NetworkManager：

sudo systemctl restart NetworkManager

- 然後再次手動建立 /etc/resolv.conf（就像你之前做的那樣）。

🧠 小叮嚀：使用 chattr +i 是最強制、也最不容易出錯的方法，但如果你未來會透過圖形介面或 DHCP 自動取得 DNS，那就建議使用方法二來保持彈性。

=============================================================

我自己因為只想安裝最單純的指令列Linux, 所以選擇將NetworkManager關掉:

# disable NetworkManager

sudo systemctl disable NetworkManager.service

到這裡就可以安裝nsd了。

sudo apt update

sudo apt upgrade

sudo apt install nsd

裝完, 可以設定nsd, 主要有2個設定檔:

sudo nano /etc/nsd/nsd.conf

sudo nano /var/lib/nsd/example.com.zone

設定檔如果都設定正確了, 可以啓動:

sudo systemctl start nsd

可以設定在開機時, 就啓動它:

sudo systemctl enable nsd

之後就可以使用dig, nslookup或者網路工具(如 dns checker)來檢查設定的對不對。

平時可以檢查nsd有沒有跑起來:

systemctl list-units --type=service --state=running

**********************************************************************

* 錯誤訊息: Cannot open /var/log/nsd.log for appending (Read-only file system)

**********************************************************************

我去問了Copilot, 它列了一些可能的問題點, 其中我覺得有用的是, 它說systemd sandbox 限制, 可以查看NSD 的 systemd 服務檔案，看它是否限制了寫入 /var/log？

特別注意以下幾個欄位是否啟用：

- ProtectSystem=full 或 strict：可能導致 /var/log 無法寫入

- ReadOnlyPaths=/var/log：明確將 /var/log 設為唯讀

- ReadWritePaths=：若有設定，應包含 /var/log 或你指定的 log 路徑

我下指令 sudo nano /lib/systemd/system/nsd.service 指令查看, 發現可疑的設定處:

ProtectSystem=strict

ReadWritePaths=/var/lib/nsd /etc/nsd /run

所以問題明顯地出在這裡了, 我做了修改:

ReadWritePaths=/var/lib/nsd /etc/nsd /run /var/log

存檔後, 下指令:

sudo systemctl daemon-reexec

sudo systemctl restart nsd

sudo systemctl status nsd

$ sudo systemctl status nsd

● nsd.service - Name Server Daemon

Loaded: loaded (/usr/lib/systemd/system/nsd.service; enabled; preset: enabled)

Active: active (running) since Wed 2025-07-09 09:13:32 UTC; 57min ago

Docs: man:nsd(8)

Main PID: 4340 (nsd: xfrd)

Tasks: 3 (limit: 1002)

Memory: 38.1M (peak: 38.3M)

CPU: 131ms

CGroup: /system.slice/nsd.service

├─4340 /usr/sbin/nsd -d -P

├─4342 /usr/sbin/nsd -d -P

└─4343 /usr/sbin/nsd -d -P

Jul 09 09:13:32 nserver systemd[1]: Starting nsd.service - Name Server Daemon...

Jul 09 09:13:32 nserver systemd[1]: Started nsd.service - Name Server Daemon.

果然, 錯誤訊息不見了。

也可以用

journalctl -u nsd

來查看log訊息。

Khadas VIM3 開發板Android的源碼編譯好後，如何燒錄?

2025-04-11T14:47:00.003+08:00

在Khadas community找到的文章vim3-vim3l-aosp-android-14-0-upside-down-cake, 以下試著照做看看！

1﹒ 先跳過自行編譯源碼的部份，直接下載他們已經編好的影像檔

2﹒ 準備燒錄工具 pyamlboot

直接在命令列，下以下指令：

pip3 install pyamlboot

結果出現錯誤訊息：error: externally-managed-environment，找了一下，有一文stackoverflow，很多人在討論並提出很多解法。我採用python venv的做法:

(1) 先安裝venv: sudo apt install python3-venv

(2) 建立一個venv: python3 -m venv .venv

(3) 啟動這個venv: source .venv/bin/activate

(4) 在這個venv下安裝pyamlboot: (.venv) $ pip3 install pyamlboot

3. 讓VIM3開發板進入USB upgrade mode

(1) 供電

(2) 在2秒內，快速按F鍵3次，放開

(3) 藍色LED燈會閃3秒，然後熄滅, 這樣就進入 USB upgrade mode

Khadas VIM3 開發板Android的源碼編譯

2025-03-21T16:56:00.003+08:00

續上篇, 完成源碼的下載後, 如何編譯呢?

首先要把相關的工具準備好, 官網有文章install-toolchains說明, 有2個方法, 第一個方法是直接在ubuntu下一些指令, 另一個方法是利用Docker, 把預先弄好的Docker Image抓下來, 再跑起來, 就可以在裡面進行編譯Android源碼的動作。

因為我之前在電腦上已經裝過編譯Orange Pi的Android 12的工具, 不想2個開發板的環境混在一起, 加上想試一下Docker怎麼使用, 所以選擇了第二個方法。

基本上依文件的指令下就可以, 但裝Docker的部份, 若要取得最新的版本, 可能要去查一下Docker的文件。接著取得wesion/khadas_android:v0.6這個Image, 然後把它跑起來。

文件上寫下這個指令:

sudo docker run --privileged -i -t -v /home/you_name:/home/android wesion/khadas_android:v0.6 bash

全部照抄就可以, 但是/home/you_name:/home/android這個部份要改一下, 前面我們下載Android源碼時, 文件有叫我們建一個工作目錄, 我使用/home/ops/work這個目錄名稱, 所以整個Android源碼的程式都放置在這個目錄下。為了讓Docker跑起來後, 可以存取到Android源碼目錄, 指令的這個部份我改為/home/ops/work:/work (用來取代前面提到的/home/you_name:/home/android)。改成這樣, 下指令, 會看到命令提示字元變成類似:

root@3458795s8df812:/work#

這樣就進去Docker這個環境了, 如果要離開, 只要下exit指令就可, 同樣命令提示字元會回到原來的樣子。在這個環境裡下df指令, 就可以看到可以存取的目錄有那些, 我們只要關心是不是有/work這個目錄就可以了。有的話, cd進去, 然後照著官網的build-android文件做就可以。

以編譯Android 9 64位元為例:

分為2個步驟:

1. 先編譯bootloader

$ cd /home
$ cd bootloader/uboot
$ ./mk TARGET

注意, 這裡的TARGET, 如果開發板是VIM3, 就要改成kvim3。如果是VIM3L的開發板, 就改成kvim3l。因為官網的文件把這段話放在文件的最下面, 一開始, 我還真的傻傻的照打TARGET, 當然出來一堆錯誤訊息。正常的話, 最後應該會看到類似如下:

Amlogic img found, use new FIP structure!

Creating "fip/_tmp/fip.bin"

Firmware Image Package ToC:

---------------------------

- SCP Firmware BL3-0: offset=0x4000, size=0xD400

- EL3 Runtime Firmware BL3-1: offset=0x14000, size=0x2F150

- Non-Trusted Firmware BL3-3: offset=0x44000, size=0x149570

---------------------------

Bootloader build done!

2. 編譯Android本身:

$ cd /home
$ source build/envsetup.sh
$ lunch TARGET_LUNCH
$ make -jN otapackage

同樣, 這裡的TARGET_LUNCH也要依開發板不同而改填不一樣的值, 對於VIM3開發板來說, 要改成kvim3-userdebug。還有-jN要改成-j8或者-j16之類的, 數字的大小, 基本上填你的主機的CPU核心數就可以。例如, 8核的CPU, 那就填-j8。

很不幸地, 我的第一次編譯嘗試失敗了。

出現了一堆錯誤訊息, 依照訊息的文字說明, 試著google看看, 結果找到vim3-build-android-android-9-0-64-bit-failed這篇, 這是khadas社區的討論區, 可以拉到幾乎最下面的地方, 結果是編譯的這台主機本身的Linux核心版本也會影響Android編譯的成敗。簡單說, 解方就是要去修改art/runtime/mem_map.cc這個檔案。

照這個文件去修改後, 再重新編譯, 就成功了。

Khadas VIM3 開發板的Android源碼下載

2025-03-13T14:23:00.003+08:00

最近在學習Khadas VIM3這個開發板, 特別是跑Android, 第一個問題就是要先下載源碼。官網有文件download-android-source-code說明。以下記錄依文件操作所碰到的問題和思考如何解決, 但可能我的想法也不見得是最好的!

1. 先安裝git-lfs工具

查了一下, git-lfs是git的擴充套件, 針對大型檔案儲存對git造成的問題提供解法, 主要是大型檔案就放在雲端, 本地端就放指標就好。看了git-lfs官網說明, 建議要升到3.6.1版本。Khadas的文件仍叫我們安裝2.3.4的版本。如果要試安裝3.6.1版, 可以使用以下網址連結。

https://github.com/git-lfs/git-lfs/releases/download/v3.6.1/git-lfs-linux-amd64-v3.6.1.tar.gz

下載並解壓縮, 下 sudo ./install.sh 指令, 會出現錯誤訊息, 就下git init指令, 再重下 sudo ./install.sh 就不會有錯誤訊息了。

2. 建立工作目錄, 並下載manifest, 為什麼要下載這個檔案呢? 我問了ChatGPT, 他提到在同步特定Android設備的源碼時, 有些部份是特定廠商的Git Repo(也就是該設備特有的檔案物件), 不同的設備使用不同的manifest檔案來區別要同步的源碼。Khadas VIM3維護了3個不同的Android版本, 我先試用主要維護版本Android 9 64位元版。

下以下指令:

$ repo init -u https://github.com/khadas/android_manifest.git -b khadas-vim3-p-64bit

3. 開始同步源碼, 下 repo sync -c -j4, 這裡我才想到, 為什麼不是用git, 而是用repo呢? 同樣問ChatGPT, 他說repo是Google開發的一種git repo管理工具, 主要用於管理多個git repo的Android源碼。它是git的一個封裝工具, 簡化管理多個git repo的操作。這樣我就理解了, 主要是Android源碼太大, 分散放在不同的git repo, 所以要同步所有源碼時, 總不能每個git repo都去下同步指令吧! 像這裡一樣, 只下repo sync不是簡單多了嗎?

但下了這個指令後, 出現錯誤訊息 fetch-pack: unexpected disconnect while reading sideband packet, Google一下, stackoverflow有人討論相關的問題, 解法是: (在Linux環境下)

export GIT_TRACE_PACKET=1

export GIT_TRACE=1

export GIT_CURL_VERBOSE=1

確實在命令列下了這3個指令後, 再下repo sync -c -j1指令, 系統就開始同步工作, 沒有再看到錯誤訊息了。我不知道-j4會不會比-j1同步的更快, 但是查看網路頻寬, 是已經用滿了。

4. 下拉大型檔案。文件說還要下這個指令:

$ repo forall -c 'git lfs pull'

因為Android源碼相當大, 我上網的頻寬太小, 結果用了33小時才整個同步完。

*** 另外一個方法, 針對大陸國內, 文件說可以用百度雲盤, 我沒有百度帳號, 現在也沒辦法申請, 百度網頁說暫停港澳台民眾的申請。

Orange Pi Zero 2W開發板, 自行編譯好的Android 12映像檔, 如何燒到SD卡, 才能成功開機?

2025-03-04T17:27:00.001+08:00

Orange Pi官方網站, 可以找到Orange Pi Zero 2W的使用手冊, 一個370頁的PDF檔案, 其中有一個章節提到如何編譯Android 12的原始檔, 如下圖:

第一步是下載原始檔, 由官網給定的Google Drive: H618_Android12_Source, 將原始檔下載下來, 因為原始檔太大, 被壓縮後還要分成多個檔案。約40GB的大小, 用100mbps的網速, 也花了半小時以上的時間才完成。接下來依手冊說明操作, 先檢查MD5, 確認檔案沒有缺損問題。就可以把多個檔案合併回一個壓縮檔了。然後解壓縮成一個原始檔目錄, 再將Orange Pi Zero 2W特定的修改碼(opizero2w_android12_patches.tar.gz)解壓縮後, 複製到原始檔的目錄去。

第二步是編譯原始碼, 如下圖, 手冊是說, 需要一台跑Ubuntu 22.04的電腦, 16GB以上的記憶體, 以及200GB以上的硬碟空間, CPU當然是愈快愈好。

因為我之前剛裝好一台Ubuntu 24.04的電腦, 雖然版本比較新, 可能會碰到一些問題, 但還是先嘗試一下, 看可不可以。果不期然, 在安裝編譯所需的套件時, 就有兩個套件找不到無法安裝:

lib32ncurses5-dev和 libncurses5。就先試著安裝libncurses6, 想可能版本有更新, 也許就可以用了。但其實後面就碰到困難, 編譯會失敗!

如下圖, 在 make -j8 這行指令下下去之後, 就出現錯誤。

錯誤訊息是libncurses.so.5檔案不存在之類的, Google了一下, 發現libncurses-so-5-library-missing-in-ubuntu-22-04-installation-for-arm64-rapsberr這個討論串, 看來似乎是發問者, 最後自己找到答案, 回來留下了解法。因為他的文字說明, 沒操作過的, 一開始不太能看得懂。我解釋一下:

1. 如果是64位元的Ubuntu, 需先設定i386外國架構(foreight architecture)。

----> $ sudo dpkg --add-architecture i386

2. 要修改/etc/apt/sources.list.d/ubuntu.sources這個檔案。

----> 如下圖, 在http://security.ubuntu.com/ubuntu下方的Suites:項目後面, 加入focal-security

然後, 更新一下:

$ sudo apt update

就可以安裝libncurses5:i386

$ sudo apt install libncurses5:i386

做完這些, 我再試著重新編譯Android原始檔, 結果還是有錯誤!

因此, 試著再裝套件

$ sudo apt install libncurses5

然後重試, 結果就編譯成功了。

會出現以下訊息:

#### build completed successfully (01:03:13 (hh:mm:ss)) ####

表示在這台機器上編譯花了1小時3分鐘! make -j8的意思, 好像是說用8個進程來編, 那也許使用16個進程(make -j16), 可以在半小時內編完哦! 我還沒去試, 不過想來是如此。

最後下pack, 就如手冊所說, 在longan/out目錄下會找到一個h618_android12_p2_uart0.img的映像檔。然後呢? 要怎樣才能讓這個img檔跑起來?

首先, 試著使用balenaEtcher來燒錄到SD卡。結果打開img檔, 就出現錯誤訊息:

不信, 硬燒下去, 結果就是無法開機。

接著, 試著用PhoenixCard V4.2.8這個燒錄軟體來燒。選啟動卡, 燒卡。

再開機看看, 結果:

又失敗了!

然後找到這個貼文: OPI-PC OPI-2 OPI-PLUS安卓镜像烧写教程

看了一下, 不一樣的地方只有在燒錄前要把SD卡, 使用SD Card Formatter這個軟體格式化。接著還是用PhoenixCard來燒錄。原本不太相信, 姑且試之, 沒想到, 就成功了。

QNAP TR-004, TR-002使用感想

2025-02-24T09:03:00.007+08:00

最近有儲存空間的需求, 買了QNAP的TR-004和TR-002, 這不是NAS, 是DAS, 簡單的說可以看成是有硬體RAID功能的"大"型隨身碟或外接硬碟。

因為重視的是資料保存安全, 所以使用RAID 1或5, 這樣硬碟若有一顆故障, 只要更換就可以。這種外接RAID都是熱插拔, 也不會中斷系統的使用。試過硬碟有問題時, 機器會發出異常聲響, 燈號會閃爍。只是若機器放在機房, 可能不會聽到! 監控軟體就很重要, 管理員從監控軟體可以看到硬碟狀況, 或者主動寄電子郵件通知, 就比較可以掌握實際情況。

QNAP External RAID Manager可以由官網下載使用, 用來查看機器和個別硬碟的情況, 其實是簡單明瞭, 够用了。但可惜的是, 這個官方提供的工具只有Windows和Mac版本, 沒有Linux版本!

針對Linux, 我在網路上找了一下, 發現: Tr-004 Drive Health Status Linux 這討論文, 有人提到可以下這個指令:

smartctl -d jmb39x-q,0 -a /dev/sdb1

試了一下是可以用的, 在ubuntu要有安裝smartmontools套件:

sudo apt install smartmontools

而因為TR-004是使用JMicron晶片, 所以要下-d jmb39x-q參數, 後面加上第幾顆硬碟的參數(0代表第一顆, 1代表第二顆, ...)

指令執行結果, 如下:

$ sudo smartctl -d jmb39x-q,0 -H /dev/sda1

smartctl 7.4 2023-08-01 r5530 [x86_64-linux-6.8.0-53-generic] (local build)

=== START OF READ SMART DATA SECTION ===

SMART Status not supported: NO DATA ATA commands not implemented [JMB39x]

SMART overall-health self-assessment test result: PASSED

Warning: This result is based on an Attribute check.

* 但因為TR-002使用不同的晶片, 要下何參數, 待查!

=> 有看到別人是這樣下指令:

$ sudo smartctl -d sat,auto -H /dev/sda

smartctl 7.4 2023-08-01 r5530 [x86_64-linux-6.8.0-53-generic] (local build)

=== START OF READ SMART DATA SECTION ===

SMART Health Status: OK

有得到簡單直接的回答, 不過, 這看起來是針對整個RAID, 不是針對個別硬碟。

那麼效能呢? 原本查的資訊顯示TR-004是USB 3.0的界面, 想說那也有5Gbps, 結果一測, 不如預期! 如下圖:

個別硬碟只支援到SATA 3Gb/s, 導致整組的效能只在240MB/s以下, 枉費我給它裝了可以跑到500+MB/s的SSD!

相反地, TR-002的效能就好很多, 之前看的資料是支援USB 3.0 Gen 2 10Gbps, 實測結果如下:

讀取可以到500MB/s左右, 寫入只到340MB/s左右, 可以算是有發揮到SSD的效能了。

安裝ubuntu server 24.04, 含RAID 1, GUI 紀錄

2025-02-19T11:04:00.004+08:00

1. 組裝好PC後, 記得先更新主機板的firmware! 以ASUS主機板來說, 到官網找到對應板子的BIOS下載, 會拿到一個ZIP檔, 解開後, 放到格式化為FAT32的USB隨身碟, 開機按F1或DEL進入BIOS。找到更新firmware的地方, 插入USB隨身碟, 選取新的firmware檔案。(以我的例子來說, 是TUF-GAMING-Z790-PLUS-WIFI-ASUS-1805.CAP的檔案, 更新時間並不快, 要等一下!)

2. 到ubuntu官網取得ubuntu server 24.04的ISO檔。(我拿到的是ubuntu-24.04.1-live-server-amd64.iso)

3. 將ISO檔燒錄到USB隨身碟去, 一般使用balenaEtcher。用該USB隨身碟開機, 依螢幕指示, 輸入帳號等資訊, 然後要設定二個硬碟做成RAID 1(Mirror), 這個部份可以參考以下文章: https://kifarunix.com/install-ubuntu-24-04-with-uefi-and-software-raid-1/。大致上是要先設定二個硬碟為開機碟(boot device), 此時安裝程式會在硬碟上劃分出一個約1GB大小的分區; 然後剩下的空間再分割成一個GPT分區(GPT Partition), 記得要指定為未格式化(unformatted)。然後就可以選取Create Software RAID (md)的選項, 將分別位於2個硬碟上的分區組成一個md0的raid 1磁碟並格式化為EXT4格式且mount到/根目錄後, 就可以往後進行將ubuntu server裝到這個目錄。

到這裡還沒完! 重開機後, 檢查RAID 1是否正常運作。記得將開機分區, 由運作中的那個, 複製到另一個去。這樣就完成了! 之後可以拔掉任何一個硬碟, 看可不可以正常開機。

4. Ubuntu server沒有GUI, 所以登入都只有指令列可以使用。但有些工具, 就是需要GUI, 其實GUI還是比較人性化的。可以參考這篇文章: https://phoenixnap.com/kb/how-to-install-a-gui-on-ubuntu, 大致上來說, 就是先裝一個Display Manager, 可以選擇SLiM 或 LightDM.。該文作者選擇SLiM 我選擇了LightDM.,下指令安裝之:

sudo apt install lightdm

接著是重點, 安裝ubuntu桌面:

sudo apt intall ubuntu-desktop

等它裝完, 再重開機, 下指令: sudo reboot, 重開機後, 就會看到GUI的登入畫面了。

-------------------------------------------------------------------------

註: 我安裝LightDM後, 發現登入畫面和之前的不一樣, 而且每5分鐘會自動進入睡眠(suspend), 但是由系統設定->Power也關不掉! 所以決定重裝, 這次不先安裝Display Manager, 而是直接安裝ubuntu桌面, 這次它直接裝完, 也沒問要用那個Display Manager! 重開後, 登入畫面就和一般Ubuntu Desktop版本的一樣, 也不會自動進入睡眠了。 2025/2/20

--------------------------------------------------------------------------

5.在重開機的過程中, 會注意到, 原本開機很快。現在卻變慢, 會卡在一個地方等很久, 如下圖。可以參考這篇帖子: https://askubuntu.com/questions/1217252/boot-process-hangs-at-systemd-networkd-wait-online, 大意是說ubuntu可以使用systemd-networkd或者NetworkManager來管理網路, 但不能同時用。同時用的結果, 就是會有衝突, 特別是開機的時候出現等很久的狀況。這是因為我們先安裝ubuntu server, 然後又安裝桌面的關係。簡單結論, 停用其中之一, 例如:

systemctl disable systemd-networkd.service

實體主機轉成虛擬機器後, 原網路卡被隱藏並佔用了之前指定的固定IP (考古文)

2025-01-23T08:57:00.000+08:00

將老舊的Windows 2003實體主機, 利用VMWare Converter轉成虛擬機器後, 因原主機為固定ip; 打開虛擬機器後, 網路卡變成VMWare的虛擬網卡, 而且自動設為DHCP, 我就將它改為原來的固定ip。結果Windows 2003跑出訊息說這個ip和隱藏的Broadcom NetXtreme GigabitEthernet網卡的ip相同, 可能會造成問題, 要不要改設另一個ip?

我才了解到, 原來Converter會將原來實體網路卡隱藏起來, 並給一張新的虛擬網卡, 而且預設為DHCP。這樣當我將新的虛擬網卡設成原來固定IP時, 二張網卡的IP就會相衝突。合理的解決是將那張隱藏實體網路卡移除。2012年8月的社群討論 Hidden Network Card configurations (Spiceworks Community) 就已經有這個問題的解法。

因為原文是單純文字描述解法, 我將其實際操作畫面附上, 可以更快了解其意:

大意如下:

1. 打開命令提示字元視窗

2. 打指令: set devmgr_show_nonpresent_devices=1

3. 打指令: Start DEVMGMT.MSC

4. 出現裝置管理員, 選'檢視'-> '顯示隱藏裝置'; 然後展開'網路介面卡', 就會看到如上圖的多張隱藏網卡, 選取要移除的, 按右鍵, 選'解除安裝'即可。

-------------------------------------------------------------------

sendmail routing: virtusertable, mailertable, smarttable

2024-09-13T10:43:00.008+08:00

公司老闆對信件的管制都會有一些要求, sendmail的routing機制, 其實都可以應付的來, 其中3個主要設定表格應該就可以處理大部份狀況: virtusertable, mailertable, smarttable, 分別討論如下。

1. virtusertable

這個表格原本用來做主機代管, 一台主機要host 10家公司(網域)的email, 必然會收到10個不同網域的信件, 但實際上這主機的名稱只有一個; 這時, 就用這個表格來將對應虛擬email address到實際的位址。例如:

sales@example.com jill

info@book.org sara@writer.com

2. mailertable

這個表格用來決定特定收件者網域的信要用什麼協定轉寄到那台主機(或網域), 它不管寄信者是誰。所以如果你想要設定的規則是"由誰寄來的都如何....", 那麼這個表格無法處理。它可以處理的是"寄到某網域的信都轉到那裡..."這樣的要求, 例如:

book.org smtp:writer.com

這樣的設定, 會將要寄到book.org這個網域的信都轉寄到writer.com這個網域, 而且改用smtp這個協定來傳送, 現在一般都使用esmtp這個比較新的協定, 如果有比較老舊的主機無法處理新的協定, 利用這個mailertable, 也是一個方式。

writer.com local:pat

這個設定可以將所有要寄到writer.com網域的信, 都轉寄給本機上的pat這個使用者。

writer.net esmtp:[192.168.0.1]

這個設定, 則是直接將要寄到writer.net網域的信, 都轉寄給192.168.0.1這台主機。前面的例子中, 指定轉寄到另一個網域時, sendmail還是要決定那個網域的郵件主機是那台, 然後還是將信傳送到那台主機。而這個決定的方法, 就取決於你的sendmail設定, 還有DNS裡MX record的設定。所以如果你想跳過那些設定, 或者讓轉寄到那台主機更明確, 這個設定法就簡單明瞭。

3. smarttable

前面都是討論有關收件者的設定, 寄件者的部份就留給這個表格了, 也就是說"由誰寄來的都如何....", 這樣的要求, 就是smarttable負責處理的了。例如:

@reader.com esmtp:[192.168.0.2]

這個設定可以將由reader.com這個網域寄來的信都轉寄到192.168.0.2這台主機。

john@reader.com esmtp:[192.168.0.3]

這個設定則可以針對特定寄件者做轉寄的處理, john@reader.com可能是VIP, 它的來信都要特別處理, 就轉寄到特定主機去。

** 要讓這3個表格有作用, 必須在sendmail.mc檔裡有正確的設定:

FEATURE(mailertable, `hash -o /etc/mail/mailertable')

FEATURE(virtusertable, `hash -o /etc/mail/virtusertable')

VIRTUSER_DOMAIN_FILE(`/etc/mail/virtuserdomains')dnl

FEATURE(`smarttable')dnl

在我的FreeBSD主機的sendmail環境, sendmail.mc設定檔是放置在/usr/local/share/sendmail/cf/cf這個目錄, 確保sendmail.mc檔中有以上設定存在。再下以下指定將其轉換成sendmail.cf檔:

m4 ../m4/cf.m4 sendmail.mc > sendmail.cf

然後再將sendmail.cf複製到/etc/mail目錄去, 重開sendmail就可以了。

在我的FreeBSD主機的sendmail環境, 重開sendmail的方法是, 到/usr/local/etc/rc.d目錄, 下以下指令:

./sendmail.sh restart

smarttable在sendmail.mc檔裡的設定很簡單, 只是FEATURE(`smarttable')dnl, 這是開啓smarttable功能的意思, 預設其表格的位置在/etc/mail/smarttable.db。所以以上討論smarttable時, 設定的內容都是存放在/etc/mail/smarttable這個文字檔。然後改完這個設定檔, 我們必須下makemap指令, 將其轉換成db檔。如下:

makemap hash smarttable < smarttable

沒打錯! 就是這樣的指令, 它自然會在同一個目錄下產生smarttable.db檔。

mailertable的設定也是一樣的, 這裡展示的是較完整的寫法, 也就是明確列示出其表格存在的目錄位置和表格的編碼。同樣的, 我們在文字檔(mailertable)編修其設定, 然後下makemap指令將其改存成.db的檔案。在sendmail環境裡, 這種表格, 由文字檔編修設定, 再下makemap指令轉成db檔的, 都具有一個特性, 就是一旦轉成db檔, 就立刻生效, 不用重開sendmail。包括這裡討論的3個表格皆如此。

virtusertable的設定也是一樣, 用FEATURE(virtusertable)來設定之, 但注意要再加上一行VIRTUSER_DOMAIN_FILE(), 否則virtusertable不會有作用!!!!!! 其用意, 應該是一個保險吧! virtuserdomains這個文字檔很簡單, 就是要加入你想設定的虛擬網域。例如:

example.com

book.org

這樣, 之前在virtusertable裡的設定才會有效。

==================

作用的順序 (很重要)

==================

sendmail是這樣處理的, 先看virtusertable, mailertable然後才看smarttable, 之後是看DNS MX record。所以由誰寄來的規則會最後被套用, 寄給那個網域的規則會比較優先處理。這是什麼意思? 意思是如果你在mailertable裡設定寄到alpha網域的信都轉寄到A主機, 在smarttable裡設定由john@dell寄來的信都轉寄到B主機。那麼由john@dell寄給marry@alpha的信, 在你這台主機收到後, 會怎麼處理呢? 轉寄A主機或B主機呢?

答案是mailertable先作用, 所以是轉寄到A主機。

問題來了, 公司的網域就是alpha, 老闆的要求就是所有同仁的信都要轉寄到A主機, 但是由john@dell寄來的信, 就是要轉寄到B主機, 那麼我要怎麼設定呢?

可能的一個解法是:

mailertable都不設定, smarttable設定由john@dell寄來的信都轉寄到B主機。那麼smarttable就會生效, 沒問題。可是公司其他同仁的信, 如何轉寄到A主機呢? 那就用DNS MX record, 這台sendmail主機指定到公司內部自己的DNS主機, 其上MX record設定alpha網域的MX是A主機就可以了。

好險! 問題解決了!

沒想到, 老闆很機車, 要求john@dell寄來的信都轉寄到B主機沒錯, 但是john@dell寄給老闆(boss@alpha)的信卻要轉寄到A主機, 這時候要如何設定呢?

可能的一個解決法是:

利用virtusertable, 將boss@alpha轉成boss@beta, 然後在mailertable設定beta網域要轉寄到A主機。所以即使是由john@dell寄來的信, 只要是寄給boss@alpha的, 都會在mailertable被轉寄到A主機。但是由john@del寄給其他人的信, 仍會轉寄到B主機。

pca10059 (nRF52840 Dongle) + circuitPython + micro SD card 讀取或寫入資料

2024-05-03T11:35:00.006+08:00

有些時候，我們的IoT裝置並不連網，又或者我們就是想存些資料在micro SD卡上。在nRF52840 Dongle上，實現這個要求，搭配circuitPython的情況下，只要加裝一片SD Card模組和撰寫少許程式就可以完成。

我使用這個模組，這應該是市面上最常見也最便宜的micro SD card模組了，大約NT$40-50.

nRF52840 Dongle就長得如上圖，硬體接線的話要使用到總共6條線，我選擇使用Dongle(以上圖來看)下方的６個接腳（由左到右分別是：1.15, 0.02, 0.29, 0.31, GND, VDO OUT):

micro SD card module nRF52840 Dongle

------------------ ----------------

CS 1.15

MISO 0.02

MOSI 0.29

SCK 0.31

GND GND

VCC VDO OUT

Note: 注意哦！因為我選擇使用３V的電壓，這顆micro SD card模組的1117已經被我拔掉！另外還把其中２個接點接在一起。如下圖：

這樣的話，這個模組就可以使用和nRF52840 Dongle一樣的３V電壓，如果你不想移掉1117和改線路，那就要給這個模組VCC腳位５V的電，以nRF52840 Dongle來說，可以由VBUS這個腳位來供電（但前提是，nRF52840 Dongle必須插在USB插槽上）。

circuitPython似乎預設是支持micro SD，所以code.py的內容：



'''
Mount a MicroSD Card, using SPI interface
SPI Pin mapping:
------------------------
GPIO 0.31, SCK
GPIO 0.29, MOSI
GPIO 0.02, MISO
GPIO 1.15, CS
------------------------
'''
import board
import busio

spi = busio.SPI(board.P0_31, board.P0_29, board.P0_02)

import os
import sdcardio
import storage

sd = sdcardio.SDCard(spi, board.P1_15)
vfs = storage.VfsFat(sd)
storage.mount(vfs, '/sd')
os.listdir('/sd')

# show data.txt contents

with open('/sd/data.txt','r') as f:
    for line in f:
        print(line.strip())


# umount
# storage.umount('/sd')

就可以將micro SD掛到/sd這個目錄下，並讀取其中的data.txt這個檔案的內容。我以Tonny這個環境來跑看看：

是可以成功的讀取其中的資料。

Tonny左下角這個小視窗（circuitPython設備）可以顯示開發板的儲存空間。在執行上列程式後，如下圖，重新整理circuitPython設備，可以發現這個小視窗多出了一個目錄/sd，其下還有一個檔案data.txt。

在這個檔案上點２下，會打開它，看到其內容，確實是如我們寫的程式所輸出的有２行資料。這一點是Tonny這個環境，我覺得很好用的功能！我們也可以在這裡直接編修這個data.txt檔案，編完是可以儲存的。（是真的存回micro SD裡面）

當然，我們寫的程式也可以對這個檔案做寫入的動作，應該就是：

open('/sd/data.txt','r')改為open('/sd/data.txt','w')或者open('/sd/data.txt','a')，然後用write()之類的指令來操作即可。

Oracle 11g R2 突然無法連入事件 (CLOSE_WAIT, TIME_WAIT)

2023-12-27T11:06:00.008+08:00

昨日我們一台Oracle 11g主機突然無法連入, 檢查後發現用SSH連入主機正常, 在主機上存取Oracle也都正常, 主機CPU, 記憶體, HD用量也都正常。只有透過網路存取Oracle的連線變得很難連上, 有時等很久之後可以連上。同事直接重開該台主機(shutdown, reboot)後, 就可以正常連上, 但沒多久又發現同樣連不上的情況!

我將listener 關下, 再打開後, 也一樣正常一下子, 然後就又連不上了。同事發現listener log檔已經非常大, 決定將log檔copy走, 刪除, 讓log檔重新開始。但是重開listener後, 情況一樣沒改善! 此時, listener log檔內可以看到一些錯誤訊息:

26-DEC-2023 12:02:54 * (CONNECT_DATA=(SERVICE_NAME=orcl)(CID=(PROGRAM=c:\windows\system32\inetsrv\w3wp.exe)(HOST=xxxx
)(USER=NETWORK?SERVICE))) * (ADDRESS=(PROTOCOL=tcp)(HOST=10.xx.xx.xx)(PORT=1234)) * establish * orcl * 12518
TNS-12518: TNS:listener could not hand off client connection
 TNS-12547: TNS:lost contact
  TNS-12560: TNS:protocol adapter error
   TNS-00517: Lost contact
    Linux Error: 32: Broken pipe

使用netstat -ant, netstat -anp | grep 1521 或者lsof -i:1521查看會發現有很多TCP/IP連線的狀態一直都呈現TIME_WAIT, CLOSE_WAIT之類的的不正常狀態, 而且很多都不會消失, 還愈來愈多!

tcp        0      0 127.0.0.1:62333             127.0.0.1:1521              ESTABLISHED 4316/ora_pmon_orcl
tcp        0      0 :::1521                     :::*                        LISTEN      15722/tnslsnr
tcp        0      0 ::ffff:127.0.0.1:1521       ::ffff:127.0.0.1:46823      TIME_WAIT   -
tcp        0      0 ::ffff:127.0.0.1:56882      ::ffff:127.0.0.1:1521       ESTABLISHED 9781/java
tcp        0      0 ::ffff:127.0.0.1:1521       ::ffff:127.0.0.1:56882      ESTABLISHED 16245/oracleorcl
tcp        0      0 ::ffff:127.0.0.1:1521       ::ffff:127.0.0.1:56880      ESTABLISHED 16241/oracleorcl
tcp        0      0 ::ffff:127.0.0.1:1521       ::ffff:127.0.0.1:46824      TIME_WAIT   -
tcp        0      0 ::ffff:127.0.0.1:1521       ::ffff:127.0.0.1:56881      ESTABLISHED 16243/oracleorcl

懷疑是tnslsnr出了問題, 找了一下網路上其他人相似的情況, 發現大陸的朋友有提到:https://blog.csdn.net/starshine/article/details/16881859, 他的解決方法看來也只是關掉tnslsnr, 再重新打開, 和我們唯一的不同是他用kill指令把tnslsnr process kill掉, 其他都一樣。不過, 這可能也是一個重點, 也許kill process才能完全把佔用的TCP/IP連線都清乾淨!

另一位朋友https://medium.com/@brad_24220/time-wait-mitigating-tcp-ip-connection-exhaustion-c1a18080dc70的方法比較有意思, 他在/etc/sysctl.conf檔加入了一些設定(針對Oracle Linux 7/8):


net.netfilter.nf_conntrack_tcp_timeout_time_wait=1
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_fin_timeout=1

他說: "TIME_WAIT是TCP / IP堆棧中令人難以置信的部分,它使連接一直存在,直到客戶端正確關閉連接為止。但是,在某些情況下,客戶端無法正確或有效地關閉連接。這可能導致TIME_WAIT狀態下的TCP連接持續存在,直到操作系統清除它們為止。對於繁忙的系統,這可能會導致主機拒絕服務,因為所有可用的連接都綁在TIME_WAIT狀態下。"

使用vi將以上設定加入至/etc/sysctl.conf檔, 然後下 sysctl -p 指令, 我發現系統只接受後面2行, 第一行net.netfilter.nf_conntrack_tcp_timeout_time_wait=1不被接受, (可能是我的Linux版本較舊!) 將其mark掉 (#) 存檔, 再下一次 sysctl -p, 確定沒問題後, 去kill tnslsnr process, 再下lsnrctl start, 問題就解決了, 觀察一陣子, 可以看到相關的TCP/IP連線出現TIME_WAIT狀態後, 都會在1分鐘內被清掉。不再有連線進不去的問題出現!

基金日記: 基金的績效怎麼看?

2023-12-20T11:32:00.001+08:00

這支基金成立至今2年多, 成立時正好是FED為了因應全球Covid-19疫情造成的全球經濟困局, 而大量印鈔的時候。當時, FED救市, 直昇機式的大撒幣, 美國人手上現金滿滿, 股票市場熱鬧。利率降到0, 如下圖。此時也成就了不少少年股神!

但接著, 通膨就來了, FED為了對抗通膨, 已開始有傳出要升息的聲音。那時, 我對基金公司在此時成立這支基金, 心裡就有一些疑問? 這種全球趨勢的基金, 又不是反做或平衡型, 以趨勢來看, 不是正好去接掉下來的刀子嗎? 但因為理專的推銷, 我就意思意思的買一點點, 反正當做一個指標來觀察也好。

果然, FED開始升息後, 其淨值就開始掉掉掉, 到現在2年多, FED抗通膨有了一些成果, 開始傳出明年會啟動降息的消息, 這個基金的淨值就慢慢的回升。

現在事後諸葛一下, 檢討如何操作才是比較好的策略:

1. 一般人會想, 買在最低, 賣在最高是最好的策略, 但這個策略的問題在於, 沒有人知道什麼時候是最低點, 什麼時候是最高點。所以, 理論很好, 但現實不可行。

2. 一個說法是最好的買點是十年前, 其次是今天。但這個策略的問題是, 很可能買在最高點, 當然也很可能買在最低點, 反正全看運氣。

3. 我想, 應該盡可能買在低點, 利用一些工具來提高猜測的準確度, 就可以有不差的效果。以FED的利率來看, 升息開始後約半年, 就是基金淨值的最低點。到利率最高點時, 淨值都是向上的走法。當然此期間, 淨值還是上上下下的走。這段期間, 如果定期分批買進, 其實是會獲利的。

配合基金的績效圖表來看, 孤注一擲的在2年前下好離手, 到現在就是-9.43%(虧錢)。那如果是孤注一擲的在1年前下好離手, 到現在就是29.18%(大賺錢), 即使在半年前孤注一擲, 至今也有8.14%。但這種策略其實很難實行! 因為很難猜到何時是最低點。

實戰後, 會發現, 比較好實行的策略會是, 依照FED的利率, 配合全球景氣的相關數據, 定期(不)定額的買入。以績效圖表來看2年前就開始定期定額, 到現在也有15.61%, 就算是1年前開始到現在也有14.41%。

nRF52840 Dongle CircuitPython 類比輸入腳位

2023-12-01T13:44:00.005+08:00

如同大多數的MCU只有特定幾支腳有支援類比輸入的功能， nRF52840 Dongle 也是只有幾支腳位有類比輸入功能。但其實我也懶得查文件，所以就直接測試看看：

進入REPL，輸入指令：

>>> import board

>>> from analogio import AnalogIn

>>> analog_in = AnalogIn(board.P1_10)

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

ValueError: Invalid pin

這樣P1_10 (即下圖中的左下角 1.10 Pin) 這支腳位就是不支援的，如此，有點耐心的一支腳一支腳的試，全部試完，就知道了，：-）

>>> analog_in = AnalogIn(board.P0_31)

>>> analog_in = AnalogIn(board.P0_29)

>>> analog_in = AnalogIn(board.P0_02)

結果，只有這3支腳位 (0.02, 0.29, 0.31) 沒有出現錯誤訊息。

那應該就是這樣了，之後找時間，實際接個電路來試試。

由Python程式來存取Google sheets (試算表)

2023-08-24T15:56:00.012+08:00

可以在Raspberry Pi上讀取TMP102的温度值後, 我想要把温度值存放在那裡? 存在本機的檔案上, 網路上已有現成Python程式, 放在MQTT Server, 以前就玩過。想到放到Google 試算表應該也不錯, 以前也沒試過, 不如來試試!

首先找到這一貼文Reading and writing to Google Spreadsheets using Python, 此文言簡意賅, 只有3個步驟就做完, 文章印出來也只要2頁! 但是第一個步驟因為要操作Google API Console, 而這個網頁看來操作方式有些修改過了, 所以照著做會有些困難。自己摸索一陣時間後, 才弄清楚! 其實網路上討論這個部份的貼文不少, 【Python 網頁爬蟲 #1】設定 google sheet API 並取得 json 金鑰，讓我們的資料能同步更新至雲端 google sheet 表格 (內含完整圖片說明)這篇貼文就很詳細, 文章是去年寫的, 還算新, Google API Console的操作界面和現在的一致。另外, How to Read and Write Google Sheets Data Using Python這篇貼文在設定Google Cloud Console部份, 描述的更詳細, 而且Python程式部份使用不同的套件。還有一篇陳濤半年前寫的[筆記] 使用 pygsheets 記錄實驗數據到 google sheet也很不錯, 特別是把Python pygsheets套件的幾個常用操作點出, 值得看一下。

我就不重複講了, 只提幾個重點:

=== 步驟 1 ===

1. 要先建專案

2. 在建好的專案裡, 啟用2個API。Google Drive API, Google Sheets API (有些文章只提到要啟用Google Sheets API, 那就要看你之後的程式的寫法, 我因為後面Python程式有用到, 所以要這2個都啟用)

3. 建立憑證 (有3個可以選: API, OAuth ID, 服務帳戶。要選服務帳戶, 建完後會得到一個電子郵件地址, 類似xxx@xxx.iam.gserviceaccount.com)

4. 針對這個服務帳戶, 建立金鑰, 並下載其JSON檔案 (命名為creds.json)

5. 到Google 試算表去, 建一個新文件(這裡, 我選一個好記的文件檔名: gsheet test), 或選一個你想用來被Python程式存取的文件。按右上角的"共用", 新增之前建立的服務帳戶的郵件地址, 就是類似xxx@xxx.iam.gserviceaccount.com的那個。這樣, 這個試算表文件就可以被這個服務帳戶存取了。

=== 步驟 2 ===

可以來寫Python程式了, 我在Raspberry Pi上面操作, 首先要把之前服務帳戶的金鑰creds.json檔案存到Raspberry Pi機器上面去。這可以用scp指令來完成。

$ scp creds.json ops@192.168.1.2:creds.json

接著Python程式會用到的套件要裝一下:

$ sudo pip install pygsheets

$ sudo pip install pandas

用指令模式來嘗試: (配合的試算表文件要先建4個工作表!)


$ python3
Python 3.9.2 (default, Feb 28 2021, 17:03:44)
[GCC 10.2.1 20210110] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pygsheets
>>> import pandas as pd
>>> gc = pygsheets.authorize(service_file='creds.json')
>>> df = pd.DataFrame()
>>> df['name'] = ['John', 'Steve', 'Sarah']
>>> sh = gc.open('gsheet test')
>>> wks = sh[1]
>>> wks.set_dataframe(df,(1,1))
>>> df['name'] = ['John', 29.5, 30.3]
>>> wks = sh[2]
>>> wks.set_dataframe(df,(1,1))
>>> wks.set_dataframe(df,(2,1))
>>> wks.set_dataframe(df,(1,2))
>>> wks.set_dataframe(df,(1,3))
>>> wks.update_value('A7', 29.3)
>>> wks = sh[3]
...
>>> wks.insert_rows(7, number=1, values=['17:08',24.5])
>>> wks.insert_rows(8, number=1, values=['17:09',23.5])
>>> wks.insert_rows(9, number=1, values=['17:10',21.2])
>>> wks.insert_rows(10, number=1, values=['17:12',25.2])
>>> wks.insert_rows(11, number=1, values=['17:12',22.2])
>>> wks.insert_rows(12, number=1, values=['17:13',20.7])
>>> wks.insert_rows(13, number=1, values=['17:14',23.2])
>>> wks.insert_rows(14, number=1, values=['17:15',24.2])
>>> wks.insert_rows(15, number=1, values=['17:16',22.2])
>>> wks.insert_rows(16, number=1, values=['17:17',20.8])

=== 步驟 3 ===

打開Google 試算表, 觀察, 可以看到在Python寫入的資料, 出現在指定的試算表文件中了。

到這裡, 結合之前取得TMP102温度值的方法和這裡的作法, 就可以做出一個即時回報温度值的自動機制, 而我們可以在任何地點, 任何時間, 只要能存取網路, 就可以由Google試算表查看最新狀況了。

具體作法:

這個試算表文件放1年份的資料, 每個月的資料放在一個工作表, 所以最多可能有12個工作表, 命名為01, 02, ..., 12。每個工作表最多可能有31天的資料, 每天24小時x60分鐘/5分鐘=288筆資料。所以一個月最多有288x31=8928筆資料。我們只要知道現在的日期時間, 就可以知道資料要放在那個工作表的那個位置上。

由上面Python程式改寫, 在連上Google試算表, 打開文件後(sh = gc.open('gsheet test'))可先取得該文件的工作表list (wks_list = sh.worksheets()), 由此可以檢查是否已存在所需要的工作表, 若不存在則建立該工作表(sh.add_worksheet(sheet_name, rows=N)), 否則就往下跑。

取得温度值後, 加上已知的日期和時間, 就可以把資料放到該特定位置。

例如:1月的1號00:05, 就會是放在工作表'01'的第1筆, 所以:

wks = sh[0]

wks.insert_rows(1, number=1, values=['1', '00:05',24.5])

有些小細節還要修改, 但大致上這個想法應該可行。

How to add (and remove) Tmp102 sensor to Raspberry Pi 4

2023-08-16T17:58:00.023+08:00

(註: 此圖截自SparkFun文章: Python Programming Tutorial: Getting Started with the Raspberry Pi, 本文的接線方式和此相似, 只是GND接到Pin 9, 而不是Pin 6, 因為Pin 6被散熱風扇佔走! )

將TMP102温度感測器連接到Raspberry Pi (R-pi), 之後就可以利用R-pi來監測環境温度。只是簡單的把環境温度記錄到log檔, 或者儲存到雲端讓人們隨時可透過網路查詢; 或者加上觸發條件在温度高於或低於特定值時可進行通知的動作。這些都是可以做的。本文先嘗試踏出第一步, 將TMP102接上R-pi, 讓系統可以存取其感測到的温度值, 也讓我們可以寫Python程式來存取温度值。

Raspberry Pi temperature sensor using TMP102這篇貼文, 其實就在說明如何將TMP102連接到R-pi, 但因為Raspberry Pi出來很多年了, 出的板子種類也很多(2, 3, 4, Zero, Zero 2, etc), 同樣的在其上跑的OS也很多, 有官方的Raspberry Pi OS, Ubuntu, Freebsd, 等等。所以, 這文章以現在來說，有一些需要小修改的地方。

本文針對Raspberry Pi 4B, 使用官方Raspberry OS 64bit的環境，嘗試加入TMP102，基於以上所提文章做一些補充。

先進行以下設定:

1. Enable I2C

$ sudo raspi-config

選3 Interface Options

然後選I5 I2C, 接下來會問你要enable I2C嗎? 選是.

往下記得重開機!

2. 安裝以下套件:

$ sudo apt-get install lm-sensors (出現一些問題, 但不用管它!)

$ sudo apt-get install i2c-tools

==================

硬體接線

==================

TMP102模塊上的4支腳(VCC, SDA, SCL, GND), 分別接到Raspberry Pi GPIO的(1,3,5,9), 如上圖, 都在上面左方, 我打勾的4個腳位。記得接線前, 先把Raspberry Pi關機, 拔掉電源, 再接。

重開機後, 下i2cdetect -y 1指令:

可以看到有scan 到0x48這個位址, 這就是TMP102的I2C slave address. 如此就成功了, 基本上硬體已經被認到了。

接下來, 照著前面提到的文章的作法做:

$ echo tmp102 0x48 > /sys/class/i2c-adapter/i2c-1/new_device

結果出現錯誤訊息, 基本上沒有寫入的權限! 用ls -l 指令查看此檔, 發現預設只有root才有寫入的權限, 但即使在echo 之前加入sudo, 也沒用! 後來用以下指令解決:

$ sudo chmod 666 /sys/class/i2c-adapter/i2c-1/new_device

然後再下:

$ echo tmp102 0x48 > /sys/class/i2c-adapter/i2c-1/new_device

就可以了!

現在可以使用sensors指令:

可以看到除了原來CPU的温度(上圖的30.7 C)外, 多出了一個tmp102-i2c-1-48的温度(上圖的24.7 C)。

但是此時下i2cdetect -y 1指令, 會發現原來的48變成UU, 也就是被系統使用! 此時, 你如果使用Python程式去取得TMP102的温度值, 會發現出現資源被佔用的錯誤。即使你把TMP102拔走, 再插回來, 也沒有用!

解決方法, 就是下指令把它移除:

$ sudo chmod 666 /sys/class/i2c-adapter/i2c-1/delete_device

$ echo 0x48 > /sys/class/i2c-adapter/i2c-1/delete_device

(這裡我google不到有人提到應該怎麼做，但我想應該和加入新設備的方式差不多，所以嘗試可能的指令後試出來的!

圖中圈起來部份, 就是錯誤嘗試的部份! )

這樣, 再下i2cdetect -y 1指令, 或sensors指令, 就會看到沒有加入TMP102 sensor之前的狀態。此時用Python程式去讀TMP102温度值, 也會正常。

以下Python程式, 由TMP102 sensor and Raspberry Pi python example貼文取得, 可讀取TMP102温度值, 原貼文格式和一些文字亂掉, 在此有做一些修正。(註:後來發現，這支Python程式在SparkFun文章:Python Programming Tutorial: Getting Started with the Raspberry Pi就有一模一樣的, 真是天下文章一大抄!)


import time
import smbus

i2c_ch = 1

# TMP102 address on the I2C bus
i2c_address = 0x48

# Register addresses
reg_temp = 0x00
reg_config = 0x01

# Calculate the 2’s complement of a number
def twos_comp(val, bits):
    if (val & (1 << (bits - 1))) != 0:
        val = val - (1 << bits)
    return val

# Read temperature registers and calculate Celsius
def read_temp():
    # Read temperature registers
    val = bus.read_i2c_block_data(i2c_address, reg_temp, 2)
    temp_c = (val[0] << 4) | (val[1] >> 5)

    # Convert to 2s complement (temperatures can be negative)
    temp_c = twos_comp(temp_c, 12)

    # Convert registers value to temperature (C)
    temp_c = temp_c * 0.0625

    return temp_c

# Initialize I2C (SMBus)
bus = smbus.SMBus(i2c_ch)

# Read the CONFIG register (2 bytes)
val = bus.read_i2c_block_data(i2c_address, reg_config, 2)
print("Old CONFIG:", val)

# Set to 4 Hz sampling (CR1, CR0 = 0b10)
val[1] = val[1] & 0b00111111
val[1] = val[1] | (0b10 << 6)

# Write 4 Hz sampling back to CONFIG
bus.write_i2c_block_data(i2c_address, reg_config, val)

# Read CONFIG to verify that we changed it
val = bus.read_i2c_block_data(i2c_address, reg_config, 2)
print("New CONFIG:", val)

# Print out temperature every second
while True:
    temperature = read_temp()
    print(round(temperature, 2), "C")
    time.sleep(1)

為什麼自已寫Python程式讀取TMP102的温度值要寫這麼多代碼? 但用sensors指令, 卻只要找到I2C slave address並寫入/sys/class/i2c-adapter/i2c-1/new_device這個特定的檔案, 然後sensors指令就可以正確的解讀出温度值來呢?

一定有小精靈在背後幫忙做這個換算的工作, 否則sensors指令怎麼知道要讀取那個暫存器, 然後要左移或右移幾位, 接著還要做2的補數, 再乘以某個數呢? 這個小精靈就是Kernel space driver for TMP102!

反過來說, 我拿BOSCH BME280感測器, 同樣以I2C接線方式連接, 再下i2cdetect -y 1, 也可以看到有scan到0x76這個位址。那麼依照上文所提方法, 下指令:

$ echo bme280 0x76 > /sys/class/i2c-adapter/i2c-1/new_device

是成功了, 沒有錯誤訊息! 但下sensors指令, 卻沒看到有多出bme280的數值!

下lsmod查看:

圖中圈起來部份, 顯示系統有抓到裝置, 但是卻將之視為BMP280, 這一顆只有壓力和温度感測沒有溼度, 而且顯然和BME280不太相容! 所以系統讀不到數值。

那麼如果就是想使用BME280, 然後要讓sensors指令可以讀到它的數值呢? 烏克蘭朋友Eduard Malokhvii, 為BME280寫了Kernel space driver, 有興趣的朋友可以試試: Kernel space driver for Bosch Sensortec BME280

reject=403 4.7.0 TLS handshake failed (2)

2023-08-08T10:50:00.009+08:00

reject=403 4.7.0 TLS handshake failed

這個訊息總是會出現在我們sendmail的log檔, 之前找到msn.com網域的信, 其實是寄到outlook.com網域去的。這次是另一個類似的案例:


# mailq
Warning: Option: AuthMechanisms requires SASL support (-DSASL)
                /var/spool/mqueue (1 request)
-----Q-ID----- --Size-- -----Q-Time----- ------------Sender/Recipient-----------
3781ZYIW045303   164044 Tue Aug  8 09:35 <>
                 (Deferred: 403 4.7.0 TLS handshake failed.)
                                         <bounce-833_HTML-127233725-9424761-700
                Total requests: 1

在mailq裡面看到一封寄不出去的信, 之前查過, 知道這應該是寄到我們合法使用者的廣告信, 收到使用者信箱後, 自動彈回的收到回條! (bounce-xxx...) 我們要求sendmail自動重送queue裡的信, 來看看問題何在?


# sendmail -v -q
Warning: Option: AuthMechanisms requires SASL support (-DSASL)

Running /var/spool/mqueue/3781ZYIW045303 (sequence 1 of 1)
<bounce-833_HTML-127233725-9424761-7002400-1004@bounce.email.savills-asia.com>... Connecting to inbound.s6.exacttarget.com. via esmtp...
220 orionsmtp-172.s6.exacttarget.com ESMTP Postfix
>>> EHLO mail1.princo.com.tw
250-orionsmtp-172.s6.exacttarget.com
250-PIPELINING
250-SIZE 10240000
250-ETRN
250-STARTTLS
250-ENHANCEDSTATUSCODES
250-8BITMIME
250 DSN
>>> STARTTLS
220 2.0.0 Ready to start TLS
<bounce-833_HTML-127233725-9424761-7002400-1004@bounce.email.savills-asia.com>... Deferred: Name server: inbound.s6.exacttarget.com.: host name lookup failure
Closing connection to inbound.s6.exacttarget.com.

可以看到這封要寄到xx@bounce.email.savills-asia.com的信, 居然是傳到xx.exacttarget.com的郵件主機去! 那因為這台郵件主機回應了250-STARTTLS, 所以我們sendmail就下了STARTTLS命令, 要求進入加密通道, 但接著就出現了錯誤訊息: Name server: inbound.s6.exacttarget.com.: host name lookup failure。那是誰的主機名稱沒有設好呢? 我試著用nslookup找了一下:


# nslookup
> bounce.email.savills-asia.com
Server:         10.1.10.8
Address:        10.1.10.8#53

Non-authoritative answer:
*** Can´t find bounce.email.savills-asia.com: No answer
> savills-asia.com
;; Got recursion not available from 10.1.10.8, trying next server
;; Got recursion not available from 10.1.10.101, trying next server
Server:         168.95.1.1
Address:        168.95.1.1#53

Non-authoritative answer:
Name:   savills-asia.com
Address: 217.19.248.132
> inbound.s6.exacttarget.com.
Server:         10.1.10.8
Address:        10.1.10.8#53

Non-authoritative answer:
Name:   inbound.s6.exacttarget.com
Address: 68.232.203.116
> exit

確實bounce.email.savills-asia.com是查不到對應ip的, 看起來不像是我們的設定或軟體版本有問題! 所以, 我就將exacttarget.com在/etc/mail/access檔案裡, 設為不使用TLS. (Try_TLS:exacttarget.com NO 以及 tls_srv:exacttarget.com NO) 然後再來試試重送一次郵件:


# mailq
Warning: Option: AuthMechanisms requires SASL support (-DSASL)
                /var/spool/mqueue (1 request)
-----Q-ID----- --Size-- -----Q-Time----- ------------Sender/Recipient-----------
3781ZYIW045303   164044 Tue Aug  8 09:35 <>
                 (Deferred: 403 4.7.0 TLS handshake failed.)
                                         <bounce-833_HTML-127233725-9424761-700
                Total requests: 1
mail1# sendmail -v -q
Warning: Option: AuthMechanisms requires SASL support (-DSASL)

Running /var/spool/mqueue/3781ZYIW045303 (sequence 1 of 1)
<bounce-833_HTML-127233725-9424761-7002400-1004@bounce.email.savills-asia.com>... Connecting to inbound.s6.exacttarget.com. via esmtp...
220 orionsmtp-55.s6.exacttarget.com ESMTP Postfix
>>> EHLO mail1.princo.com.tw
250-orionsmtp-55.s6.exacttarget.com
250-PIPELINING
250-SIZE 10240000
250-ETRN
250-STARTTLS
250-ENHANCEDSTATUSCODES
250-8BITMIME
250 DSN
>>> MAIL From:<> SIZE=165559
250 2.1.0 Ok
>>> RCPT To:<bounce-833_HTML-127233725-9424761-7002400-1004@bounce.email.savills-asia.com>
>>> DATA
250 2.1.5 Ok
354 End data with <CR><LF>.<CR><LF>
>>> .
250 2.0.0 Ok: queued as 27DE514004F
<bounce-833_HTML-127233725-9424761-7002400-1004@bounce.email.savills-asia.com>... Sent (Ok: queued as 27DE514004F)
Closing connection to inbound.s6.exacttarget.com.
>>> QUIT
221 2.0.0 Bye
mail1# mailq
Warning: Option: AuthMechanisms requires SASL support (-DSASL)
/var/spool/mqueue is empty
                Total requests: 0

可以看到, 這樣就把信寄過去了, 所以到底是什麼問題? 用TLS加密通道, 對方就會回主機名稱找不到, (但我看不出來到底是那個主機名稱找不到!)不用TLS, 那就正常. 總之, 由mailq來看問題, 再由sendmail -v -q重現狀況, 提供了一個不錯的除錯方式。

超簡單做出低功耗藍牙温度計-Part 3(nRF52840 Dongle + BME280 + CircuitPython)

2023-07-11T10:35:00.007+08:00

之前用TMP102, 只有温度值可以看, 若加上溼度值, 會更具實用性! 那就要改用別顆感測器了, 具温溼度感測功能的sensor有很多選擇, 之前試了DHT11, AM2320, BME280, 覺得BOSCH BME280比較好用, 晶片本身具有I2C, SPI界面, 有些模塊二個界面都有把pin腳引出, 有些模塊只引出I2C, 這種的價錢便宜許多。這裡, 只使用I2C, 所以寫程式方式和之前(TMP102)文章相似, 也可以使用便宜的模塊就好。

同Part 2的文章, 使用CircuitPython來實作BLE低功耗藍牙傳輸資料, 可以使用Adafruit寫好的Bluefruit Connect App, 我們只要在nRF52840 Dongle上面透過現成的BLE UART服務, 把温度和溼度的數值傳送出去給App就可以了。先看一下完成的樣子:

送出來的資料格式就是温度值接著是逗號, 然後是溼度值再接著換行符號。這樣在Plotter就會出現2條線, 一條代表温度, 一條代表溼度。

因為BLE UART服務的寫法, 之前的文章已經看過, 我們現在只要克服讀取BME280這個問題就好了。之前在使用TMP102的時候, 提過可以使用別人現成寫好的驅動, 但為了更深入掌握TMP102, 之前的文章有去了解驅動的寫法, 而且我們自己也動手寫了一支適合自己的TMP102驅動。但這其實很花時間! 在這裡, 我們直接使用現成的BME280驅動。一樣去CircuitPython Librarys (adafruit cricuitpython bundle)找就有 (adafruit_bme280), 如下圖, 把這個目錄複製到開發板上的lib目錄下面:

我買的BME280, 如下圖, 只用到左邊4支接腳(VCC, GND, SCL, SDA)。

同樣接到nRF52840 Dongle的(VDD OUT, GND, 0.31, 0.29), 如下圖圈起處:

把下面程式存入至Dongle上面的code.py, Ctr-D, 同樣由終端機來觀察看看, 如果都成功取得數值, 那麼就成功連通BME280了。

import time
import board
import busio
from adafruit_bme280 import basic as adafruit_bme280

i2c = busio.I2C(board.P0_31, board.P0_29)
bme280 = adafruit_bme280.Adafruit_BME280_I2C(i2c, 0x76)

# change this to match the location's pressure (hPa) at sea level
bme280.sea_level_pressure = 1013.25

while True:
    print("\nTemperature: %0.1f C" % bme280.temperature)
    print("Humidity: %0.1f %%" % bme280.relative_humidity)
    print("Pressure: %0.1f hPa" % bme280.pressure)
    print("Altitude = %0.2f meters" % bme280.altitude)
    time.sleep(2)

這段程式裡, BME280的I2C設備位址必須指明為0x76, 如果不指定, 預設為0x77。我買的這顆BME280模塊可以由SDO腳位來決定其I2C設備位址, SDO為high時位址為0x77, 否則為0x76。為了線路簡化, 就使用0x76位址吧!

接著把以下程式放到Dongle的code.py, 同樣重開機, 就可以打開手機Bluefruit connect App來查看温溼度的數值了。

簡單吧! 只要接對線, 複製現成的驅動, 加上以下現成程式, 就完成了。


# CircuitPython Bluefruit LE Connect Plotter Example

import time
import board
import busio
from adafruit_ble import BLERadio
from adafruit_ble.advertising.standard import ProvideServicesAdvertisement
from adafruit_ble.services.nordic import UARTService

from adafruit_bme280 import basic as adafruit_bme280
i2c = busio.I2C(board.P0_31, board.P0_29)
bme280 = adafruit_bme280.Adafruit_BME280_I2C(i2c, 0x76)

ble = BLERadio()
uart_server = UARTService()
advertisement = ProvideServicesAdvertisement(uart_server)


while True:
    # Advertise when not connected.
    ble.start_advertising(advertisement)
    while not ble.connected:
        pass
    ble.stop_advertising()

    while ble.connected:
        tempc = bme280.temperature
        humidity = bme280.relative_humidity
        print("{}, {}".format(tempc, humidity))
        uart_server.write("{}, {}\n".format(tempc, humidity))
        time.sleep(2.0)

超簡單做出低功耗藍牙温度計-Part 2(nRF52840 Dongle + TMP102 + CircuitPython)

2023-07-09T11:53:00.015+08:00

同樣都使用nRF52840 Dongle, 上一次是用MicroPython, 這一次來用用CircuitPython。不管怎麼說, CircuitPython有Adafruit在支持, 文件和資源是更多的。而且, 目前CircuitPython支持的MCU就是以SAMD21/51和nRF系列為主。但要讓nRF52840 Dongle可以跑CircuitPython, 我們要先做些工作, 網路上有2個地方可以參考, 第1個是這篇文章, Eric Pietrowicz使用PCA10056開發板上的JLink除錯器來燒錄具UF2功能的Bootloader。

Bluetooth Low Energy with CircuitPython on a nRF52840 USB Dongle

第2個是這個影片, rdagger使用的是OpenOCD除錯器配合Raspberry Pi 3B來燒錄具UF2功能的Bootloader到nRF52840 Dongle。

當然, 直接使用JLink來燒錄也是可以。

具UF2功能的Bootloader是CircuitPython開發板的標配, 這個Bootloader讓開發板一插到電腦USB, 就會出現一個小硬碟, 讓你感覺這個開發板就是一個小磁碟機, 接下來我們要燒錄firmware, 就只要直接拖拉firmware檔案進去就可以了。

nRF52840 Dongle的UF2 Bootloader, 以及其CircuitPython firmware可以在以下連結找到

https://circuitpython.org/board/pca10059/

依照前面提到的文章說明, 把nRF52840 Dongle的Bootloader燒成具UF2功能的, 之後插入這支Dongle到電腦的USB埠, 就會出現一個名為NRF52BOOT之類的小磁碟機, 然後將CircuitPython的.uf2 firmware拖拉進去, 就會打造出一個跑CircuitPython的開發板了。

這個過程需要一些工作, 如果覺得太累, 也可以買一個出廠就已經幫你燒好UF2 Bootloader的開發板, Adafruit Feather nRF52840 Express就是一個, SEEED STUDIO XIAO NRF52840也是。

燒好CircuitPython firmware後, 插入nRF52840 Dongle, 就會看到出現一個名為CIRCUITPY的小磁碟機:

其中有一個名為lib的目錄, 是用來放硬體驅動的, 而code.py是一開機就會執行的python程式。為了讀取TMP102温度的數值, 同樣我們需要一支驅動程式, 這可以使用我們先前那篇文章的那支驅動來修改。啊! 同樣都是Python, MicroPython和CircuitPython也會有不同哦!

好在, 要改的也不多, 如上圖, 把_read_register()這個函數小改一下, 就可以了。這樣我們就有一個可以在CircuitPython使用的TMP102驅動。同樣把這個驅動命名為tmp102.py, 然後copy到CIRCUITPY這個磁碟的lib目錄去。不過, 因為空間和效率的考量, 通常會使用mpy-cross工具, 將.py轉成.mpy的格式。

接下來, 試試用用這支驅動來讀讀温度吧!


from tmp102 import Tmp102
import board
import busio
import time

i2c = busio.I2C(board.P0_29, board.P0_31)
sensor = Tmp102(i2c, 0x48)


# periodic read
i2c.try_lock() 
sensor.wakeup()
print(sensor.get_TempC(sensor.temperature()))
i2c.unlock()

# one-shot read
i2c.try_lock()
sensor.sleep()

run = True
while run:
    try:
        sensor.set_one_shot()
        print(sensor.get_TempC(sensor.get_one_shot()))
        time.sleep(1.0)
    except:
        run = False

i2c.unlock()

這裡可以看到CircuitPython的寫法還是和MicroPython有一些小差異的! 我們在此使用busio來將I2C設置起來也是nRF52840這顆MCU特定的。在此, 我將pin 0.29指定為SCL, pin 0.31指定為SDA, 所以在硬體接線時, 也要如此接。把上面這個程式存到CIRCUITPY這個磁碟的code.py檔案, 打開終端機, 觀察:

如上圖, 出現温度值, 那就是TMP102感測器已經可以正常運作了。

下一步, 把藍牙功能跑起來, 可以先參考:

https://learn.adafruit.com/circuitpython-nrf52840/overview

基本上, Adafruit已經把許多工作做完, 包括MCU的驅動程式, 和手機上的App。nRF52840 MCU BLE驅動, 目前我們只要先搬2個目錄就好:

這2個目錄來自CircuitPython Librarys (adafruit cricuitpython bundle) https://circuitpython.org/libraries, 請依自己開發板上CircuitPython firmware版本來選擇相對應的下載版本。

手機上的App, 則到App Store, 找Bluefruit Connect。

並將下面程式, 放到開發板上的code.py

# CircuitPython Bluefruit LE Connect Plotter Example

import time
import board
import busio
from adafruit_ble import BLERadio
from adafruit_ble.advertising.standard import ProvideServicesAdvertisement
from adafruit_ble.services.nordic import UARTService

from tmp102 import Tmp102
i2c = busio.I2C(board.P0_29, board.P0_31)
sensor = Tmp102(i2c, 0x48)
i2c.try_lock()
sensor.sleep()

ble = BLERadio()
uart_server = UARTService()
advertisement = ProvideServicesAdvertisement(uart_server)


while True:
    # Advertise when not connected.
    ble.start_advertising(advertisement)
    while not ble.connected:
        pass
    ble.stop_advertising()

    while ble.connected:
        sensor.set_one_shot()
        tempc = sensor.get_TempC(sensor.get_one_shot()) 
        print(tempc)
        uart_server.write("{}\n".format(tempc))
        time.sleep(1.0)

打開手機的Bluefruit Connect App, 連入後, 會看到如下圖:

此時, 我們可以有2個地方查看温度值, 一個是UART的輸出, 一個是Plotter:

點UART:

可以看到每秒都會收到一個温度值, 就和我們在終端機上看到的輸出是一樣的! 這當然是因為我們程式是這樣寫的。到這裡, 我們已經完成由BLE來收取nRF52840 Dongle取得的TMP102温度值。

點Plotter:

更好的是, Bluefruit Connect也提供畫圖的功能, 如上圖, 我們什麼都不用做, 只要選這個選項, 就可以看到温度的變化圖形。這樣是不是超簡單就做出BLE温度計來了呢?

超簡單做出低功耗藍牙温度計(nRF52840 Dongle + TMP102 + MircoPython)

2023-06-28T11:15:00.003+08:00

MicroPython支援nRF52840 Dongle (pca10059), 這支在Mouser上只要台幣343左右就可以買到。買來後要燒錄MicroPython的firmware, 寫作時, MicroPython出到1.20.0版。燒錄方法, 可以參考燒錄Micropython 1.12至nRF52840 Dongle。這連結有更新, 文章下方有增加1.20.0版的燒錄方式, 不用擔心, 現在的燒錄方法是可以還原的, 以後仍可燒回其他firmware。

有了可跑MicroPython的nRF52840 Dongle後, 可以直接寫Python程式來實作低功耗藍牙温度計。其實不用傷腦筋如何寫, MicroPython官網就有一個範例程式, 直接拿來用就可以有這個功能了! 這麼好, 當然了, 這不就是MicroPython給我們的承諾嗎? 簡單好用! 連結在此: ubluepy_temp.py

註: 這個程式和MicroPython 1.20.0在nRF52840上, 會有RTC被用掉的問題, 要改一下! 如下圖, 1改成2就可以了。

改好, 直接跑, 然後用手機上的nRF Connect App (或其他BLE App), 找micr_temp這個裝置, 連接上去, 注意連接上去後, Dongle的LED燈會亮起來。找Environmental Sensing服務下的Temperature特徵值, 按下通知啟用, 並修改Data parser為符號整數。查看log部份, 就可以看到每5秒左右會更新一次温度值。如下圖:

如上圖, 第2點所圈起處, 看到2800, 這表示為28度C。如果沒有修改Data parser, 預設會是看到16進位數值, 如上圖第3點所圈起處0xF00A, 這個格式我們人類看不懂!

大家都注意到了吧! 現在温度都出現2700, 2800, 2900之類的, 後面那2個0都不會出現其他數字, 這是因為現在這個範例程式是存取nRF52840內建的温度感測器, 而這個温度感測器基本是查看MCU的温度用的, 而且目前firmware的實作也沒有取得小數點部份, 可能覺得沒必要! 而且, MCU通常會發熱, 比實際上的環境温度要高一些。

因此, 以下使用TMP102這顆TI的温度感測器來取得較為接近實際環境的温度。修改部份也很簡單, 只要加入TMP102的驅動, 再改一下上面這個範例程式就好。

但首先要處理一下硬體接線:

其實也很簡單, I2C的連線, 只要連接4條線就可以, VCC, GND, SDA, SCL。

TMP102 nRF52840 Dongle

VCC VDD OUT

GND GND

SDA 0.29

SCL 0.31

TMP102的驅動, 請參考再論TI TMP102這篇文章的最下方, 驅動的程式名字取為tmp102.py。請先將之存入Dongle。接著對原本的範例程式ubluepy_temp.py做以下修改即可:

這樣就好了, 改好存檔後, soft reset, 再跑, 然後用手機的nRF Connect App連入, 查看:

(記得改一下Data parser格式)就可以看到如上圖2475代表24.75度C的結果了, 這個温度值就比較接近實際環境的温度值了, 而且可以出現小數點以下, 較為精確的數值。

因為nRF52840 Dongle預設是用來接USB埠的, 所以我們可以拿一個手機充電器(有USB接頭的), 直接插進去, 這樣只要有電源插頭的地方就可以放我們的低功耗藍牙温度計了! 如下圖:

再修改一下boot.py, 加入一開機就跑我們改好的範例程式就大功告成。

再論TI TMP102

2023-05-30T10:55:00.002+08:00

雖然TMP102只是一個温度感測器, 但因為它使用I2C溝通界面, 讓我們可以學習I2C的用法, 而且架構簡單, 用起來不難, 但又有許多功能可以設定, 玩起來很有意思, 最主要的是其温度感測算是很準, 所以我一直很喜歡這顆。加上網路上也有很多人在用, 討論的文章和驅動程式都很容易找到, 所以這裡我想再談一下這顆的一些用法。

1. 驅動程式的寫法:

其實可以不用自己寫驅動程式, 如果你使用Arduino, 那Sparkfun已經幫大家寫好了: SparkFun_TMP102_Arduino_Library 請直接拿去用就好了! 如果你使用MicroPython, 那khoulihan也寫好一個: khoulihan/micropython-tmp102, 他其實已經寫得很好。

但是我還是自己用MicroPython再寫了一次, 原因是khoulihan的驅動太完整了, TMP102所有的功能都實作了! 可惜的是我想用的一個開發板的Flash空間太小, 放了這個驅動後, 剩下的空間就太小了, 要寫其他的程式就很受限! 另外, 在自己改寫的過程中, 我發現自己又學到一些東西。雖然多花了幾天時間在嘗試, 還是收穫不少!

其實2017年在玩PyMata的時候, 就已經寫過TMP102的驅動, 參見python code for pymata tmp102, 但這個是架在PyMata之上的, 基本上是在PC上面執行, 稱之為驅動, 似乎有些奇怪。但程式邏輯和想法基本上相同。

操作TMP102的方法, 很簡單, 就是設定其暫存器的值就可以了, 如下圖 (取自TMP102的datasheet), TMP102主要有4個暫存器, (還有一個指位暫存器Pointer Register), 要取得温度值, 就讀取Temperature Register的內容值, 再做一些格式轉換即可。要讓TMP102進入省電的Shutdown模式, 就只要將Configuration Register內的某一個位元設成1就可以了。問題是如何指定要存取那個暫存器呢? 那就要在指位暫存器先指定就可以了, 例如, 將指位暫存器設成0x01, 就可以存取Configuration Register。

不過, 在讀或寫暫存器值時, 指位暫存器值的設定方式有點不太相同! 以下分別說明:

讀取暫存器內容值時, 先下一個I2C寫入的指令, 寫入SLA及指位暫存器的值; 然後再下I2C讀取的的指令, 這樣就可以讀到指位暫存器所指之暫存器之內容值了。

上圖(取自TMP102 datasheet), 就是讀取暫存器內容值時使用的I2C指令, 這其實是下2個指令, 一寫一讀。以邏輯分析儀來看, 如下圖, 可能清楚一些。第一個I2C指令寫入0x01的值給指位暫存器, 告訴它接下來要讀取那個暫存器(0x01表示Configuration Register), 第二個I2C指令去讀取時, 就會讀到剛才指定的暫存器的值了。即W[0x48] 0x01, 表示告訢slave address為0x48的TMP102, 後面的讀取是要讀0x01暫存器的值。因此, 後面的R[0x48] 0xE1 0xA0, 讀到的0xE1 0xA0就是暫存器0x01的內容值。

寫入暫存器時, 如下圖(取自TMP102 datasheet), 則是一個I2C寫入指令而已, 但要先寫入的是要寫入那個暫存器(即要填入指位暫存器的數值), 接著是第一個位元組, 然後是第二個位元組。因為TMP102的4個主要暫存器都是二個位元組的大小, 所以寫入指令在指位暫存器後都是帶二個位元組。

同樣用邏輯分析儀來看一下, 可能清楚一點。如下圖, W[0x48] 0x01 0xE1 0xA0, 表示向slave address為0x48的TMP102下寫入指令, 將數值寫到0x01暫存器, 第一個位元組寫入0xE1, 第二個位元組寫入0xA0。

了解了如何用I2C和TMP102溝通以(讀取)寫入值到其暫存器之後, 要操作TMP102就很簡單了, 因為所有的功能都是操作其暫存器的值來進行的。例如, 可以讓TMP102進入Shutdown模式, 這個時候, 其耗電量就可以降到0.5uA左右, 非常省電。

The Shutdown-mode bit saves maximum power by shutting down all device circuitry other than the serial interface, reducing current consumption to typically less than 0.5 μA. Shutdown mode enables when the SD bit is 1; the device shuts down when current conversion is completed. When SD is equal to 0, the device maintains a continuous conversion state.

由上表(取自TMP102 datasheet)可以找到SD這個位元是在0x01 Configuration Register這個暫存器的第一個位元組(Byte 1)的D0這個位置。由Datasheet的文字說明, 我們知道將SD設為1, TMP102就會進入Shutdown模式, 較為省電許多。那這個功能的驅動要如何寫就很明顯了, 因為我們無法只去改變一個位元(bit), 我們最小的寫入單位是位元組(byte), 所以必須將原本暫存器的內容讀出, 然後用位元運算去改變一個位元, 再將整個位元組寫回去。

用MicroPython來寫, 如下程式, 第一行程式將Configuration Register這個暫存器的內容取出放到config位元組陣列, 第二行程式將config[0](即暫存器的第一個位元組)的D0位元(使用MASK SHUTDOWN_BIT=0x01)設成1(_set_bit), 第三行程式再將改過之後的內容寫回去原來的暫存器。這樣就達到我們使TMP102進入省電模式的目的了。

  
    def sleep(self):
        config = bytearray(self._get_config())
        config[0] = _set_bit(config[0], SHUTDOWN_BIT)
        self._set_config(config)

當然, 由Shutdown模式回到正常的連續轉換模式, 也就是把SD改回0(_clear_bit), 如此而已。


    def wakeup(self):
        config = bytearray(self._get_config())
        config[0] = _clear_bit(config[0], SHUTDOWN_BIT)
        self._set_config(config)

這裡讀取暫存器值和寫入暫存器值的函式, 見下列程式碼, 基本上是由khoulihan的程式修改一點點來的。其程式碼做的事情, 就是前面說明的用I2C寫入和讀取指令來做TMP102暫存器讀寫的動作而已。這裡可以學到一些小技巧, 即使MicroPython似乎是一個語言, 但其I2C部份的指令, 看來因不同開發板硬體不同, 而有2種不同語法習慣! (readfrom vs. recv; writeto vs. send) khoulihan使用了try except 語法來解決這個困擾, 這樣就可以跨不同硬體開發板。而讀取暫存器的動作, I2C送回來的2個bytes, 其資料型態為Bytes, khoulihan使用bytearray()這用法將其由Bytes轉成Byte Array型態, 以方便直接存取其中一個位元組。

 
    def _read_register(self, register):
        self._write_register(register)
        try:
            val = self.bus.readfrom(self.address, 2)
        except AttributeError:
            val = self.bus.recv(2, addr=self.address)
        return val
    
    def _write_register(self, register, value=None):
        bvals = bytearray()
        bvals.append(register)
        if value is not None:
            for val in value:
                bvals.append(val)
        try:
            self.bus.writeto(self.address, bvals)
        except AttributeError:
            self.bus.send(bvals, addr=self.address)
            
    def _get_config(self):
        return self._read_register(REGISTER_CONFIG)
    
    def _set_config(self, config):
        self._write_register(REGISTER_CONFIG, config)

我使用三用電表來量一下耗電量, 下圖是TMP102進入Shutdown模式時的耗電流, 真的如Datasheet所說的, 不到0.5uA。這時我使用的是Nordic nRF52840DK這個開發板。

當我把TMP102回復成一般模式(即連續轉換模式)時, 耗電量開始跳動, 因為預設是每秒進行4次轉換(即將取得類比温度轉換成數位值並存入0x00温度暫存器), 每次轉換時都會比較耗電。三用電表是顯示平均值, 所以只能看到在跳動的數字, 耗電量可能在60-12uA之間, 如下圖。

所以確實, 這樣可以用來控制TMP102的行為。有用的是這個驅動是可以跨硬體的, 如下圖Thonny這個工具, (1)只要把我自己改的驅動tmp102.py複製到開發板上的flash, (2)寫一個簡單的MicroPython程式, 如此圖中的tmp102_temp.py, 修改一下因不同板子而不同的 I2C接腳編號, 就可以叫TMP102工作了。如上圖, 我還有一個Raspberry Pi Pico開發板, 我也把驅動copy過去, 然後改了一下tmp102_temp.py, 之後就可以在RP Pico上讀到TMP102測到的温度了。

因為我只需要one-shot並保留原本連續轉換模式的功能, 這樣才能省電且驅動程式較小, 因此沒有全部TMP102的功能, 如果有同樣需求的朋友, 我仍將程式碼放在這裡。程式碼最後面註解部份為此驅動的用法, 如程式註解對應二個用法, 一個為預設用法, 一個為省電用法。

REGISTER_TEMP = 0
REGISTER_CONFIG = 1

SHUTDOWN_BIT = 0x01
ONE_SHOT_BIT = 0x80

def _set_bit(b, mask):
    return b | mask

def _clear_bit(b, mask):
    return b & ~mask

class Tmp102(object):
    
    def __init__(self, bus, address):
        self.bus = bus
        self.address = address
        
    def get_TempC(self, data):
        lo = data[1]
        hi = data[0]
        temp = ((hi * 256) + lo) >> 4
        return temp * 0.0625
    
    def _read_register(self, register):
        self._write_register(register)
        try:
            val = self.bus.readfrom(self.address, 2)
        except AttributeError:
            val = self.bus.recv(2, addr=self.address)
        return val
    
    def _write_register(self, register, value=None):
        bvals = bytearray()
        bvals.append(register)
        if value is not None:
            for val in value:
                bvals.append(val)
        try:
            self.bus.writeto(self.address, bvals)
        except AttributeError:
            self.bus.send(bvals, addr=self.address)
            
    def _get_config(self):
        return self._read_register(REGISTER_CONFIG)
    
    def _set_config(self, config):
        self._write_register(REGISTER_CONFIG, config)
        
    def temperature(self):
        return bytearray(self._read_register(REGISTER_TEMP))
            
    def wakeup(self):
        config = bytearray(self._get_config())
        config[0] = _clear_bit(config[0], SHUTDOWN_BIT)
        self._set_config(config)    
    def sleep(self):
        config = bytearray(self._get_config())
        config[0] = _set_bit(config[0], SHUTDOWN_BIT)
        self._set_config(config)
    
    def set_one_shot(self):
        config = bytearray(self._get_config())
        config[0] = _set_bit(config[0], ONE_SHOT_BIT)
        self._set_config(config)
        
    def get_one_shot(self):
        while True:
            config = bytearray(self._get_config())
            data1 = (config[0] >> 7) & 0x01
            if data1 != 0:
                break
        return bytearray(self._read_register(REGISTER_TEMP))
    
'''
from xxx import Tmp102
from machine import I2C, Pin
i2c = I2C(0, scl=Pin(29), sda=Pin(31))
sensor = Tmp102(i2c, 0x48)

# periodic read
sensor.wakeup()
sensor.get_TempC(sensor.temperature())

# one-shot read
sensor.sleep()
sensor.set_one_shot()
sensor.get_TempC(sensor.get_one_shot())
'''