豆腐腦

數據不是萬靈丹：個人決策的輔助、盲點與邊界

2026-11-10T22:47:45.869+08:00

在個人利用數據做決策時，我們常誤以為只要數據夠多，答案就會自動浮現。但事實是，數據只是工具，人腦的認知限制與偏誤才是決策的核心變數。

先承認：人腦不是數據處理器

很多人以為決策就是輸入資訊、輸出結果，就像電腦運算一樣。但人類在處理和評估資訊時，能力是有極限的 ^[1]。我們無法同時關注所有資訊，注意力會分散，記憶也容易遺忘 ^[2]。

更麻煩的是，我們的大腦有「系統一」和「系統二」兩種模式。系統一快速、直覺，但容易受情緒和刻板印象影響；系統二慢速、理性，但很耗費精力。當數據複雜時，我們往往依賴系統一的直覺，結果做出非理性的選擇。例如，我們可能因為媒體大量報導某類事件，就高估其發生的機率，而忽略統計數據顯示的真實比例 ^[3]。

承認自己不是數據處理器，並不意味著放棄理性。相反，這提醒我們需要外部工具來補足大腦的短板。既然我們無法完美地記住所有變數或計算所有機率，就應該設計流程，讓數據以我們能理解的方式呈現，而不是強迫大腦去處理超出負荷的資訊。

數據不足時，把直覺變成可檢驗的判斷

當數據完全缺失或不足時，我們不能乾等，也不能憑空猜測。這時候，結構化的提問能幫助我們把模糊的直覺轉化為具體的判斷 ^[4]。

例如，在預估市場銷售額時，如果專家說「沒概念」，預測人員可以透過一系列區間提問來引導：「會超過一千萬嗎？」「會低於四百萬嗎？」「六百萬是否較有可能？」透過這種逐步縮小範圍的方式，專家能給出更可靠的估計，如「七百萬元左右」 ^[4]。這顯示即使沒有精確數據，透過結構化對話也能提取出有價值的資訊。

此外，個人決策往往不是一蹴而就的，而是一個過程。我們可以先透過不同來源獲取資訊，再進行小規模試行，最後才做出全面決定 ^[5]。這種「試錯」機制能降低風險，讓直覺在實踐中接受檢驗，而不是盲目相信第一感覺。

讓工具算、視覺化來看：輔助理性思考

既然人腦不擅長複雜計算，我們就應該讓工具來做這些事。決策支援軟體的核心功能，就是代為計算、列出選項，並檢查假設 ^[6]。電腦擅長記憶、計算和比較，這些正是人類不擅長的工作 ^[3]。

資料視覺化則是另一個關鍵。它利用人類視覺系統對結構、邊界和運動的敏感感知，幫助我們從複雜數據中發現關聯。這並非要排除直覺，而是利用視覺化的優勢來輔助系統二進行理性評估。例如，一張清晰的圖表能讓我們一眼看出趨勢，而長篇的數據表格則可能讓我們迷失在細節中 ^[6]。

好的數據工具應該像一位嚴謹的助手，它不替你做決定，但它會把選項攤開，把計算做完，並提醒你檢查那些容易被忽略的假設。這樣，你的注意力就能集中在「判斷」而非「計算」上，從而提升決策品質。

模型與大數據：把選擇變機率，也要防預測失靈

數據建模能將二元的選擇（如「去」或「不去」）轉化為機率，讓我們更精確地評估風險 ^[7]。然而，模型並非萬能。時間序列數據具有路徑依賴性，過去的規律未來不一定重演 ^[8]。

更危險的是，隨機過程和結構變動會讓預測失靈。例如，在2018年世界盃中，多個預測模型都認為德國隊能進入前三，但結果德國隊意外出局。這顯示當面對不確定的衝擊時，基於歷史數據的模型可能完全失效 ^[8]。

因此，專業知識必須介入數據解讀。例如，在運動數據分析專案中，結合運動員的專業經驗與數據解析，才能更準確地理解數據背後的意義 ^[7]。數據提供機率，但專業知識提供上下文，兩者缺一不可。

社會數據與群體智慧：輔助還是偏誤放大器？

關於是否該參考「多數人的意見」，不同觀點存在張力。一方面，當選擇過多時，相信多數人與網路樞紐能簡化決策，因為我們傾向於向最大的網路樞紐靠攏，這能降低選擇困難 ^[9]。

但另一方面，群體影響也可能扭曲個人判斷。從眾壓力會讓我們服從群體規範，尤其是當資訊模糊時。社會比較過程也會影響我們，例如看到廣告中的理想形象後，我們可能對自身產生不滿，進而影響消費決策。此外，群體極化現象顯示，群體討論後可能做出更極端（更冒險或更保守）的決定，而非更理性的決定 ^[10]。

群體智慧是一把雙刃劍。在資訊不對稱且選擇複雜時，參考多數人可能是高效的捷徑；但在涉及個人價值觀或需要獨立判斷的情境下，從眾壓力可能導致盲從。關鍵在於辨識何時該借力於群體，何時該堅持獨立思考，並警惕群體討論可能帶來的極化效應。

個人資料與集體資料：守住隱私與用途邊界

在利用數據時，必須區分「個人資料」與「集體資料」的用途。個人資料（如信用卡號碼、購物史）只應用於協助個人做出更快、更明智的選擇，例如提供產品建議。若將個人資料用於市場分析或促銷，則可能侵犯隱私並帶來歧視風險 ^[11]。

集體資料（如整體需求、價格敏感度）則較適合用於判斷市場趨勢和調整經營策略 ^[11]。將兩者混用，不僅違反隱私原則，也可能導致誤判。例如，利用個人資料來洞悉市場動向，雖然能鎖定狹小族群，但風險極高，不如使用集體需求資料來創造經營優勢 ^[12]。

數據使用的邊界在於「尊重」。個人資料是私密的，應僅用於服務個人；集體資料是公共的，可用於理解市場。混淆兩者不僅是倫理問題，也是策略錯誤。個人決策者在使用數據時，也應意識到數據來源的性質，避免將集體統計數據誤解為對個人的精確預測。

數據是輔助，不是答案

總結來說，個人利用數據做決策，重點不是把數據當答案，而是用工具補認知限制、用模型暴露假設、用社會與集體數據時守住邊界。我們必須承認人腦不是數據處理器 ^[1]，因此需要決策支援軟體來輔助系統二 ^[6]；我們必須警惕模型的盲點與預測失靈 ^[8]，並理解社會數據可能帶來的偏誤 ^[10]。

最終，數據是輔助工具，而非最終答案。保留系統二的理性評估空間，並透過試行來驗證判斷 ^[5]，才是個人利用數據做決策的正道。

參考來源

人因工程學, p.149
人因工程學, p.147
認知與設計, p.169
產品經理聖經, p.264
創新的擴散, p.183
認知與設計, p.172
大數據決策分析盲點大突破10講：我分類故我在, p.136
大數據決策分析盲點大突破10講：我分類故我在, p.90
超級關係, p.128
消費者行為概論, p.80
刻不容緩, p.247
刻不容緩, p.253

量化交易不是魔法：個人投資者如何避免成為韭菜

2026-11-04T18:00:46.059+08:00

量化交易聽起來高深莫測，但對個人投資者而言，它並非遙不可及的技術，而是一套基於數據與邏輯的決策方法。理解其核心，能幫助我們避開常見的投資陷阱，做出更理性的選擇。

一、破除迷思：量化不等於高頻自動下單

很多人誤以為量化交易就是讓電腦在毫秒間自動下單的高頻交易，這其實是一個常見的誤區。事實上，量化交易的核心在於「策略分析」，也就是透過分析歷史與即時資料，來決定買什麼、何時買、何時賣。這與高頻交易利用極短暫的市場價差獲利是完全不同的概念 ^[1]。

對於個人投資者來說，下單方式並不重要，無論是人工手動下單、手機 APP 操作，還是設定好條件後由電腦自動執行，都只是執行流程的差異 ^[1]^[2]。重點在於背後是否有經過驗證的策略。就像汽車的發動機，有了好的策略，即使採用最傳統的人工操作模式，也能完成交易過程。因此，初學者不應被「程式化」或「自動交易」的標籤嚇退，而應專注於學習如何制定有效的交易策略 ^[1]。

對於大多數非專業背景的個人投資者，將量化視為一種「紀律工具」而非「技術武器」更為實際。它幫助我們將情緒從決策中剝離，確保我們是按照預設的邏輯而非當下的恐懼或貪婪來操作。

二、數據是基礎：從統計分析開始

量化投資離不開數據分析。金融資料分析是量化工作中不可或缺的一環，正確的數據分析能幫助投資者獲取利潤，誤判資訊則可能錯失良機。統計分析包括描述統計與推斷統計，目的是從雜亂的數據中提取對投資有用的資訊 ^[3]。

例如，在分析股票時，我們可以利用成交量與價格數據來制定策略。一個簡單的例子是結合成交量均線與價格均線：當成交量大於其均值，且短期均線向上穿破長期均線時，發出買入訊號；反之則發出賣出訊號。這種方法將複雜的市場行為簡化為可量化的規則，讓投資者能更客觀地判斷進出場時機 ^[4]。

此外，投資組合的回報率計算也是基礎功課。這包括計算最終組合價值、年收益回報、日收益率方差以及夏普比率等指標。這些指標能幫助我們評估策略的風險與回報特徵，而不仅仅是看最終賺了多少钱 ^[5]。

三、風險與個性：認識自己的局限

投資具有風險性，必須考量自身的個性與風險承受能力。不同的性格適合不同的投資方式。例如，支配型（Dominance）的人主見強、行動力高，可能適合高風險產品與主觀式交易，但需做好風險控管 ^[6]。而跟隨型（Compliance）的人深思熟慮、關注細節，則更適合低風險商品與程式交易 ^[7]。

了解這些特質有助於我們選擇適合的投資商品。例如，存款雖然利率低，但幾乎無風險，適合追求穩定的人 ^[7]。相對地，商品期貨市場需要持續的行動力與冷靜的判斷，容易激動的人不適合 ^[8]。

在進入量化交易前，先進行自我評估比學習任何程式語言都重要。如果一個人天生無法承受波動，強行使用高頻或高槓桿的量化策略，只會加速虧損。量化策略必須與個人的風險偏好匹配，才能長期存活。

四、避免「韭菜」命運：專業與業餘的分野

網路公開課中常說：「小資、小白做股票，往往是韭菜的命」。這並非因為他們笨，而是因為不專業。任何行業，只有專家才是贏家 ^[2]。

以「一月效應」為例，許多人看到美股一月上漲的表象，便在年初重倉掃貨，月底出貨。但數據顯示，一月美股上漲的平均機率僅約 51%，而中國 A 股僅約 45%，混合指數更是低至 33%。如果只看表面現象進行投資，結果往往是虧損。這說明，缺乏對數據背後統計意義的理解，盲目跟隨市場傳聞或簡單規則，是個人投資者虧損的主要原因之一 ^[2]。

專業投資者懂得避開特例。當市場發生特殊事件（如政治變動、新制上路）時，行情變化可能不在預期內，此時應先退場觀望，避免在不可控的狀態下操作。同時，如果程式交易的結果不如預期，應該停止交易並重新檢驗程式，而不是手動干預或自行交易 ^[6]。

五、總結：建立系統化的投資思維

量化交易對個人投資者而言，不僅是技術，更是一套系統化的思維方式。它要求我們：

釐清概念：明白量化核心是策略分析，而非單純的自動下單 ^[1]。
掌握數據：學會基本的統計分析與指標計算，用數據說話而非憑感覺 ^[3]^[4]。
認識自我：根據自己的性格與風險承受能力，選擇適合的投資商品與策略 ^[6]^[7]。
保持紀律：避免情緒化操作，在市場特例時懂得退讓，在策略失效時懂得檢視 ^[6]^[2]。

正如創業需要建立可整合的系統能力一樣，投資也需要建立一套能持續運作的決策系統 ^[9]。不要追求一夕致富，而應在可控的狀態下，追求穩定持續的成長 ^[6]。透過量化思維的訓練，個人投資者可以從被動的「韭菜」，轉變為主動的市場參與者。

參考來源

零起點Python大資料與量化交易, p.54
零起點Python大資料與量化交易, p.55
量化投資, p.199
量化投資, p.536
零起點Python大資料與量化交易, p.180
給工程師的第一本理財書：程式金融交易的118個入門關鍵技巧, p.23
給工程師的第一本理財書：程式金融交易的118個入門關鍵技巧, p.24
1st Billion Is The Hardest, p.97
創業, p.37

從通用汽車到管理現場：杜拉克如何把企業經驗變成時代診斷

2026-11-02T09:40:30.772+08:00

一、生平線索：通用汽車經驗與《企業的概念》

理解彼得·杜拉克（Peter Drucker）的管理思想，必須回到二十世紀中葉的企業現場，特別是通用汽車（General Motors）的經驗。在當時的商業環境中，通用汽車不僅是美國工業的象徵，更是管理學研究的關鍵案例。《左派商學院》指出，自1970年代起，管理學界開始重新審視二十世紀的經營典範，而《我在通用汽車的歲月：斯隆自傳》被視為商管經典之一，當時「對通用汽車好的事就是對美國好的事」幾乎是普遍的常識（《左派商學院》, p.63）。杜拉克正是運用他在通用汽車的觀察與經驗，奠定了日後諸多相關著作的基礎（《左派商學院》, p.63）。

1946年，杜拉克出版了影響深遠的著作《企業的概念》（*The Concept of Corporation*）。這本書不僅是管理學的里程碑，更被視為對當時現代企業運作法則的系統性說明。根據《創造性破壞》的記載，杜拉克在書中根據專業分工、大量生產，以及自然資產的有效運用等原則，闡述了當時企業的運作邏輯（《創造性破壞》, p.40）。這本著作標誌著杜拉克從實務觀察轉向理論建構的關鍵時刻，將通用汽車的具體經驗轉化為對現代企業本質的深刻洞察。

杜拉克的學術生涯並非始於書房，而是始於工廠與辦公室。通用汽車作為一個複雜的巨型組織，為他提供了觀察「自由」與「管控」張力的最佳實驗室。沒有這段深入企業核心的經驗，他後續關於組織設計與管理實務的論述將缺乏根基。

二、組織設計：自由、管控與分權化

杜拉克對組織設計的核心貢獻，在於他如何處理大型企業中「自由」與「管控」之間的緊張關係。在《企業的概念》中，他深入分析了通用汽車面臨的結構性困境：通用汽車既無法像控股公司那樣，讓旗下部門擁有如獨立公司般的自由財務管控權；也無法像集權化組織那樣，由最高階層制訂所有決策，使部門主管的職權僅略高於工廠管理者（《創造性破壞》, p.305）。

這種兩難的緊張狀態，最終透過通用汽車總裁小艾爾佛瑞德·史隆（Alfred P. Sloan Jr.）的「分權化」概念得到解決。杜拉克認為，分權化不僅是一種管理技術，更是一種「社會秩序的要」（原文如此，意指社會秩序的要求/要素）（《創造性破壞》, p.305）。這一概念在1933年至1940年間發展而成，旨在確保組織營運部門承擔責任，同時透過嚴密的會議與報告制度來維持整體協調（《創造性破壞》, p.305）。

杜拉克進一步指出，企業若要成為創造者與經營者，必須學習同時接納「連續性假設」與「不連續性假設」，並在管控與許可之間達成平衡（《創造性破壞》, p.305）。這種平衡並非靜態的，而是動態的組織社會秩序。透過分權化，企業得以在保持整體方向一致性的同時，賦予下層單位足夠的彈性與自主權，從而應對快速變化的市場環境。

杜拉克的洞見在於，他沒有將「分權」視為單純的權力下放，而是視為一種維持組織活力的社會契約。這種視角超越了當時主流的機械式管理觀，為後來的矩陣式組織與多角化經營提供了理論基礎。

三、創新與創業：機會、意外與制度

在杜拉克的管理體系中，創新並非僅屬於技術領域，而是組織的核心能力。他明確指出：「每個組織，而不光是企業，都需要一個核心能力：創新」（《快樂腦》, p.24）。此外，他將創新與行銷視為企業最重要的兩項投資活動，認為其餘活動多屬於成本（《WBSA商務企劃專員資格認證學習手冊》, p.17）。

杜拉克對創新的理解，特別強調「意料之外的事件」作為創新來源的重要性。他在1984年的著作《創新與創業家精神》中提到：「意料之外的事件，能使我們跳出先入為主的觀念、假設、及原先確定的事物，所以它是一個相當有用的創新來源」（《WBSA商務企劃專員資格認證學習手冊》, p.128）。以7-ELEVEN為例，其24小時營業模式的誕生源於一次鐵捲門故障的意外，店長與顧問在守夜期間發現了夜間顧客的需求，從而將原本打烊的商店轉變為全年無休的便利商店（《WBSA商務企劃專員資格認證學習手冊》, p.128）。

然而，創新的發生不僅依賴於機會的捕捉，更取決於組織制度是否扼殺了創造力。杜拉克曾向一群老練的經理人提問：如果公司裡有「枯木」（指失去創造力的員工），這些人是在面試前就是枯木，還是進入公司後才變成枯木的？（《馬斯洛人性管理經典》, p.39）。這個問題引導我們反思，企業最重要的工作或許不是改變員工，而是尋找扼殺創造力的制度殺手。例如，美國林務局原本要求員工填寫長達四頁的建議表格，導致四年間僅收到252件提案；當改為簡易摘要且無回應即可自行實施後，第一年便收到6000件提案（《馬斯洛人性管理經典》, p.39）。

杜拉克將創新從「天才的靈光一閃」重新定義為「可管理的系統過程」。他強調制度設計對創新的抑制或促進作用，這使得創新管理從邊緣議題轉為企業戰略的核心。

四、市場與消費者：行銷之恥、趨勢與流行

杜拉克對行銷的批判，源於他對消費者觀點的堅持。他將消費者主義視為「行銷之恥」（shame of marketing），因為製造廠商往往視消費者為「對消費者有興趣但又不真正瞭解消費者的某個人」，且期望消費者去區分產品良窳，這既是消費者無能力也不願意做的事（《行銷思想》, p.170）。杜拉克認為，行銷應強調消費者觀點而非銷售者觀點，並進行消費者多樣化選購行為的研究，以主動瞭解消費者真正的需求（《行銷思想》, p.170, p.172）。

在市場趨勢的判斷上，杜拉克提出了區分「趨勢」與「一時流行」的關鍵標準。他認為，「改變」是指人們實際所做的，而「一時流行」則是人們所談論的（《策略行銷管理》, p.139）。這意味著真正的趨勢必須有具體的內容與行動，並有資料佐證，而非憑空想像。相比之下，一時流行往往缺乏穩固基礎，可能突然消退。例如，Schwinn公司曾誤判登山機車為一時流行，導致市場地位受損（《策略行銷管理》, p.139）。

杜拉克的行銷觀具有強烈的倫理與實務雙重色彩。他不僅批判行銷的扭曲，更提供了一套基於「實際行為」而非「口頭宣稱」的趨勢識別方法，這對於當今充滿噪音的市場環境仍具高度參考價值。

五、人性與組織：現場洞見與心理學評價的分歧

杜拉克對人性的理解，主要來自於工業與管理現場的觀察，而非實驗室心理學。馬斯洛（Maslow）在《馬斯洛人性管理經典》中肯定杜拉克對人性的論述與「第三勢力」心理學的內容非常相近，並指出杜拉克是藉由對工業和管理現況的觀察而做出結論（《馬斯洛人性管理經典》, p.27）。馬斯洛甚至認為，杜拉克對人性的瞭解絕不輸給羅嘉思（Carl Rogers）或弗洛姆（Erich Fromm）的傑出貢獻，並預見工業現況將成為研究人類心理學的實驗室（《馬斯洛人性管理經典》, p.27）。

然而，對於杜拉克的方法論，材料中呈現了不同的評價。馬斯洛在另一處批評杜拉克及其同事「看到科學心理學就馬上放棄」，認為他們丟掉了科學心理學中價值不菲的「金礦」，儘管其中也包含許多無意義的回聲（《馬斯洛人性管理經典》, p.29）。馬斯洛認為，工業心理學開啟了新的資料來源，提供了實證基礎，而杜拉克可能因對專業社會科學或心理學「一無所知」而錯過了這些深層資源（《馬斯洛人性管理經典》, p.27, p.29）。

這種分歧揭示了杜拉克思想的雙面性。一方面，他提供了極具實務效用的現場洞見，使管理學貼近真實組織運作；另一方面，他缺乏嚴謹的科學心理學基礎，使得其理論在學術嚴謹性上受到質疑。這並非單純的對錯問題，而是「實務智慧」與「科學理論」之間的張力。

六、影響與限度：洞見、預言與實證研究的張力

杜拉克的影響力廣泛而深遠，但其學術貢獻的形式與效果卻存在著顯著的張力。《左派商學院》指出，杜拉克的著作及洞見影響了很多人和很多的組織，但他本身沒有太多的文章（《左派商學院》, p.159）。這種影響更多體現在實務層面的範式轉移，而非學術期刊上的密集發表。

然而，杜拉克的預言並非總是即時生效。在《創造性破壞》中，作者提到杜拉克在1969年出版的《不連續的時代》中預言了危機的到來，但可惜他的言論主張無法擊垮七〇年代的思潮（《創造性破壞》, p.40）。當時的經營主管面臨通貨膨脹與高利率，對於杜拉克的建言「充耳不聞」（《創造性破壞》, p.40）。這顯示了實務洞見在面對短期經濟壓力時的局限性。

與此同時，策略管理領域的學術發展也經歷了從個人經驗到實證研究的轉變。《策略行銷管理》指出，長久以來策略領域都是由個人經驗與見解的觀念性貢獻所主導，直到最近實證研究才開始受到重視（《策略行銷管理》, p.39）。這與《左派商學院》中提到的杜拉克影響廣泛但文章不多的現象形成呼應，顯示管理學從「大師洞見」走向「科學驗證」的過程是遲緩且充滿張力的。

杜拉克的歷史地位在於他是一個「時代診斷者」而非「預言家」。他的價值不在於預言是否被立即接受，而在於他將企業現場的複雜現象轉化為可被檢驗的管理問題。當實證研究後來成熟時，許多杜拉克的直覺判斷被驗證為正確，這證明了其現場洞見的持久價值。

結語

從通用汽車的組織設計，到創新的制度來源，再到對行銷與人性的深刻批判，彼得·杜拉克的影響不在於預言的準確性或文章的数量，而在於他成功地把企業經驗變成了時代診斷。他將通用汽車式的企業現場、消費者行動、創新機會與組織制度，轉化為可被檢驗的管理問題。儘管其理論在科學心理學基礎上受到批評，且預言常被短期現實忽略，但他建立的框架——特別是關於分權化、創新來源與消費者觀點的論述——至今仍構成現代管理實踐的核心底層邏輯。

---

參考來源

策略行銷管理 | p.39、p.139、p.147、p.347 |
馬斯洛人性管理經典 | p.27、p.29、p.39、p.177 |
WBSA商務企劃專員資格認證學習手冊 | p.17、p.128 |
左派商學院 | p.32、p.63、p.66、p.159 |
行銷思想 | p.170、p.172 |
創造性破壞 | p.18、p.40、p.305 |
快樂腦 | p.24、p.39、p.169 |

蝴蝶製造偶然，蜜蜂把偶然養成潮流

2026-10-27T22:55:28.693+08:00

蝴蝶製造偶然，蜜蜂把偶然養成潮流

蝴蝶效應：被略過的細微條件

在複雜系統中，那些平常容易被略過的微小條件，往往潛藏著引發重大且難以預測結果的力量。這正是「蝴蝶效應」的核心意涵。正如《北京的蝴蝶,東京的蜜蜂》所描述，上勝町的樹葉產業成立機緣，源於橫石知二在難波的料理店偶然看到女大學生讚美襯託主菜的紅葉。本來毫無關聯的兩個事件在「此地，此時」的偶然機緣下交會在一起，如果女大學生是到別家餐廳用餐，或者橫石知二當天沒有和同事到該餐廳聚餐，上勝町的阿嬤們將不會有機會達到年收入超過一千萬日圓的成就，四國的山間小鎮也不會有美國人遠渡重洋前來觀摩考察（《北京的蝴蝶,東京的蜜蜂》, p.262）。這種現象描寫的是自然界中複雜無法預測的「混沌」（Chaos），而人類社會或商業社會也適用這個理論（《北京的蝴蝶,東京的蜜蜂》, p.262）。

《N世代衝撞》進一步引用氣象學家和數學家愛德華·羅倫茲（Edward Lorenz）所創造的「蝴蝶效應」名詞，指出蝴蝶在世界的一端鼓動其翅膀可能會引發一連串的連鎖反應，而在世界的另一端製造出氣候大災難（《N世代衝撞》, p.312）。由這個理論推演，在錯綜複雜的系統裡，最初的情況都可能帶來非常敏感的最終後果，開始的小小改變都可能很戲劇化地影響著最終結果（《N世代衝撞》, p.312）。《行銷3.0》則透過戴伊（George S. Day）與舒麥克（Paul J. H. Schoemaker）針對一百一十九家國際企業的研究，證實了在一個相互連結的經濟中，「蝴蝶效應」的確存在，世上某個角落的一個小改變，可能會讓另一個角落發生巨大變革（《行銷3.0》, p.102）。

這三本書共同指向一個關鍵洞察：偶然並非隨機噪音，而是系統敏感性的體現。對於商業觀察者而言，識別這些「細微條件」比預測結果本身更為重要，因為正是這些看似無關的微小互動，構成了複雜系統中變革的起點。

蜜蜂隱喻：從深山偶然到銀座養蜂

與蝴蝶效應強調「不可預測的偶然」不同，蜜蜂隱喻則聚焦於領導者如何將偶然轉化為可控的產業機會。《北京的蝴蝶,東京的蜜蜂》指出，在很多情況，偶然是成功的關鍵要素，如果能夠將偶然轉化成必然，則可以帶來一連串的成功，這需要不可或缺的才能（《北京的蝴蝶,東京的蜜蜂》, p.262）。書中提出了一個典型範例：領導者在熱鬧繁華的市中心，採取行動籌劃銀座養蜜蜂（《北京的蝴蝶,東京的蜜蜂》, p.262）。

這個隱喻的核心在於領導者如何聯結「蜜蜂拍動的翅膀」和「都會養蜂潮流」（《北京的蝴蝶,東京的蜜蜂》, p.262）。故事的舞臺發生在德島的深山，然後轉移到東京銀座，象徵著從邊緣的偶然發現到中心市場的主流化過程（《北京的蝴蝶,東京的蜜蜂》, p.262）。這顯示出領導者的角色不僅是被動地觀察蝴蝶效應，而是主動地捕捉那些微小的振動（蜜蜂拍動翅膀），並透過策略性的行動，將其引導為可持續的社會或經濟潮流（都會養蜂）。

蜜蜂隱喻補足了蝴蝶效應的缺失。蝴蝶效應揭示了變革的源頭，但蜜蜂隱喻提供了變革的路徑圖。它強調了「連結」與「轉化」的能力，即領導者必須具備將分散的、微小的偶然事件，整合為具有方向性的集體行動或產業趨勢的戰略思維。

兩面刃：小改變的市場機會與名聲風險

在錯綜複雜的系統與社交圈互動中，小改變所帶來的影響具有雙重性，既是市場開發的機遇，也是名聲毀滅的風險。《N世代衝撞》指出，行銷專家若將目標市場鎖定在上網成迷的年輕人，就必須了解蝴蝶效應的觀念，因為它告訴你：你可以只跟一小撮佔據良好地位的顧客發展關係就可能快速開發出產品市場來（《N世代衝撞》, p.312）。然而，這種波動性卻是很鋒利的「兩面刃」（《N世代衝撞》, p.312）。假如你在初期犯下一些錯誤，也可能像滾雪球一般傷害產品的名聲（《N世代衝撞》, p.312）。

《WBSA商務企劃專員資格認證學習手冊》在討論媒體計畫時，也強調了這種效應的驚人程度。該書指出，媒體效應跟蝴蝶效應一樣驚人，且其傳播速度之快是難以想像的（《WBSA商務企劃專員資格認證學習手冊》, p.356）。這意味著，任何微小的資訊偏差或錯誤，在媒體的放大效應下，都可能迅速擴散並造成難以挽回的負面影響。《行銷3.0》則從領導者角度補充，一個能掌握這種小改變的企業領導者，將能贏得重要優勢（《行銷3.0》, p.102）。但這裡的「優勢」隱含著對風險的極高敏感度，因為能夠引發巨大變革的小改變，同樣能引發巨大的危機。

「兩面刃」的比喻揭示了複雜系統中風險與回報的非線性關係。在數位時代，資訊傳播的速度與廣度使得「小改變」的後果被極端放大。因此，企業在利用蝴蝶效應快速開發市場時，必須建立相應的風險預警機制，因為初期的微小錯誤在社交網絡的互動中，其破壞力可能遠超預期。

媒體與利害關係人：不可控的蝴蝶與可管理的媒體

關於媒體與行銷資訊的可控性，不同書籍呈現了明顯的分歧觀點。一方面，《N世代衝撞》認為企業已無法嚴格管控行銷資訊。該書指出，企業界必須體認到：自己不再有能力嚴格管控行銷資訊，反而愈來愈需要看「利害關係人網站」（stakeholder webs）的臉色，它們是由一群又一群的個人所組織起來的網站，隨時都在監視企業的行為並設法想改變之（《N世代衝撞》, p.312）。這反映了在去中心化的社交網絡中，資訊流動的不可預測性與不可控性，媒體與公眾已成為主動的監督者與改變者。

另一方面媒體是可以透過特定策略進行管理的。媒體可視為「活動企劃執行者的好幫手」，透過具體的管理手段，例如，透過邀請貴賓（如政治人物、演藝名人等）來製造話題性，並預先準備問答集提供給貴賓，以防止媒體失焦。此外，對活動流程時間掌握與活動品質管理等結構化的流程，引導媒體報導的方向。

這兩種觀點並非完全互斥，而是適用於不同的層面與情境。《N世代衝撞》描述的是宏觀的、長期的、基於社交網絡的資訊生態，其中企業確實難以完全控制敘事；而《WBSA》描述的是微觀的、短期的、基於特定活動的媒體操作，其中企業可以透過專業技巧影響報導內容。然而，在整體行銷策略中，企業必須承認宏觀層面的不可控性，同時在微觀層面盡力管理媒體互動，以減少負面風險並最大化正面效應。

珍珠奶茶：蝴蝶效應「想來也不過如此」

對於蝴蝶效應是否僅僅是偶然的神話，材料中呈現了另一組衝突。多本書如《北京的蝴蝶,東京的蜜蜂》與《行銷3.0》將蝴蝶效應描述為能引發驚人變革的偶然力量（《北京的蝴蝶,東京的蜜蜂》, p.262；《行銷3.0》, p.102）。然而，《當珍珠遇到茶》提供了不同的視角。該書指出，珍珠奶茶翻紅後，很多媒體喜歡拿來談論，甚至將其定位成「全球趨勢下一定要修的學分」（《當珍珠遇到茶》, p.217）。但作者認為，想不到一項創意飲料，居然引起這麼廣的迴響，蝴蝶效應想來也不過如此（《當珍珠遇到茶》, p.217）。

《當珍珠遇到茶》強調，譽為茶學，引發思想體系，歸納成理論，讓人有所依循，看來簡單易懂，對我們來說，卻是上萬個日子行動一致的扎實付出（《當珍珠遇到茶》, p.217）。這表明，廣闊的社會迴響與成功背後，並非單純依賴偶然的蝴蝶效應，而是長期、持續且一致的行動與付出。蝴蝶效應或許解釋了為什麼某個時刻會突然爆發，但無法解釋為什麼只有某些產品或品牌能夠持續維持這種影響力。

珍珠奶茶的案例揭示了「偶然」與「必然」之間的辯證關係。蝴蝶效應可能提供了觸發點或放大機制，但沒有扎實的基礎，偶然無法轉化為持久的成功。因此，在解讀蝴蝶效應時，不應忽視背後的長期努力與系統性建設。偶然可能是導火線，但燃料必須是長期累積的價值與品質。

總結：從蝴蝶警覺到養蜂行動

回顧本文，蝴蝶與蜜蜂的隱喻共同構成了理解複雜系統中變革的完整圖景。蝴蝶效應提醒我們，平常容易被略過的細微條件，可能在複雜系統中引發重大且難以預測的結果（《北京的蝴蝶,東京的蜜蜂》, p.262；《N世代衝撞》, p.312；《行銷3.0》, p.102）。這種不可預測性要求領導者具備高度警覺意識，正如《行銷3.0》所稱的「有警覺心的領導者」，他們眼觀四面、耳聽八方，根據少數的資訊即採取行動（《行銷3.0》, p.102）。

然而，警覺只是起點。蜜蜂隱喻則提供了將偶然轉化為必然的路徑：領導者需要聯結「蜜蜂拍動的翅膀」與「都會養蜂潮流」，把偶然事件轉化為可行動的產業機會（《北京的蝴蝶,東京的蜜蜂》, p.262）。這過程充滿了「兩面刃」的風險，初期錯誤可能像滾雪球一般傷害名聲（《N世代衝撞》, p.312），且媒體效應驚人。同時，我們必須警惕將成功過度歸因於偶然，因為廣闊的迴響背後往往是上萬個日子行動一致的扎實付出（《當珍珠遇到茶》, p.217）。

因此，從蝴蝶警覺到養蜂行動，是一個從識別微小信號到建構系統性優勢的過程。蝴蝶製造偶然，提供警覺與機會；蜜蜂把偶然養成潮流，提供轉化的行動與策略。只有同時面對兩面刃的風險，並堅持長期扎實付出，企業才能在複雜系統中將偶然的閃光轉化為持續的輝煌。

---

參考來源

北京的蝴蝶,東京的蜜蜂 | p.262 |
N世代衝撞 | p.312 |
WBSA商務企劃專員資格認證學習手冊 | p.356 |
行銷3.0 | p.102 |
當珍珠遇到茶 | p.217 |

Ollama 基本指令

2024-10-20T16:03:00.007+08:00

基本指令

執行模型：Ollama 運行於本地環境，使用以下指令來啟動模型：
```
ollama run <模型名稱>
```
例如，若要運行 Llama2 模型：
```
ollama run llama2
```
管理模型：
- 列出所有可用的模型：
```
ollama list
```
- 從模型庫中拉取新的模型：
```
ollama pull <模型名稱>
```
- 查看特定模型的詳細資訊：
```
ollama show <模型名稱>
```
- 刪除特定模型：
```
ollama rm <模型名稱>
```

Combining Scanned Images into a PDF with OCR on Mac OS X

2024-10-13T01:35:00.005+08:00

Combining Scanned Images into a PDF with OCR on Mac OS X

This guide will walk you through the process of combining multiple scanned images of book pages into a single PDF file on Mac OS X and using OCR (Optical Character Recognition) to convert the text into searchable, selectable electronic text.

1. Installing Required Tools

First, we need to install a few tools to handle image and PDF processing, as well as perform OCR. The following tools are required:

ImageMagick: For image format conversion and processing.
ocrmypdf: For performing OCR on PDF files.
Tesseract: OCR engine used for text recognition.
Poppler: A PDF utilities suite, which includes tools like pdfunite for merging PDFs.

Install these tools using Homebrew:

brew install imagemagick    # Install ImageMagick
brew install ocrmypdf       # Install OCRMyPDF
brew install tesseract-lang # Install Tesseract language packs
brew install poppler        # Install Poppler

2. Merging Images into a PDF

If your scanned output is in image format (e.g., JPG), you can use ImageMagick to combine multiple image files into a single PDF document. This ensures that the subsequent OCR process works on a single PDF file.

To combine all .jpg images in the current directory into a single 001.pdf file:

magick *.jpg 001.pdf

This command uses the magick tool from ImageMagick to merge all .jpg files in the directory into one PDF file named 001.pdf.

3. Running OCR on the PDF

Next, we use the ocrmypdf tool to perform OCR on the generated PDF file and save the output as a new file. In this step, we specify the OCR languages as English (eng) and Traditional Chinese (chi_tra).

Run the following command:

ocrmypdf -l eng+chi_tra+chi_tra_vert 001.pdf 001a.pdf

This command will apply OCR to the 001.pdf file and save the result as 001a.pdf. The -l eng+chi_tra+chi_tra_vert option indicates that both English and Traditional Chinese will be used for text recognition.

4. Merging Multiple OCR Processed PDFs

If you have multiple PDF files that need to be combined into a single final PDF, the pdfunite tool can do this easily. To merge the processed PDF files into a single output named combined_pdf.pdf, use the following command:

pdfunite 001a.pdf 002a.pdf 003a.pdf combined_pdf.pdf

This command merges 001a.pdf, 002a.pdf, and 003a.pdf into a single combined_pdf.pdf file.

Summary

By following these steps, you can:

Merge scanned images into a PDF file.
Use the Tesseract engine via ocrmypdf to perform OCR text recognition.
Combine multiple PDF files into a final merged PDF.

This allows you to convert scanned images of book pages into a searchable, selectable, and copyable PDF document.

Mac OS X 環境下將圖片合併為PDF並進行OCR處理

2024-10-13T01:32:00.006+08:00

將圖片合併為PDF並進行OCR處理

在這份說明文件中，我們將介紹如何在Mac OS X環境下，將多個掃描成圖片的書籍頁面合併為一個PDF檔案，並使用OCR（光學文字識別）將其中的文字轉換為可搜索和選取的電子文字。

1. 安裝必要的工具

首先，我們需要安裝一些工具來處理圖片和PDF，並進行OCR。以下是需要的工具：

ImageMagick：用於圖片格式轉換與處理。
ocrmypdf：用於將PDF檔案進行OCR處理。
Tesseract：OCR引擎，用於實際進行文字識別。
Poppler：PDF工具集，包含 pdfunite 等工具，用於合併PDF。

使用 Homebrew 安裝這些工具：

brew install imagemagick    # 安裝 ImageMagick
brew install ocrmypdf       # 安裝 OCRMyPDF
brew install tesseract-lang # 安裝 Tesseract 語言包
brew install poppler        # 安裝 Poppler

2. 圖片合併為PDF

當掃描結果以圖片格式（如 JPG）儲存時，我們可以使用 ImageMagick 將多個圖片檔案合併為單一 PDF 文件。這樣做可以保證後續的 OCR 處理僅在一個 PDF 檔案上進行。

將當前目錄下的所有 .jpg 圖片檔合併為 001.pdf：

magick *.jpg 001.pdf

這條指令將使用 ImageMagick 中的 magick 工具，將目錄中的所有 .jpg 檔案依序合併成一個 PDF 文件 001.pdf。

3. 執行 OCR 文字識別

接下來，我們使用 ocrmypdf 工具來對生成的 PDF 檔案進行 OCR 處理，並將處理後的 PDF 儲存為新的文件。在此步驟中，我們指定使用英語（eng）和繁體中文（chi_tra）作為 OCR 的語言。

執行指令：

ocrmypdf -l eng+chi_tra+chi_tra_vert 001.pdf 001a.pdf

這條指令會對 001.pdf 文件進行 OCR 文字識別，並將結果儲存為 001a.pdf。其中，-l eng+chi_tra+chi_tra_vert 表示同時使用英語和繁體中文進行文字識別。

4. 合併多個 OCR 處理後的 PDF 檔案

如果你有多個 PDF 檔案需要合併為一個最終的 PDF 檔案，pdfunite 工具可以輕鬆做到這點。將處理過的 PDF 檔案合併為單一檔案 combined_pdf.pdf：

pdfunite 001a.pdf 002a.pdf 003a.pdf combined_pdf.pdf

這條指令將 001a.pdf、002a.pdf 和 003a.pdf 三個檔案合併成一個 combined_pdf.pdf。

總結

透過這些步驟，你可以：

將掃描的圖片合併成 PDF 檔案。
使用 Tesseract 引擎透過 ocrmypdf 進行 OCR 文字識別。
將多個 PDF 檔案合併成一個完整的 PDF。

這樣，你就能將掃描成圖片的書籍內容轉換為可以搜索、選取和複製文字的 PDF 電子檔。

Business Model for AI Music Generation Services

2024-10-09T09:58:00.001+08:00

This document outlines a comprehensive business model for an AI music generation service. As the demand for personalized and unique music continues to rise, leveraging artificial intelligence to create music can provide a competitive edge in the music industry. This model will explore various revenue streams, target markets, and operational strategies to ensure the service's success.

Target Market

Content Creators: YouTubers, podcasters, and streamers looking for royalty-free music to enhance their content.
Advertising Agencies: Companies needing custom jingles or background music for advertisements.
Game Developers: Indie and large-scale game developers seeking unique soundtracks for their games.
Film and TV Production: Producers looking for original scores or soundtracks for their projects.
Musicians and Bands: Artists wanting to experiment with new sounds or collaborate with AI-generated music.

Revenue Streams

Subscription Model: Offer tiered subscription plans that provide users with access to different levels of music generation capabilities, including varying numbers of tracks per month, quality of music, and customization options.
Pay-Per-Track: Allow users to purchase individual tracks or licenses for specific uses, catering to those who may not want a subscription.

Custom Commissions: Provide a service where users can request custom music tailored to their specific needs, charging a premium for this personalized service.

Partnerships and Collaborations: Collaborate with platforms like YouTube, Twitch, and gaming companies to offer integrated music solutions, potentially sharing revenue from users who utilize the service.

Merchandising: Create and sell merchandise related to the AI-generated music, such as vinyl records, digital albums, or branded products.

Operational Strategy

Technology Development: Invest in developing a robust AI music generation algorithm that can create high-quality, diverse music across various genres.

User-Friendly Interface: Design an intuitive platform that allows users to easily generate and customize music tracks, ensuring a seamless user experience.

Marketing and Outreach: Utilize social media, influencer partnerships, and targeted advertising to reach potential users in the identified target markets.

Community Building: Foster a community of users who can share their experiences, provide feedback, and showcase how they use the generated music, enhancing user engagement and loyalty.

Legal Considerations: Ensure compliance with copyright laws and provide clear licensing agreements to protect both the service and its users.

Conclusion

The AI music generation service presents a unique opportunity to tap into the growing demand for personalized music solutions. By targeting diverse markets, implementing multiple revenue streams, and focusing on technology and user experience, this business model can establish a strong foothold in the music industry. With the right strategies in place, the service can not only thrive but also innovate the way music is created and consumed.

Mac OS X 下 Python套件matplotlib繪製中文標題散點圖表(Scatter Plot)

2024-10-06T02:15:00.001+08:00

匯入了必要的套件：seaborn、matplotlib.pyplot 和 matplotlib.font_manager。

設定了字體和字號：使用 FontProperties 類別來指定字體檔案路徑和字號大小。

載入了 tips 數據集：使用 sns.load_dataset 函數來載入 seaborn 的 tips 數據集。

設定了 seaborn 的樣式：使用 sns.set() 函數來設定 seaborn 的預設樣式。

畫了散點圖：使用 sns.scatterplot 函數來畫散點圖。

設定了圖表標題：使用 plt.title 函數來設定圖表標題，並指定了中文字體和字號。

import seaborn as sns
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm

# 設定字體和字號
font = fm.FontProperties(fname='/Users/YOURNAME/Library/Fonts/jf-openhuninn-2.0.ttf', size=12)

tips = sns.load_dataset("tips")
sns.set()
sns.scatterplot(x="total_bill", y="tip", data=tips)
plt.title('餐廳小費關係圖', fontproperties=font)
plt.show()

Apple M1 Mac 安裝 python3 程式庫

2021-02-11T02:50:00.003+08:00

python3 -m pip install --upgrade pip

arch -x86_64 $(which python3) -m pip install numpy scipy matplotlib dbr

bash shell 批次更改圖片檔名範例

2019-11-10T14:46:00.000+08:00

#!/bin/bash

files="img-1*"
start=1
rename=1
echo $count

for i in `ls $files`
do
  echo $i
  rename=$(($start * 2 - 1))
  #rename=$(($start * 2))
  start=$(($start + 1))
  echo $rename
  refilename=`printf "%02u" $rename`
  mv $i $refilename.tif

done

Ubuntu Elasticsearch 使用 IK Analysis Plugin

2019-11-10T04:47:00.001+08:00

下載新版的 IK Analysis Plugin (這裡以 Ver 7.4.2為例)，並且下載擴充中文字典檔案

sudo mkdir /usr/share/elasticsearch/plugins/ik/
sudo cd /usr/share/elasticsearch/plugins/ik/
sudo wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-analysis-ik-7.4.2.zip
sudo unzip elasticsearch-analysis-ik-7.4.2.zip
sudo \rm elasticsearch-analysis-ik-7.4.2.zip
sudo cd /usr/share/elasticsearch/plugins/ik/config
sudo wget https://github.com/samejack/sc-dictionary/raw/master/main.txt
sudo mv main.dic main.dic.old
sudo mv main.txt main.dic

設定擴充字典，編輯 IKAnalyzer.cfg.xml 設定檔案

cd /usr/share/elasticsearch/plugins/ik/config
sudo vi IKAnalyzer.cfg.xml

將 ext_dict 新增 main.dic

 <entry key="ext_dict">main.dic</entry>

重新啟動ElasticSearch

sudo service elasticsearch restart

沒問題的話，就來測試一下 IK 吧...

curl -XGET http://localhost:9200/_analyze -H 'Content-Type:application/json' -d'
{
  "text":"後悔莫及的人家",
  "analyzer": "ik_smart"
}'

應該會得到這樣的結果:

{
  "tokens" : [
    {
      "token" : "後悔莫及",
      "start_offset" : 0,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "的",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "人家",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 2
    }
  ]
}

接著來建立一個新的 index 就叫做 test 吧，順便進行一下IK分詞測試看看...

curl -XPUT http://localhost:9200/test

curl -XPOST http://localhost:9200/test/_mapping -H 'Content-Type:application/json' -d'
{
        "properties": {
            "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart"
            }
        }

}'

curl -XPOST http://localhost:9200/test/_create/1 -H 'Content-Type:application/json' -d'
{"content":"曾經有一份真摯的感情放在我面前.我沒有珍惜.等到失去的時候才後悔莫及，塵世間最痛苦的事莫過於此.你的劍在我的咽喉上割下去吧!不要再猶豫了!如果上天能夠給我一個再來一次的機會，我一定會對那個女孩子說三個字\"我愛你\",如果非要在這份愛上加一個期限的話，我希望是一萬年。"}'

curl -XPOST /test/_search -H 'Content-Type:application/json' -d'
{
  "query": {"match": {"content": "如果"}},
  "highlight" : {
    "pre_tags" : ["", ""],
    "post_tags" : ["", ""],
    "fields" : {
      "content" : {}
    }
  }
}'

結果應該會是如此 :

{
  "took" : 292,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 0.40037507,
    "hits" : [
      {
        "_index" : "test",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.40037507,
        "_source" : {
          "content" : """曾經有一份真摯的感情放在我面前.我沒有珍惜.等到失去的時候才後悔莫及，塵世間最痛苦的事莫過於此.你的劍在我的咽喉上割下去吧!不要再猶豫了!如果上天能夠給我一個再來一次的機會，我一定會對那個女孩子說三個字"我愛你",如果非要在這份愛上加一個期限的話，我希望是一萬年。"""
        },
        "highlight" : {
          "content" : [
            """<tag1>如果</tag1>上天能夠給我一個再來一次的機會，我一定會對那個女孩子說三個字"我愛你",<tag1>如果</tag1>非要在這份愛上加一個期限的話，我希望是一萬年。"""
          ]
        }
      }
    ]
  }
}

Ubuntu 18.04 安裝 Nginx+MySQL+PHP

2019-10-22T02:08:00.000+08:00

安裝 Nginx, MySQL：

sudo apt-get update
sudo apt-get install nginx
sudo apt-get install mysql-server

設定MySQL安全性設定：

sudo mysql_secure_installation

安裝PHP：

sudo apt-get install php-fpm php-mysql php-json php-gd

設定 php.ini，編輯 /etc/php/7.2/fpm/php.ini，將cgi.fix_pathinfo設為0

;cgi.fix_pathinfo=1
cgi.fix_pathinfo=0

重新啟動PHP服務：

sudo service php7.2-fpm restart

設定一個新的nginx網站，以adia.cc為例。編輯 /etc/nginx/sites-available/adia.cc檔案：

server {
        listen 8080;
        root /var/www/adia.cc/html;
        index index.php index.html index.htm;
        access_log /var/log/nginx/adia.cc.access.log;
        error_log /var/log/nginx/adia.cc.error.log;
        server_name adia.cc www.adia.cc;
 
        location / {
                try_files $uri $uri/ =404;
        }
 
        location ~ \.php$ {
                include snippets/fastcgi-php.conf;
                fastcgi_pass unix:/var/run/php/php7.2-fpm.sock;
        }
 
        location ~ /\.ht {
                deny all;
        }
}

建立adia.cc網站設定檔連結，並測試設定檔是否正確：

sudo ln -s /etc/nginx/sites-available/adia.cc /etc/nginx/sites-enabled/
sudo nginx -t

正確的話，應該會出現類似結果：

nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

接著建立一個PHP測試網頁，編輯 /var/www/adia.cc/html/info.php：

<?php
   phpinfo();
?>

重新啟動 Nginx 服務：

sudo service nginx restart

接下來利用瀏覽器測試 http://YOUR_IP/ 和 http://YOUR_IP:8080/info.php是否正常~

phpinfo() 執行結果

Ubuntu 18.04 安裝 SSH Server , 設定為文字開機模式 (disable GUI boot mode)

2019-10-22T00:23:00.002+08:00

確定一下 Ubuntu 版本是否為 18.04：

lsb_release -a

執行結果：

Distributor ID: Ubuntu
Description:    Ubuntu 18.04.3 LTS
Release:        18.04
Codename:       bionic

安裝 SSH Server ：

sudo apt-get install openssh-server
sudo update-rc.d ssh defaults
sudo service ssh start

關閉GUI開機模式，並且重開機生效：

sudo systemctl set-default multi-user.target
sudo sync;sync;sync;reboot

假若要再重新設定GUI開機模式：

sudo systemctl set-default graphical.target
sudo sync;sync;sync;reboot

設定 NTP 時間同步主機為 clock.stdtime.gov.tw，編輯 /etc/systemd/timesyncd.conf 檔案

sudo vi /etc/systemd/timesyncd.conf

將內容 #NTP= 前面註解符號(#)刪除，順便設定同步主機後存檔：

#NTP=
NTP=clock.stdtime.gov.tw

重新啟動時間同步服務後，順便看一下執行狀態：

sudo service systemd-timesyncd restart
sudo service systemd-timesyncd status

執行結果已經顯示同步 time server 從原來的 ntp.ubuntu.com 改為 clock.stdtime.gov.tw：

● systemd-timesyncd.service - Network Time Synchronization
 (...略...)
   Status: "Synchronized to time server 211.22.103.158:123 (clock.stdtime.gov.tw)."
 (...略...)

第11屆iT邦幫忙鐵人賽-參考 Python 程式交易 30 天新手入門系列範例

2019-10-14T03:45:00.002+08:00

可能需要預先安裝下列 Python Packages：

pip install js2py
pip install loguru
pip install pandas
pip install plotly
pip install pyquery

參考「第11屆iT邦幫忙鐵人賽-參考 Python 程式交易 30 天新手入門系列」系列範例修改，並存成檔名 getTaxies.py：

import csv
import datetime
import fractions
import json
import os
import random
import re
import time
import urllib.parse
import argparse

from random import randint
from time import sleep

import js2py
import loguru
import pandas
import plotly.graph_objects
import pyquery
import requests
import requests.exceptions

now = datetime.datetime.now()
proxies = []

proxy = None

class Taiex:
    def __init__(self, date, openPrice, highestPrice, lowestPrice, closePrice):
        # 日期
        self.Date = date
        # 開盤價
        self.OpenPrice = openPrice
        # 最高價
        self.HighestPrice = highestPrice
        # 最低價
        self.LowestPrice = lowestPrice
        # 收盤價
        self.ClosePrice = closePrice
    # 物件表達式
    def __repr__(self):
        return f'class Taiex {{ Date={self.Date}, OpenPrice={self.OpenPrice}, HighestPrice={self.HighestPrice}, LowestPrice={self.LowestPrice}, ClosePrice={self.ClosePrice} }}'

def getProxy():
    global proxies
    if len(proxies) == 0:
        getProxies()
    proxy = random.choice(proxies)
    loguru.logger.debug(f'getProxy: {proxy}')
    proxies.remove(proxy)
    loguru.logger.debug(f'getProxy: {len(proxies)} proxies is unused.')
    return proxy

def reqProxies(hour):
    global proxies
    proxies = proxies + getProxiesFromProxyNova()
    proxies = proxies + getProxiesFromGatherProxy()
    proxies = proxies + getProxiesFromFreeProxyList()
    proxies = list(dict.fromkeys(proxies))
    loguru.logger.debug(f'reqProxies: {len(proxies)} proxies is found.')

def getProxies():
    global proxies
    hour = f'{now:%Y%m%d%H}'
    filename = f'proxies-{hour}.csv'
    filepath = f'{filename}'
    if os.path.isfile(filepath):
        loguru.logger.info(f'getProxies: {filename} exists.')
        loguru.logger.warning(f'getProxies: {filename} is loading...')
        with open(filepath, 'r', newline='', encoding='utf-8-sig') as f:
            reader = csv.DictReader(f)
            for row in reader:
                proxy = row['Proxy']
                proxies.append(proxy)
        loguru.logger.success(f'getProxies: {filename} is loaded.')
    else:
        loguru.logger.info(f'getProxies: {filename} does not exist.')
        reqProxies(hour)
        loguru.logger.warning(f'getProxies: {filename} is saving...')
        with open(filepath, 'w', newline='', encoding='utf-8-sig') as f:
            writer = csv.writer(f)
            writer.writerow([
                'Proxy'
            ])
            for proxy in proxies:
                writer.writerow([
                    proxy
                ])
        loguru.logger.success(f'getProxies: {filename} is saved.')

def getProxiesFromProxyNova():
    proxies = []
    countries = [
        'tw',
        'jp',
        'kr',
        'id',
        'my',
        'th',
        'vn',
        'ph',
        'hk',
        'uk',
        'us'
    ]
    for country in countries:
        url = f'https://www.proxynova.com/proxy-server-list/country-{country}/'
        loguru.logger.debug(f'getProxiesFromProxyNova: {url}')
        loguru.logger.warning(f'getProxiesFromProxyNova: downloading...')
        response = requests.get(url)
        if response.status_code != 200:
            loguru.logger.debug(f'getProxiesFromProxyNova: status code is not 200')
            continue
        loguru.logger.success(f'getProxiesFromProxyNova: downloaded.')
        d = pyquery.PyQuery(response.text)
        table = d('table#tbl_proxy_list')
        rows = list(table('tbody:first > tr').items())
        loguru.logger.warning(f'getProxiesFromProxyNova: scanning...')
        for row in rows:
            tds = list(row('td').items())
            if len(tds) == 1:
                continue
            js = row('td:nth-child(1) > abbr').text()
            js = 'let x = %s; x' % (js[15:-2])
            ip = js2py.eval_js(js).strip()
            port = row('td:nth-child(2)').text().strip()
            proxy = f'{ip}:{port}'
            proxies.append(proxy)
        loguru.logger.success(f'getProxiesFromProxyNova: scanned.')
        loguru.logger.debug(f'getProxiesFromProxyNova: {len(proxies)} proxies is found.')
        time.sleep(1)
    return proxies

def getProxiesFromGatherProxy():
    proxies = []
    countries = [
        'Taiwan',
        'Japan',
        'United States',
        'Thailand',
        'Vietnam',
        'Indonesia',
        'Singapore',
        'Philippines',
        'Malaysia',
        'Hong Kong'
    ]
    for country in countries:
        url = f'http://www.gatherproxy.com/proxylist/country/?c={urllib.parse.quote(country)}'
        loguru.logger.debug(f'getProxiesFromGatherProxy: {url}')
        loguru.logger.warning(f'getProxiesFromGatherProxy: downloading...')
        response = requests.get(url)
        if response.status_code != 200:
            loguru.logger.debug(f'getProxiesFromGatherProxy: status code is not 200')
            continue
        loguru.logger.success(f'getProxiesFromGatherProxy: downloaded.')
        d = pyquery.PyQuery(response.text)
        scripts = list(d('table#tblproxy > script').items())
        loguru.logger.warning(f'getProxiesFromGatherProxy: scanning...')
        for script in scripts:
            script = script.text().strip()
            script = re.sub(r'^gp\.insertPrx\(', '', script)
            script = re.sub(r'\);$', '', script)
            script = json.loads(script)
            ip = script['PROXY_IP'].strip()
            port = int(script['PROXY_PORT'].strip(), 16)
            proxy = f'{ip}:{port}'
            proxies.append(proxy)
        loguru.logger.success(f'getProxiesFromGatherProxy: scanned.')
        loguru.logger.debug(f'getProxiesFromGatherProxy: {len(proxies)} proxies is found.')
        time.sleep(1)
    return proxies

def getProxiesFromFreeProxyList():
    proxies = []
    url = 'https://free-proxy-list.net/'
    loguru.logger.debug(f'getProxiesFromFreeProxyList: {url}')
    loguru.logger.warning(f'getProxiesFromFreeProxyList: downloading...')
    response = requests.get(url)
    if response.status_code != 200:
        loguru.logger.debug(f'getProxiesFromFreeProxyList: status code is not 200')
        return
    loguru.logger.success(f'getProxiesFromFreeProxyList: downloaded.')
    d = pyquery.PyQuery(response.text)
    trs = list(d('table#proxylisttable > tbody > tr').items())
    loguru.logger.warning(f'getProxiesFromFreeProxyList: scanning...')
    for tr in trs:
        tds = list(tr('td').items())
        ip = tds[0].text().strip()
        port = tds[1].text().strip()
        proxy = f'{ip}:{port}'
        proxies.append(proxy)
    loguru.logger.success(f'getProxiesFromFreeProxyList: scanned.')
    loguru.logger.debug(f'getProxiesFromFreeProxyList: {len(proxies)} proxies is found.')
    return proxies

# 取得指定年月內每交易日的盤後資訊
def getTaiexs(year, month):
    global proxy
    taiexs = []
    while True:
        if proxy is None:
            proxy = getProxy()
        url = f'https://www.twse.com.tw/indicesReport/MI_5MINS_HIST?response=json&date={year}{month:02}01'
        loguru.logger.info(f'getTaiexs: month {month} url is {url}')
        loguru.logger.warning(f'getTaiexs: month {month} is downloading...')
        try:
            response = requests.get(
                url,
                proxies={
                    'https': f'https://{proxy}'
                },
                timeout=3
            )
            if response.status_code != 200:
                loguru.logger.success(f'getTaiexs: month {month} status code is not 200.')
                proxy = None
                break
            loguru.logger.success(f'getTaiexs: month {month} is downloaded.')
            body = response.json()
            stat = body['stat']
            if stat != 'OK':
                loguru.logger.error(f'getTaiexs: month {month} responses with error({stat}).')
                break
            records = body['data']
            if len(records) == 0:
                loguru.logger.success(f'getTaiexs: month {month} has no data.')
                break
            for record in records:
                date = record[0].strip()
                parts = date.split('/')
                y = int(parts[0]) + 1911
                m = int(parts[1])
                d = int(parts[2])
                date = f'{y}{m:02d}{d:02d}'
                openPrice = record[1].replace(',', '').strip()
                highestPrice = record[2].replace(',', '').strip()
                lowestPrice = record[3].replace(',', '').strip()
                closePrice = record[4].replace(',', '').strip()
                taiex = Taiex(
                    date=date,
                    openPrice=openPrice,
                    highestPrice=highestPrice,
                    lowestPrice=lowestPrice,
                    closePrice=closePrice
                )
                taiexs.append(taiex)
        except requests.exceptions.ConnectionError:
            loguru.logger.error(f'getTaiexs: proxy({proxy}) is not working (connection error).')
            proxy = None
            continue
        except requests.exceptions.ConnectTimeout:
            loguru.logger.error(f'getTaiexs: proxy({proxy}) is not working (connect timeout).')
            proxy = None
            continue
        except requests.exceptions.ProxyError:
            loguru.logger.error(f'getTaiexs: proxy({proxy}) is not working (proxy error).')
            proxy = None
            continue
        except requests.exceptions.SSLError:
            loguru.logger.error(f'getTaiexs: proxy({proxy}) is not working (ssl error).')
            proxy = None
            continue
        except Exception as e:
            loguru.logger.error(f'getTaiexs: proxy({proxy}) is not working.')
            loguru.logger.error(e)
            proxy = None
            continue
        break
    return taiexs

# 儲存傳入的盤後資訊
def saveTaiexs(filepath, taiexs):
    loguru.logger.info(f'saveTaiexs: {len(taiexs)} taiexs.')
    loguru.logger.warning(f'saveTaiexs: {filepath} is saving...')
    with open(filepath, mode='w', newline='', encoding='utf-8-sig') as f:
        writer = csv.writer(f)
        writer.writerow([
            'Date',
            'OpenPrice',
            'HighestPrice',
            'LowestPrice',
            'ClosePrice'
        ])
        for taiex in taiexs:
            writer.writerow([
                taiex.Date,
                taiex.OpenPrice,
                taiex.HighestPrice,
                taiex.LowestPrice,
                taiex.ClosePrice
            ])
    loguru.logger.success(f'main: {filepath} is saved.')

def main(args):
    taiexs = []
    thisYear = 2019
    if args.year:
        loguru.logger.info(f'[-y|--year] [value:{args.year}]')
        thisYear = int(args.year)
    else:
        loguru.logger.info(f'[-y|--year] is not used, set year in '+str(thisYear))
    # 取得從 2019.01 至 2019.12 的盤後資訊
    for month in range(1, 13):
        # 程式暫停 3~15 秒
        sleep(randint(3, 15))
        taiexs = taiexs + getTaiexs(thisYear, month)
    filepath = f'taiexs-'+str(thisYear)+'.csv'
    saveTaiexs(filepath, taiexs)

    # 使用 Pandas 讀取下載回來的紀錄檔
    df = pandas.read_csv(filepath)
    # 將 Date 欄位按照格式轉換為 datetime 資料
    df['Date'] = pandas.to_datetime(df['Date'], format='%Y%m%d')
    
    # 建立圖表
    figure = plotly.graph_objects.Figure(
        data=[
            # Line Chart
            # 收盤價
            plotly.graph_objects.Scatter(
                x=df['Date'],
                y=df['ClosePrice'],
                name='收盤價',
                mode='lines',
                line=plotly.graph_objects.scatter.Line(
                    color='#6B99E5'
                )
            ),
            # Candlestick Chart
            # K 棒
            plotly.graph_objects.Candlestick(
                x=df['Date'],
                open=df['OpenPrice'],
                high=df['HighestPrice'],
                low=df['LowestPrice'],
                close=df['ClosePrice'],
                name='盤後資訊',
            )
        ],
        # 設定 XY 顯示格式
        layout=plotly.graph_objects.Layout(
            xaxis=plotly.graph_objects.layout.XAxis(
                tickformat='%Y-%m'
            ),
            yaxis=plotly.graph_objects.layout.YAxis(
                tickformat='.2f'
            )
        )
    )
    figure.show()

if __name__ == '__main__':
    parser = argparse.ArgumentParser()

    # -y [value:yyyy]
    # -- year [value:yyyy]
    parser.add_argument(
        '-y',
        '--year',
        help='set year in yyyy format',
        type=int
    )

    args = parser.parse_args()

    loguru.logger.add(
        f'{datetime.date.today():%Y%m%d}.log',
        rotation='1 day',
        retention='7 days',
        level='DEBUG'
    )
    main(args)

範例以2007年為例，執行下列：

python getTaxies.py -y 2007

執行結果：

python getTaixes.py -y 2007
2019-10-14 03:34:40.292 | INFO     | __main__:main:300 - [-y|--year] [value:2007]
2019-10-14 03:34:44.294 | INFO     | __main__:getProxies:69 - getProxies: proxies-2019101403.csv exists.
2019-10-14 03:34:44.298 | WARNING  | __main__:getProxies:70 - getProxies: proxies-2019101403.csv is loading...
2019-10-14 03:34:44.308 | SUCCESS  | __main__:getProxies:76 - getProxies: proxies-2019101403.csv is loaded.
2019-10-14 03:34:44.313 | DEBUG    | __main__:getProxy:50 - getProxy: 180.250.216.242:3128
2019-10-14 03:34:44.317 | DEBUG    | __main__:getProxy:52 - getProxy: 724 proxies is unused.
2019-10-14 03:34:44.322 | INFO     | __main__:getTaiexs:206 - getTaiexs: month 1 url is https://www.twse.com.tw/indicesReport/MI_5MINS_HIST?response=json&date=20070101
...(略)...
2019-10-14 03:36:58.484 | INFO     | __main__:getTaiexs:206 - getTaiexs: month 12 url is https://www.twse.com.tw/indicesReport/MI_5MINS_HIST?response=json&date=20071201
2019-10-14 03:36:58.489 | WARNING  | __main__:getTaiexs:207 - getTaiexs: month 12 is downloading...
2019-10-14 03:36:58.846 | SUCCESS  | __main__:getTaiexs:220 - getTaiexs: month 12 is downloaded.
2019-10-14 03:36:58.850 | INFO     | __main__:saveTaiexs:275 - saveTaiexs: 247 taiexs.
2019-10-14 03:36:58.853 | WARNING  | __main__:saveTaiexs:276 - saveTaiexs: taiexs-2007.csv is saving...
2019-10-14 03:36:58.864 | SUCCESS  | __main__:saveTaiexs:294 - main: taiexs-2007.csv is saved.

2007年大盤指數

Python 3 + Google 新聞爬蟲 + 罔拍 MONPA 中文正體分詞

2019-07-27T00:49:00.000+08:00

import requests
from bs4 import BeautifulSoup
import monpa

res = requests.get("https://news.google.com.tw")
soup = BeautifulSoup(res.text)

count = 1
for item in soup.select(".MQsxIb"):
    print('=====[',count,']=====')
    news_title = item.select(".ipQwMb")[0].text
    news_url = item.select(".ipQwMb")[0].find('a')['href']
    print(news_title)
    result = monpa.pseg(news_title)
    for t in result:
        print(t)
    count+=1
    #print(news_url)

執行結果：

=====[ 1 ]=====
國安私菸案》檢調大搜索華航總部 歷時9小時公關室也沒放過
['國安', 'ORG']
['私菸案', 'Na']
['》', 'PARENTHESISCATEGORY']
['檢調', 'Na']
['大', 'VH']
['搜索', 'VC']
['華航', 'ORG']
['總部', 'Nc']
[' ', 'D']
['歷時', 'VJ']
['9', 'Neu']
['小時', 'Nf']
['公關室', 'Nc']
['也', 'D']
['沒', 'D']
['放過', 'VC']
=====[ 2 ]=====
快訊／國安局私菸事件華航首波懲處拔官名單出爐| 交通氣象
['快訊', 'Na']
['／', 'PERIODCATEGORY']
['國安局', 'ORG']
['私菸', 'VA']
['事件', 'Na']
['華航', 'ORG']
['首', 'Nes']
['波', 'Nf']
['懲處', 'Nv']
['拔官', 'Na']
['名單', 'Na']
['出爐', 'VH']
['|', 'FW']
[' ', 'VC']
['交通', 'Na']
['氣象', 'Na']
=====[ 3 ]=====
國安私菸案》吳宗憲傳致電黃川禎：我訂那麼多 華航高層知道嗎
['國安', 'Nb']
['私菸案', 'Na']
['》', 'PARENTHESISCATEGORY']
['吳宗憲', 'PER']
['傳', 'VD']
['致電', 'VC']
['黃川禎', 'PER']
['：', 'COLONCATEGORY']
['我', 'Nh']
['訂', 'VC']
['那麼多', 'Neqa']
[' 華航', 'PER']
['高層', 'Na']
['知道', 'VK']
['嗎', 'T']
=====[ 4 ]=====
華航公布14次專機負責人！開鍘羅雅美、邱彰信
['華航', 'PER']
['公布', 'VE']
['14', 'Neu']
['次', 'Nf']
['專機', 'Na']
['負責人', 'Na']
['！', 'EXCLAMATIONCATEGORY']
['開', 'VC']
['鍘羅雅美', 'PER']
['、', 'PAUSECATEGORY']
['邱彰信', 'PER']
=====[ 5 ]=====
華航開鍘！公布14次專機負責人羅雅美邱彰信調非主管職| 政治
['華航', 'PER']
['開鍘', 'Na']
['！', 'EXCLAMATIONCATEGORY']
['公布', 'VE']
['14', 'Neu']
['次', 'Nf']
['專機', 'Na']
['負責人', 'Na']
['羅雅美', 'PER']
['邱彰信調', 'PER']
['非', 'VG']
['主管', 'Na']
['職', 'Na']
['|', 'FW']
[' 政治', 'PER']
=====[ 6 ]=====
只是賣太多菸？他揭華航最大漏洞
['只是', 'D']
['賣', 'VD']
['太多', 'Neqa']
['菸', 'Na']
['？', 'QUESTIONCATEGORY']
['他', 'Nh']
['揭', 'VC']
['華航', 'ORG']
['最', 'Dfa']
['大', 'VH']
['漏洞', 'Na']
=====[ 7 ]=====
黃國昌揭私菸案 洪慈庸：綠支持者問「這樣好嗎？」
['黃國昌', 'PER']
['揭', 'VC']
['私菸案', 'Na']
[' 洪慈庸', 'PER']
['：', 'COLONCATEGORY']
['綠', 'VH']
['支持', 'VC']
['者', 'Na']
['問', 'VE']
['「', 'PARENTHESISCATEGORY']
['這樣', 'VH']
['好', 'VH']
['嗎', 'T']
['？', 'QUESTIONCATEGORY']
['」', 'PARENTHESISCATEGORY']
=====[ 8 ]=====
時力分裂？黨內同志要約黃國昌見面 結果是......
['時力', 'Na']
['分裂', 'VHC']
['？', 'QUESTIONCATEGORY']
['黨內', 'Nc']
['同志', 'Na']
['要', 'D']
['約', 'VC']
['黃國昌', 'PER']
['見面 ', 'Na']
['結果', 'Na']
['是', 'SHI']
['......', 'ETCCATEGORY']
=====[ 9 ]=====
內鬨？洪慈庸：綠基層焦慮黃國昌：追弊案不可看顏色
['內鬨', 'Na']
['？', 'QUESTIONCATEGORY']
['洪慈庸', 'PER']
['：', 'COLONCATEGORY']
['綠', 'VH']
['基層', 'A']
['焦慮', 'Nv']
['黃國昌', 'PER']
['：', 'COLONCATEGORY']
['追', 'VC']
['弊案', 'Na']
['不可', 'D']
['看', 'VC']
['顏色', 'Na']

python 抓取上市及上櫃公司清單, 並寫入 MySQL 資料庫

2019-04-30T01:58:00.000+08:00

不囉嗦，直接看程式碼：

# 如何獲得上市上櫃股票清單
import requests
import time
import pandas as pd
from sqlalchemy import create_engine
from sqlalchemy.types import NVARCHAR, Date

def getTWSE(str_mode):
     # 設定爬蟲程式的 User_Agent
    headers = {'user-agent': 'Mozilla/5.0 (Macintosh Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}
    # 上市: http://isin.twse.com.tw/isin/C_public.jsp?strMode=2
    # 上櫃: http://isin.twse.com.tw/isin/C_public.jsp?strMode=4
    req_url = "http://isin.twse.com.tw/isin/C_public.jsp?strMode=%s" % (str_mode)
    res = requests.get(req_url, headers=headers)
    df = pd.read_html(res.text)[0]

    # 設定column名稱
    df.columns = df.iloc[0]
    # 刪除第一行
    df = df.iloc[1:]
    # 先移除row，再移除column，超過三個NaN則移除
    df = df.dropna(thresh=3, axis=0).dropna(thresh=3, axis=1)
    df[['有價證券代號','名稱']] = df['有價證券代號及名稱'].str.split(n=1, expand=True)
    del df['有價證券代號及名稱']
    df = df.set_index('有價證券代號')
    return df

engine = create_engine("mysql+pymysql://stockuser:password@127.0.0.1:3306/stockdb")

dtypedict = {
    '有價證券代號':NVARCHAR(length=32),
    '上市日': Date()
}

# 抓取上市公司股票清單, 寫入MySQL > stockdb > listed_code (listed_code table存在時整個取代)
listed_companies = "2"  #上市公司
mydf1 = getTWSE(listed_companies)
mydf1.to_sql(name="listed_code", con=engine, if_exists = 'replace', index=True, dtype=dtypedict)

# 先睡個10秒鐘吧
time.sleep(10)

# 抓取上櫃公司股票清單, 寫入MySQL > stockdb > listed_code (append 到 listed_code table)
listed_companies = "4" #上櫃公司
mydf2 = getTWSE(listed_companies)
mydf2.to_sql(name="listed_code", con=engine, if_exists = 'append', index=True, dtype=dtypedict)

python 讀取 MySQL 資料

2019-04-29T01:04:00.003+08:00

sqlalchemy連結MySQL時，必須先安裝另一模組 pymysql

pip install pymysql

接下來利用 python 來讀取先前我們用R寫入的股價資料庫吧

%matplotlib inline

import pandas as pd
from sqlalchemy import create_engine

engine = create_engine("mysql+pymysql://stockuser:password@127.0.0.1:3306/stockdb")

sql ="select * from tw1101;"

df = pd.read_sql_query(sql, engine)

print(df)

df.close.plot()

執行結果：

  row_names        date       open       high        low      close  \
0            1  2009-01-02  24.193001  24.193001  24.193001  24.193001   
1            2  2009-01-05  25.135599  25.225300  24.597000  24.821400   
2            3  2009-01-06  24.955999  25.135599  24.372499  24.641800   
3            4  2009-01-07  25.090700  25.449800  24.417400  25.225300   
4            5  2009-01-08  24.372499  24.731600  23.789000  24.417400   
5            6  2009-01-09  24.552099  25.090700  23.789000  23.789000   
...
          volume   adjusted  
0            0.0  14.254436  
1     22712510.0  14.624688  
2     20298561.0  14.518868  
3     26370751.0  14.862664  
4     23748492.0  14.386651
...
2536  30751985.0  41.000000  
2537  23165336.0  41.599998  
2538  16390191.0  41.549999  
2539  13459252.0  41.799999  
2540  11300709.0  41.750000  

[2541 rows x 8 columns]

R tidyquant 抓取股價資料寫入 MySQL 資料庫

2019-04-28T23:53:00.000+08:00

MySQL上先建立一個新使用者 stockuser ：

mysql -u root -p

出現 mysql > 後，開始建立新用者資料並設定密碼：

mysql >
mysql > GRANT ALL PRIVILEGES ON *.* TO 'stockuser'@'%' IDENTIFIED BY 'password';
mysql > FLUSH PRIVILEGES;
mysql > quit;

若MySQL伺服器要開放遠端連結，記得防火牆允入3306埠，另外 MySQL的設定檔也要檢查：

vi /etc/mysql/my.cnf

記得 bind-address = 127.0.0.1 這行要註解

#bind-address           = 127.0.0.1

也記得 MySQL 要重新啟動

service mysql restart

資料庫部分沒問題的話，就可以準備來使用R抓取股價資料~R 如果還沒有安裝過 RMySQL package, 也記得先安裝：

install.packages("RMySQL")

確認安裝完成後，就開始吧...

library(RMySQL)

library(DBI)
library(tidyquant)
library(dplyr)

cn <- dbConnect(
 drv = RMySQL::MySQL(),
 username='stockuser',
 password='password',
 host='127.0.0.1',
 port = 3306,
 dbname = "stockdb"
 )

#  利用 tidyquant 取得 Yahoo 上的台灣五十股價資料, 寫入 MySQL stockdb > tw{股票代碼}
tw50 <- c("1101","1102","1216") #只有示範三檔股票
for (i in tw50) {
 stockid <- paste(i,"TW",sep=".")
 tblname <- paste("tw",i,sep="")
 print(stockid)
 sdata <- tq_get(stockid)
 dbWriteTable(cn, name=tblname, value=sdata, overwrite=TRUE)
 Sys.sleep(10) # 每次 Loop 先休息 10 秒
}

# 利用 tidyquant 取得 Yahoo 上的IBM股價資料, 寫入 MySQL stockdb > ibm
ibm <- tq_get("IBM")
dbWriteTable(cn, name="ibm", value=ibm, overwrite=TRUE)

dbDisconnect(cn) #記得斷開資料庫連線

資料都抓取完成後，MySQL資料庫裡面 stockdb > 就會多個股 table ：

mysql -u stockuser -p
輸入密碼，登入後...
mysql> use stockdb;
Database changed
mysql> show tables;
+-------------------+
| Tables_in_stockdb |
+-------------------+
| ibm               |
| tw1101            |
| tw1102            |
| tw1216            |
+-------------------+
4 rows in set (0.00 sec)

以後就可以直接從 MySQL 中讀取股價資料來運用：

# 從 MySQL 取出 IBM 股價資料
cn <- src_mysql(
 user='stockuser',
 password='password',
 host='127.0.0.1',
 port = 3306,
 dbname = "stockdb"
 )

ibm_table <- tbl(cn, "ibm")
ibm_table

dbDisconnect(cn)

延伸閱讀資料：

Amazon RDS + R (其實我是租不起, 所以自建 MySQL...)

R學習筆記 - 資料工程篇(四) Database

ubuntu 7-zip 安裝與使用

2018-11-14T10:26:00.000+08:00

安裝指令

sudo apt-get install p7zip-full

執行壓縮: 7z a 壓縮檔案目標來源

7z a demo.7z demo_path_or_file

執行加密壓縮: 7z a 壓縮檔案目標來源 -p加密密碼

7z a demo.7zp demo_path_or_file -pMYPASSWD

執行密碼解壓縮: 7z x 壓縮檔案 -p加密密碼

7z x demo.7zp -pMYPASSWD

一次更新所有 Python Packages

2018-10-19T01:59:00.002+08:00

適用於 Linux、Mac OS X :

指令： pip list | cut -d " " -f 1 | xargs -n1 sudo pip install -U

參考來源：stack overflow - Upgrading all packages with pip

把 IPython notebook貼上Blogger文章上分享

2018-04-01T04:38:00.000+08:00

In [1]:

import win32com.client
import time

xlApp = win32com.client.Dispatch("Excel.Application")
xlApp.Visible=1

workBook = xlApp.Workbooks.Open(r"C:\Users\kenne\Desktop\datelist.xlsx")
print(str(workBook.ActiveSheet.Cells(1,1)))
now = time.time()
workBook.ActiveSheet.Cells(1, 2).Value = now
#SaveChanges = 1 : Save flle
# SaveChanges = 0 : Nothing Saved
workBook.Close(SaveChanges=1)
xlApp.Quit()

參考此篇(How to quickly turn an IPython notebook into a blog post)"，將 .ipynb 轉成 HTML code

!ipython nbconvert --to html --template basic filename.ipynb

接下來就把目錄底下的 filename.html 檔案內的HTML原碼貼上 blogger.com ，然後記得在HTML原碼前面加上底下的CSS碼，就可以囉~

<style type="text/css">
.highlight{background: #f8f8f8; overflow:auto;width:auto;border:solid gray;border-width:.1em .1em .1em .1em;padding:0em .5em;border-radius: 4px;}
.k{color: #338822; font-weight: bold;}
.kn{color: #338822; font-weight: bold;}
.mi{color: #000000;}
.o{color: #000000;}
.ow{color: #BA22FF;  font-weight: bold;}
.nb{color: #338822;}
.n{color: #000000;}
.s{color: #cc2222;}
.se{color: #cc2222; font-weight: bold;}
.si{color: #C06688; font-weight: bold;}
.nn{color: #4D00FF; font-weight: bold;}
</style>

同場加映補充資料：HTML Encoder

python +pywin32 操作 Excel

2018-04-01T04:24:00.001+08:00

import win32com.client
import time

xlApp = win32com.client.Dispatch("Excel.Application")
xlApp.Visible=1

workBook = xlApp.Workbooks.Open(r"C:\Users\tekibrain\Desktop\datelist.xlsx")
print(str(workBook.ActiveSheet.Cells(1,1)))
now = time.time()
workBook.ActiveSheet.Cells(1, 2).Value = now
#SaveChanges = 1 : Save flle
# SaveChanges = 0 : Nothing Saved
workBook.Close(SaveChanges=1)
xlApp.Quit()

Windows 10 64bits + Arduino IDE + ESP8266 (ESP-01)

2017-12-12T16:15:00.002+08:00

至 Arduino.cc 下載最新版 Arduino IDE (以1.8.5版為例)
將 arduino-1.8.5-windows.zip 解壓縮至指定目錄下，安裝好 Arduino IDE
啟動 Arduino IDE，開啟「檔案 > 偏好設定 (preferences)」視窗

偏好設定

在「額外的開發版管理員網址」(Additional Board Manager) 輸入網址：

http://arduino.esp8266.com/stable/package_esp8266com_index.json

新增 esp8266 套件網址

開啟「工具 (Tools) > 開發板 (Board) > 開發板管理員 (Boards Manager)」後，搜尋 "esp" 並且安裝 esp8266 套件

安裝 esp8266 (可以看見其實有錯誤發生)

正常的套件下載安裝畫面
安裝完成後，下次就能選擇 ESP8266 開發板，進行IDE程式開發與上傳功能

後記：

如果下載時發生了"下載http://downloads.arduino.cc/packages/package_index.jsp時發生錯誤"的訊息，可以在「檔案 > 偏好設定 > 網路」設定 proxy 來解決。
網路上有些說法是設定 JAVA IPv4Stack=true 即可: setx _JAVA_OPTIONS -Djava.net.preferIPv4Stack=true
不過對我來說似乎沒有用，反而是最簡單的 proxy 解決了我的問題。
下載套件時的錯誤訊息

設定 Java IPv4Stack ，不過對我來說沒用處

設定 proxy

新 iPhone 是否會熱銷?

2017-09-19T16:14:00.002+08:00

Google趨勢比較結果

市場是不少看衰此次 iPhone 8/iPhone X的消息與傳言，就連股市裏相關的蘋果概念股一時間股價也被看空。那到底銷售情況會如何呢？

沒有甚麼大數據分析能力，但Google Trends比較一下或許能告訴我們一些答案。

豆腐腦

數據不是萬靈丹：個人決策的輔助、盲點與邊界

先承認：人腦不是數據處理器

數據不足時，把直覺變成可檢驗的判斷

讓工具算、視覺化來看：輔助理性思考

模型與大數據：把選擇變機率，也要防預測失靈

社會數據與群體智慧：輔助還是偏誤放大器？

個人資料與集體資料：守住隱私與用途邊界

數據是輔助，不是答案

參考來源

量化交易不是魔法：個人投資者如何避免成為韭菜

一、 破除迷思：量化不等於高頻自動下單

二、 數據是基礎：從統計分析開始

三、 風險與個性：認識自己的局限

四、 避免「韭菜」命運：專業與業餘的分野

五、 總結：建立系統化的投資思維

參考來源

從通用汽車到管理現場：杜拉克如何把企業經驗變成時代診斷

一、生平線索：通用汽車經驗與《企業的概念》

二、組織設計：自由、管控與分權化

三、創新與創業：機會、意外與制度

四、市場與消費者：行銷之恥、趨勢與流行

五、人性與組織：現場洞見與心理學評價的分歧

六、影響與限度：洞見、預言與實證研究的張力

結語

參考來源

蝴蝶製造偶然，蜜蜂把偶然養成潮流

蝴蝶製造偶然，蜜蜂把偶然養成潮流

蝴蝶效應：被略過的細微條件

蜜蜂隱喻：從深山偶然到銀座養蜂

兩面刃：小改變的市場機會與名聲風險

媒體與利害關係人：不可控的蝴蝶與可管理的媒體

珍珠奶茶：蝴蝶效應「想來也不過如此」

總結：從蝴蝶警覺到養蜂行動

參考來源

Ollama 基本指令

基本指令

Combining Scanned Images into a PDF with OCR on Mac OS X

Combining Scanned Images into a PDF with OCR on Mac OS X

1. Installing Required Tools

2. Merging Images into a PDF

3. Running OCR on the PDF

4. Merging Multiple OCR Processed PDFs

Summary

Mac OS X 環境下將圖片合併為PDF並進行OCR處理

將圖片合併為PDF並進行OCR處理

1. 安裝必要的工具

2. 圖片合併為PDF

3. 執行 OCR 文字識別

4. 合併多個 OCR 處理後的 PDF 檔案

總結

Business Model for AI Music Generation Services

Target Market

Revenue Streams

Operational Strategy

Conclusion

Mac OS X 下 Python套件matplotlib繪製中文標題散點圖表(Scatter Plot)

Apple M1 Mac 安裝 python3 程式庫

bash shell 批次更改圖片檔名範例

Ubuntu Elasticsearch 使用 IK Analysis Plugin

Ubuntu 18.04 安裝 Nginx+MySQL+PHP

Ubuntu 18.04 安裝 SSH Server , 設定為文字開機模式 (disable GUI boot mode)

第11屆iT邦幫忙鐵人賽-參考 Python 程式交易 30 天新手入門系列範例

Python 3 + Google 新聞爬蟲 + 罔拍 MONPA 中文正體分詞

python 抓取上市及上櫃公司清單, 並寫入 MySQL 資料庫

python 讀取 MySQL 資料

R tidyquant 抓取股價資料寫入 MySQL 資料庫

ubuntu 7-zip 安裝與使用

一次更新所有 Python Packages

把 IPython notebook貼上Blogger文章上分享

python +pywin32 操作 Excel

Windows 10 64bits + Arduino IDE + ESP8266 (ESP-01)

新 iPhone 是否會熱銷?

一、破除迷思：量化不等於高頻自動下單

二、數據是基礎：從統計分析開始

三、風險與個性：認識自己的局限

四、避免「韭菜」命運：專業與業餘的分野

五、總結：建立系統化的投資思維