加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
Lesson3_naive_bayesian.tex 16.07 KB
一键复制 编辑 原始数据 按行查看 历史
wangxu 提交于 2022-03-07 09:03 . init commit
\documentclass{lessonplan}
\usepackage{tabularx}
\usepackage{makecell}
\usepackage{marvosym}
\usepackage[framemethod=tikz]{mdframed}
\usepackage{longtable}
\hyphenpenalty=0
\tolerance=100000
\mdfdefinestyle{mystyle}{%
innerleftmargin=20pt,innerrightmargin=20pt,innertopmargin=20pt,
linewidth=0.4pt,topline=false,rightline=true,bottomline=true,
skipabove=\topsep,skipbelow=\topsep
}
\newcommand{\mycheckbox}{\mbox{\ooalign{$\checkmark$\cr\hidewidth$\square$\hidewidth\cr}}}
\newenvironment{leftcolumnplan}{\switchcolumn[0]\begin{adjustwidth}{1em}{1em}}{\end{adjustwidth}}
\newenvironment{rightcolumnplan}{\switchcolumn* \begin{adjustwidth}{0em}{2em}}{\end{adjustwidth}\switchcolumn[0]}
\newcommand{\rightpart}[2]{\begin{rightcolumnplan}
【#1】\\#2
\end{rightcolumnplan}}
\newcommand{\classtype}{\mycheckbox理论课 $\square$讨论课 $\square$实验课 $\square$习题课 $\square$其他}
%这里设置教案续页的head部分,七个参数依次如下
%{\weekth}{11} %第几周
%{\week}{三} %星期几
%{\classsec}{1} %第几节
%{\classtimes}{1} %课次
%{\techmode}{1} %授课方式
%{\classlong}{40分钟} %课时安排
%{\classtitle}{题目} %授课题目
\makehead{1}{}{2}{10}{1}{40分钟}{分类方法及应用——朴素贝叶斯方法}
\begin{document}
\thispagestyle{plain}
% \lipsum[1]
\centerline{{\zihao{3}\heiti 教案续页}}%将一行文本单独居中
~\\
\noindent
% \renewcommand\cellgape{\Gape[15pt][10pt]}
% \makecell{
\newcommand{\spacetemp}{2.8em}
\renewcommand\arraystretch{1.8}
\begin{tabular}{p{2.5cm}lll}
\multicolumn{1}{p{2cm}|}{~~~授课时间} & \multicolumn{1}{p{10.24cm}|}{第~\weekth~周 ~~ 星期\week ~~ 第~\classsec~节} &\multicolumn{1}{p{1.5cm}|}{\centering 课次} & \multicolumn{1}{p{1.5cm}|}{\centering \classtimes}\\ \hline
\multicolumn{1}{p{2cm}|}{~~~授课方式} & \multicolumn{1}{p{10.24cm}|}{\makecell[l]{\classtype}} &\multicolumn{1}{p{1.5cm}|}{\centering 课时安排} & \multicolumn{1}{p{1.5cm}|}{\centering \classlong}\\ \hline
\multicolumn{4}{l}{~~~授课题目:\classtitle} \\ \hline
\multicolumn{4}{l}{
\makecell*[l]{~~~教学目的、要求:\\
\hspace{\spacetemp}1. 能够理解概率论的基本概念和贝叶斯定理\\
\hspace{\spacetemp}2. 能够理解朴素贝叶斯分类的基本原理\\
\hspace{\spacetemp}3. 能够掌握朴素贝叶斯分类的流程及方法\\
}} \\ \hline
\multicolumn{4}{l}{
\makecell*[l]{~~~教学重点及难点:\\
\hspace{\spacetemp}重点:朴素贝叶斯分类方法\\
\hspace{\spacetemp}难点:贝叶斯定理\\
}} \\ \hline
\end{tabular}
% \vspace{0pt}
\setcolumnwidth{ 0.75\linewidth, 0.25\linewidth }
\setlength{\columnseprule}{0.4pt}
\setlength{\columnsep}{0cm}
% \colseprulecolor{white}[0]
\begin{paracol}{2}
\vspace{13pt}
\centerline{教~学~基~本~内~容}
\switchcolumn
\vspace{5pt}
\centerline{教学手段}
\centerline{及时间设计}
\vspace{5pt}
\end{paracol}
\hrule
\begin{plancontent}
\topsection{课堂教学设计}
{\kaishu 教学思路:}
本次教学首先回顾上节课学习的决策树分类模型,让学生速进入的进入本课程知识结构的学习状态。通过一个前测题,初步掌握学生对上节课知识的掌握情况。
然后本次课程首先讲授概率论的基本概念以及贝叶斯定理接着讲授本次课的重点内容,即朴素贝叶斯分类方法的原及步骤。最后,小结本次课程的知识点。课程过程中运用动问答,学生参与式学习等多种手段进行教学,强调学生参与度,强化学生对知识的理解。
{\kaishu教学方法:}
总体上以理论讲授、问题式教学为主,并结合交流互动、发引导、小结拓展等方式组织教学。
{\kaishu教学内容和时间安排:}\\
\renewcommand\arraystretch{1}
\begin{center}
\begin{tabular}{|c|l|c|}
\hline
序号 & 内容 & 时间 \\ \hline
0 & 课程引入 & 5' \\ \hline
1 & 概率论基础及贝叶斯定理 & 10'\\ \hline
2 & 朴素贝叶斯分类方法原理 & 18'\\ \hline
3 & 朴素贝叶斯分类方法应用 & 5'\\ \hline
4 & 课程小结 & 2' \\ \hline
\end{tabular}
\end{center}
% \end{table}
{\kaishu教学要求:}\par
1.~教学场所为多媒体教室;\par
2.~教员有处置教室停电、多媒体故障等突发情况的预案。
\rightpart{Bridge in}{利用本教研团队在科研中真实遇到和解决的分类问题引入本课程内容,科研进课堂,教研结合。}
\topsection{教学引入}\par
待补充\\
\rightpart{Objective}{引入完介绍本节课的教学目标。}
\topsection{教学内容主体}
\section{概率论基础及贝叶斯定理}
\subsection{概率论基础}
\subsubsection{概率}
\rightpart{图文讲授}{结合图示讲解相关概念,浅显易懂。}
在相同的条件下,独立重复地做$N$次试验,当试验次数$N$很大时,如果事件$A$发生的频率$f_N(A)$稳定地在$[0,1]$内的某一个数值$p$,则称数值$p$为事件$A$发生的概率,记为$P(A)=p$。用公式表示如下:
\begin{equation}
P(A) = \frac{A\text{发生的次数}}{N\text{次实验}}\; \; N\rightarrow \infty
\end{equation}
同时,概率还可以用Venn图的形式更加直观的表示,如图\ref{fig:l3probability1}。其中矩形$\Omega$表示N次实验的集合,矩形中的椭圆面积A表示A事件发生的集合,则A的面积占矩形面积的比例就是A发生的概率。
% TODO: \usepackage{graphicx} required
\begin{figure}[!h]
\centering
\includegraphics[width=0.3\linewidth]{figures/L3_probability_1}
\caption{概率示意图}
\label{fig:l3probability1}
\end{figure}
\subsubsection{条件概率}
\rightpart{图文讲授}{结合图示讲解相关概念,浅显易懂。}
条件概率是指事件$A$在另外一个事件$B$已经发生条件下的发生概率。条件概率表示为:$P(A|B)$,读作在$B$的条件下$A$的概率。用公式表示如下:
\begin{equation}
P(A|B)=\frac{P(A,B)}{P(B)}
\label{eq:1-2}
\end{equation}
根据公式(\ref{eq:1-2})变形,还可以得到如下的概率关系:
\begin{equation}
P(A,B)=P(A|B)P(B)
\label{eq:1-3}
\end{equation}
条件概率的Venn图表示如图(\ref{fig:l3probability2})所示,在$B$条件下$A$事件发生的概率可以表示为图中$C$区域的面积比上$B$区域的面积,同时$C$区域为事件$A,B$同时发生的概率,即$P(A,B)$,由此也同样可以得到公式(\ref{eq:1-2})。
\begin{figure}[!h]
\centering
\includegraphics[width=0.3\linewidth]{figures/L3_probability_2}
\caption{条件概率示意图}
\label{fig:l3probability2}
\end{figure}
\subsubsection{全概率公式}
如果事件$B_1,B_2,...,B_n$构成一个完备事件组,即它们两两互不相容,其和为全集;并且$P(B_i)>0$,则对任一事件$A$有。
\begin{equation}
P(A)=\sum_{i}P(A|B_i)P(B_i)
\end{equation}
该公式称之为全概率公式。
\rightpart{图文讲授}{结合图示讲解相关概念,浅显易懂。}
用Venn图表示如图\ref{fig:l3probability3}所示。全概率公式的\textbf{意义}在于,当我们只能观察到在事件$B_i$的概率,以及在$B_i$的条件下$A$事件发生的概率,如何通过所有$B_i$构成的完备集合,求解全集下事件$A$发生的概率。
\begin{figure}[!h]
\centering
\includegraphics[width=0.3\linewidth]{figures/L3_probability_3}
\caption{全概率公式示意图}
\label{fig:l3probability3}
\end{figure}
结合上面的Venn图,事件$A$被划分成四块不同的区域,每一个区域都是事件$A$和事件$B_i$的联合概率,再结合公式(\ref{eq:1-3})中联合概率和条件概率之间的关系,同样可以推导出全概率公式,该过程如下所示:
\begin{equation}
\begin{aligned}
P(A)&=P(B_1,A)+P(B_2,A)+P(B_3,A)+P(B_4,A) \\
&=P(A|B_1)P(B_1)+P(A|B_2)P(B_2) \\
&\;\;\;\;+P(A|B_3)P(B_3)+P(A|B_4)P(B_4)
\end{aligned}
\end{equation}
\rightpart{案例教学}{通过举例,形象理解全概率公式。}
举个生动的例子,假如本专业2021级的学生共有四个班,课堂上老师让每个班的班长统计了本班缺课学生的概率,同时我们又知道每个班学生的数量。那么通过全概率公式我们就可以计算出在本专业任意抽查一名同学,该同学缺课的概率。
\subsection{贝叶斯定理}
\subsubsection{人物介绍}
\begin{figure}[!h]
\centering
\includegraphics[width=0.3\linewidth]{figures/L3_bayes_intro}
\caption{贝叶斯画像}
\label{fig:L3bayesintro}
\end{figure}
贝叶斯(1701年—1761年,Thomas Bayes),英国数学家。1701年出生于伦敦,做过神父。1742年成为英国皇家学会会员。1761年4月7日逝世。
贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论,并创立了贝叶斯统计理论,对于统计决策函数、统计推断、统计的估算等做出了贡献。
\subsubsection{定理介绍}
贝叶斯定理是关于随机事件$A$$B$的条件概率(或边缘概率)的一则定理。其中$P(A|B)$是在$B$发生的情况下$A$发生的可能性。用公式表示如下:
\begin{equation}
P(A|B)=\frac{P(B|A)P(A)}{P(B)}
\end{equation}
该公式称之为贝叶斯公式。贝叶斯公式最早发表于1763 年, 当时贝叶斯已经去世,其结果没有受到应有的重视。
后来, 人们才逐渐认识到了这个著名概率公式的重要性。现在,贝叶斯公式以及根据它发展起来的贝叶斯统计已成为机器学习、人工智能、知识发现等领域的重要工具。
\rightpart{实例教学}{通过一个实例,理解和运用贝叶斯定理解决问题,深入理解定理的含义。}
\textit{\textbf{例1}}
\textbf{导弹发射出去有爆炸和不爆炸两种情况,不爆炸称之为故障。已知某型号的导弹故障率为0.5\%,同时研发团队开发了一套故障分析系统,故障判断准确率为99\%
一次检测中,故障分析系统判断一枚导弹有故障,那么该导弹有故障的概率有多高 ?}
\section{朴素贝叶斯分类算法}
\subsection{算法原理}
\begin{figure}[!h]
\centering
\includegraphics[width=0.8\linewidth]{figures/L3_bayes_theory}
\caption{贝叶斯算法原理}
\label{fig:L3bayestheory}
\end{figure}
贝叶斯分类原理:
利用贝叶斯定理求解在给定输入(即特征$X$)的条件下,不同输出(即类别$Y$)取值的概率,即求解$P(Y=y_i|X=x)$,其中$ x\in R^n$$y_i \in {y_1,y_2,...,y_n}$,最终将类别归为概率最大的一类。
\rightpart{情景教学}{结合真实的问题,层层递进,最终推导出贝叶斯分类器的基本形式。}
就文本分类问题,假如需要对文件进行密级的分类,分为秘密、机密、绝密三个等级。假设,我们用$X$来表示这封文件,用$Y$表示文件等级,$y_1$表示秘密, $y_2$表示机密, $y_3$表示绝密。那么,接下来的问题就是求解在已知一封邮件$X$的条件下,三个类别的概率,并取概率最大的为邮件的密级。
\begin{equation}
\begin{aligned}
P(Y=\text{秘密}|X)=\frac{P(X|\text{秘密})P(\text{秘密})}{P(X)}\\
P(Y=\text{机密}|X)=\frac{P(X|\text{机密})P(\text{机密})}{P(X)}\\
P(Y=\text{绝密}|X)=\frac{P(X|\text{绝密})P(\text{绝密})}{P(X)}\\
\end{aligned}
\end{equation}
由于上面公式中,分母$P(X)$是一样的,因此只需要比较分子的大小。即
\begin{equation}
\begin{aligned}
P(X|\text{秘密})P(\text{秘密})\\
P(X|\text{机密})P(\text{机密})\\
P(X|\text{绝密})P(\text{绝密})\\
\end{aligned}
\end{equation}
三个式子结果的大小。上式中$P(\text{秘密}),P(\text{机密}),P(\text{绝密})$的概率比较容易得到,只需要统计历史文件中三种不同密级文件占总文件数量的比例。而$P(X|\text{秘密}),P(X|\text{机密}),P(X|\text{绝密})$这三个条件概率却不那么容易计算。以$P(X|\text{秘密})$为例,因为文本$X$中含有$n$个词组$x^{(1)},x^{(2)},...,x^{(n)}$,则$P(X|\text{秘密})=P(x^{(1)},x^{(2)},...,x^{(n)}|\text{秘密})$,由于数据的稀疏性,在任何一种密级条件下,有和当前文本$X$一摸一样的文本的可能性是非常小的,这就使得上述的概率都为0。
\rightpart{问题教学法}{利用问题,引出关于朴素贝叶斯的基本假设。}
那么该如何解决这个问题呢?
为了解决这个问题,我们做出一个简单有效的假设,即条件独立性假设,假设如下:
\begin{equation}
P(A_1 A_2|A)=P(A_1|A)P(A_2|A)
\end{equation}
就是说,在$A$发生的条件下,$A_1$发生与否与$A_2$发生与否是无关的。
因此,在该假设的前提下,上述条件概率可以表示为:
\begin{equation}
P(x^{(1)},x^{(2)},...,x^{(n)}|\text{秘密})=P(x^{(1)}|\text{秘密})P(x^{(2)}|\text{秘密})...P(x^{(n)}|\text{秘密})
\end{equation}
那么问题变得简单许多,对于任意$P(x^{(i)}|\text{秘密})$只需要计算词组$x^{(i)}$在秘密类文件中出现的频率即可。
正是由于条件独立性这一个较强的假设,朴素贝叶斯算法也由此得名。
综上所述,一般情况下,朴素贝叶斯分类器可以表示为:
\begin{equation}
y=\underset{y_i}{\text{max}}P(Y=y_i)\prod_{j}P(X^{(j)}=x^{(j)}|Y=y_i)
\end{equation}
\begin{figure}[!h]
\centering
\includegraphics[width=0.7\linewidth]{figures/L3_bayes_process}
\caption{贝叶斯算法步骤}
\label{fig:L3bayesprocess}
\end{figure}
\subsection{贝叶斯分类流程}
利用贝叶斯算法分类的流程可以用图\ref{fig:L3bayesprocess}表示。算法主要分为三个阶段,分别是数据预处理阶段、分类器训练阶段和分类器应用阶段。
\section{模型应用}
理论往往要结合实践才能发挥出理论强大的威力。那么在模型应用这一节就如何利用朴素贝叶斯分类方法对Twitter中用户发表的推文进行分类实践,锻炼大家实际运用朴素贝叶斯方法的能力。
\rightpart{案例教学}{通过案例学习模型应用的全过程。}
\begin{figure}[!h]
\centering
\includegraphics[width=0.7\linewidth]{figures/L3_bayes_application_exp}
\caption{Twitter中推文的类型分类问题}
\label{fig:L3bayesapplicationexp}
\end{figure}
通常解决一个实际的问题分为以下几个步骤:数据采集、数据预处理、构建模型、模型学习、模型应用。结合PPT具体讲解每一个步骤,让学生了解完整的解决一个分类问题的过程。
\hspace{10mm}
\rightpart{Summary}{课程小结}
\topsection{课程小结}\par
本次课学习的内容:\par
分类方法及应用中的朴素贝叶斯分类方法。
知识点总结:\par
1.概率论基础知识,包括概率、条件概率的定义以及全概率公式;\par
2.贝叶斯定理;\par
3.朴素贝叶斯分类算法原理及算法步骤。\par
~
\end{plancontent}
\hrule
\vspace{10pt}
\begin{adjustwidth}{1em}{1em}
\noindent 思考题:
\begin{enumerate}
\item 对文本分类的过程中,当一个以往都没有出现过的新的词组出现,即$P(x^{(j)}|y_i)=0$,对朴素贝叶斯分类器会产生什么样的影响,如何解决该问题?
\item 朴素贝叶斯方法引入了条件独立性的假设,然而在现实中该假设过于苛刻,很多场景下条件之间都是具有一定相关性的,因此这一假设大大地影响了分类的准确性,如何解决该问题?
\end{enumerate}
\end{adjustwidth}
\vspace{10pt}
\hrule
\vspace{10pt}
\begin{adjustwidth}{1em}{1em}
\noindent 课后小结:
\end{adjustwidth}
\frameblocklastpage{0mm}{0mm}{0mm}
\end{document}
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化