薯条老师的博客-Python入门教程,广州线下小班周末班培训

第⑦期Python大数据高级班, 包拿Offer

Thu, 15 Dec 2022 10:56:33 +0800

薯条老师大神小班授课

薯条老师本名陈政强，曾就职于猎豹移动等互联网大厂。资深技术专家，精通后端，爬虫，数据分析，机器学习。技术作家，著有《Python从入门到精通》，《Python零基础入门指南》，《Python爬虫从入门到精通》等技术教程。其中《Python从入门到精通》已与人民邮电出版社合作出版，购买该书可提供免费学习指导：

小班培训就业情况

薯条老师现有十多年一线研发经验、丰富的项目管理经验，只要你肯学，就能帮助你学好Python大数据分析, 高薪就业。在薯条老师这参与线下小班培训的学员大部分都就业了，学员们的平均月薪有11K，一部分拿的薪资高一些(13K, 15K)，一部分拿的低一些(10K左右)，其实都差别不大。部分无法就业的要么是不适合做软件开发，比如学到一半突然发现不喜欢搞计算机，第一期的齐同学和第二期的成鹏同学就是这样的例子。要么是坚持不下去，学计算机很辛苦，如果没有超出常人的决心和毅力，是坚持不下去的。

小班授课-包拿Offer

采用小班教学模式，每班学员最多10人，薯条老师会一对一地指导学员们的学习及就业。第七期Python线下培训的授课地点在广州番禺，华南碧桂园，不在广州的同学，可提供住宿，不用交住宿费。也可以报名线上直播班，跟线下小班的同学们同步学习。

培训岗位-Python大数据工程师

除了Python大数据挖掘，薯条老师还会推出Python web后端开发，Python爬虫，Java后端开发, Python办公自动化，Python大数据分析等就业班，帮助你拿到BAT大厂Offer。初级Python爬虫工程师月薪在10K-13K之间，学习能力较强的同学，可以争取13K-20K的薪资。以下是拉勾招聘网站的数据分析师的薪资情况：

Python大数据挖掘的课程大纲

每一期大数据的总学习时间在5-6个月，基础较薄弱的同学必须至少学两期。

序号	阶段	课程	学时（天）
1	学前准备	团队沟通与合作	1
		开发环境搭建
2	计算机基础	计算机的信息表示	2
		计算机的组成结构
		WIndows、Linux基础
3	Python语言基础	Python基础语法	40
		控制结构与数据运算
		Python基本数据结构
		Python函数编程
		Python面向对象
		Python文件处理、异常处理
4	Python数据分析基础	Numpy, Pandas, Matplotlib	2
5	数据结构与算法	数据结构与算法基础理论	10
		常用数据结构:表，栈，队列，树结构
		常用算法:排序算法，查找算法，大数据处理相关算法
6	机器学习与数据挖掘	概率论, 线代，微积分基础	50
		机器学习算法原理
		特征工程
		分类，回归，聚类，关联分析等常用数据挖掘建模分析方法
		深度学习框架PyTorch
7	大规模数据处理与分析	数据库与SQL:MySQL,HIVE	60
		高并发编程与高并发系统架构
		分布式计算、存储基础理论
		Hadoop大数据平台、Spark大数据引擎
8	项目实训+面试辅导	电商用户行为分析及服务推荐	30
		电商产品评论数据情感分析
		客户精准营销与流失预警
		短视频智能推荐系统
		广告收益回归预测模型
		50道 Python 大数据分析企业级笔试+面试题讲解
		玩转大数据分析面试八股文，包拿 Offer

线下学习环境

线下授课地点暂定于广州市番禺区的华南碧桂园，2022年以后可能会更换学习场地。

感兴趣的同学扫下面的二维码与薯条老师进行沟通：

第⑦期大数据分析周末班直播班, 包拿Offer

Thu, 15 Dec 2022 10:21:03 +0800

薯条老师大神小班授课

小班培训就业情况

薯条老师现有十多年一线研发经验、丰富的项目管理经验，只要你肯学，就能帮助你学好数据分析, 高薪就业。在薯条老师这参与线下小班培训的学员大部分都就业了，学员们的平均月薪有11K，一部分拿的薪资高一些(13K, 15K)，一部分拿的低一些(10K左右)，其实都差别不大。部分无法就业的要么是不适合做软件开发，比如学到一半突然发现不喜欢搞计算机，第一期的齐同学和第二期的成鹏同学就是这样的例子。要么是坚持不下去，学计算机很辛苦，如果没有超出常人的决心和毅力，是坚持不下去的。

小班授课-包拿Offer

培训岗位-数据分析师

除了数据分析，薯条老师还会推出Python web后端开发，Python爬虫，Java后端开发, Python办公自动化，Python大数据分析等就业班，帮助你拿到BAT大厂Offer。初级Python爬虫工程师月薪在10K-13K之间，学习能力较强的同学，可以争取13K-20K的薪资。以下是拉勾招聘网站的数据分析师的薪资情况：

数据分析师的课程大纲

序号	阶段	课程	学时（天）
1	学前准备	团队沟通与合作	1
		开发环境搭建
2	计算机基础	计算机的信息表示	2
		计算机的组成结构
		WIndows、Linux基础
3	Python语言基础	Python基础语法	40
		控制结构与数据运算
		Python基本数据结构
		Python函数编程
		Python面向对象
		Python文件处理、异常处理
4	Python数据分析基础	Numpy, Pandas, Matplotlib	2
5	Python办公自动化	Excel自动化, Word自动化，邮件自动化	6
6	数据分析基础理论	商务统计学	50
		数据分析思维与方法
7	商务数据处理与可视化	数据库与SQL: MySQL/HIVE	30
		商业数据分析: Excel,Power BI
		商业数据分析的报表设计
8	项目实训+面试辅导	国内电商用户行为分析	20
		跨境电商用户与广告分析
		在线教育平台的用户营销分析
		金融信贷行业数据分析
		内容平台的用户分析
		50道数据分析企业级笔试+面试题讲解
		玩转数据分析八股文，包拿Offer

线下学习环境

线下授课地点暂定于广州市番禺区的华南碧桂园，2022年以后可能会更换学习场地。

感兴趣的同学扫下面的二维码与薯条老师进行沟通：

第⑦期Python爬虫10人小班，包拿Offer

Tue, 13 Dec 2022 16:56:43 +0800

薯条老师大神小班授课

小班培训就业情况

薯条老师有十多年一线研发经验、丰富的项目管理经验，只要你肯学，就能帮助你学好Python爬虫, 高薪就业。在薯条老师这参与线下小班培训的学员大部分都就业了，学员们的平均月薪有11K，一部分拿的薪资高一些(13K, 15K)，一部分拿的低一些(10K左右)，其实都差别不大。部分无法就业的要么是不适合做软件开发，比如学到一半突然发现不喜欢搞计算机，第一期的齐同学和第二期的成鹏同学就是这样的例子。要么是坚持不下去，学计算机很辛苦，如果没有超出常人的决心和毅力，是坚持不下去的。

小班授课-包拿Offer

培训岗位-Python爬虫工程师

Python线下培训地点在广州番禺，华南碧桂园。除了Python爬虫，薯条老师还会推出Python web后端开发，Java后端开发, Python办公自动化，Python大数据分析等就业班，帮助你拿到BAT大厂Offer。初级Python爬虫工程师月薪在10K-13K之间，学习能力较强的同学，可以争取13K-20K的薪资。以下是拉勾招聘网站的Python爬虫工程师薪资情况：

Python爬虫工程师课程大纲

序号	阶段	课程	学时（天）
1	学前准备	团队沟通与合作	4
		开发环境搭建
		计算机基础
		Windows,Linux 基础
2	Python 基础	Python 基础语法	3
		控制结构与数据运算	3
		Python 基本数据结构(字符串，列表，元组，字典，集合)	5

		Python 函数编程	3
		Python 面向对象	3
		Python 文件、异常处理	2
		Python 模块，单元测试，日志处理	4
3	Python 进阶	并发编程	4
		网络编程	4
		内存管理	1
		性能优化	2
		设计模式	3
4	数据结构与算法	数据结构与算法基础理论	7
		常用数据结构:表栈队列，树结构
		常用算法:排序算法，查找算法，大数据处理算法
5	数据库开发及优化	MySQL	5
		Redis	2
6	爬虫基础	网络协议：HTTP/HTTPS,TCP/IP 协议	15
		爬虫原理、抓包工具
		前端基础
		正则表达式
7	爬虫库及框架	lxml，Beautifulsoup	1
		Selenium	2
		Scrapy	3
		Numpy, Pandas, Matplotlib	3
8	爬虫进阶	js 逆向，安卓逆向，反爬机制及破解	10
		大规模爬虫系统设计
9	项目实训	抓取房地产门户网站数据+可视化	20
		博客网站数据采集器
		破解 github，知乎等 web 站点的登录
		微信小程序，安卓 app 的逆向破解
		国内京东淘宝，共鞋等电商数据抓取
		企业级国外球鞋电商数据抓取
		开源分布式爬虫系统OceanMonkey

线下学习环境

线下授课地点暂定于广州市番禺区的华南碧桂园，2022年以后可能会更换学习场地。

感兴趣的同学扫下面的二维码与薯条老师进行沟通：

19.3节: Python数据库编程

Fri, 09 Dec 2022 11:27:52 +0800

广州Python, Java小班培训薯条老师在广州做Python和Java的小班培训，一个班最多10人，学员的平均就业薪资有11K。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。培训的课程有Python爬虫，Python后端开发，Python办公自动化，Python大数据分析，Python量化投资，Python机器学习，Java中高级后端开发。授课详情请点击：https://my.pythoncn.com/?cate=6
19.3.1 Python数据库编程

关于Python的数据库编程，我们主要学习的是数据库的基础概念，以及常用的MySQL数据库，Redis数据库。该系列进阶教程已经写入薯条老师最新出版的《Python从入门到精通》中，同学们如需进一步学习Python的数据库编程知识，可在京东商城或当当网上书店中购买这本书。这本书对零基础小白很友好，内容循序渐进，通俗易懂。此外，这本书还提供了丰富的学习资料，比如视频讲解，编程题库，PPT课件等，非常适合有一定基础的Python爱好者。
在学习的过程中不要担心没人指导，遇到学不懂的知识难点时，直接观看与书配套的视频讲解：
如果看完了还是不太会写代码，那就刷题！这本书提供了丰富的编程题库，每道编程题提供了对应的源码：
同学们可在京东商城或当当书店中购买这本书:https://item.jd.com/13256403.html, 感谢同学们的支持!!!
19.3.2 最具实力的小班培训

薯条老师在广州做Python和Java的小班培训，一个班最多10人。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。打算参加小班培训的同学，必须遵守薯条老师的学习安排，认真做作业和项目。把知识学好，学扎实，那么找到一份高薪的工作就是很简单的一件事。

(1) Python后端工程师高薪就业班，月薪11K-18K，免费领取课程大纲
(2) Python爬虫工程师高薪就业班，年薪十五万，免费领取课程大纲
(3) Java后端开发工程师高薪就业班，月薪11K-20K, 免费领取课程大纲
(4) Python大数据分析，量化投资就业班，月薪12K-25K,免费领取课程大纲

扫码免费领取Python学习资料：

19.2节: Python网络编程

Fri, 09 Dec 2022 11:25:21 +0800

广州Python, Java小班培训薯条老师在广州做Python和Java的小班培训，一个班最多10人，学员的平均就业薪资有11K。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。培训的课程有Python爬虫，Python后端开发，Python办公自动化，Python大数据分析，Python量化投资，Python机器学习，Java中高级后端开发。授课详情请点击：https://my.pythoncn.com/?cate=6
19.2.1 Python网络编程

关于Python的网络编程，我们主要学习的是TCP/IP协议栈，应用层的HTTP协议，以及套接字编程，HTTP编程等。该系列进阶教程已经写入薯条老师最新出版的《Python从入门到精通》中，同学们如需进一步学习Python的网络编程知识，可在京东商城或当当网上书店中购买这本书。这本书对零基础小白很友好，内容循序渐进，通俗易懂。此外，这本书还提供了丰富的学习资料，比如视频讲解，编程题库，PPT课件等，非常适合有一定基础的Python爱好者。
在学习的过程中不要担心没人指导，遇到学不懂的知识难点时，直接观看与书配套的视频讲解：
如果看完了还是不太会写代码，那就刷题！这本书提供了丰富的编程题库，每道编程题提供了对应的源码：

同学们可在京东商城或当当书店中购买这本书:https://item.jd.com/13256403.html, 感谢同学们的支持!!!
19.2.2 最具实力的小班培训

(1) Python后端工程师高薪就业班，月薪11K-18K，免费领取课程大纲
(2) Python爬虫工程师高薪就业班，年薪十五万，免费领取课程大纲
(3) Java后端开发工程师高薪就业班，月薪11K-20K, 免费领取课程大纲
(4) Python大数据分析，量化投资就业班，月薪12K-25K,免费领取课程大纲

扫码免费领取Python学习资料：

19.1节: Python并发编程

Fri, 09 Dec 2022 11:14:55 +0800

广州Python, Java小班培训薯条老师在广州做Python和Java的小班培训，一个班最多10人，学员的平均就业薪资有11K。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。培训的课程有Python爬虫，Python后端开发，Python办公自动化，Python大数据分析，Python量化投资，Python机器学习，Java中高级后端开发。授课详情请点击：https://my.pythoncn.com/?cate=6
19.1.1 Python并发编程

关于Python的并发编程，我们主要学习的是多进程、多线程、协程以及常用的并发编程模型。该系列进阶教程已经写入薯条老师最新出版的《Python从入门到精通》中，同学们如需进一步学习Python的并发编程知识，可在京东商城或当当网上书店中购买这本书。这本书对零基础小白很友好，内容循序渐进，通俗易懂。此外，这本书还提供了丰富的学习资料，比如视频讲解，编程题库，PPT课件等，非常适合有一定基础的Python爱好者。
在学习的过程中不要担心没人指导，遇到学不懂的知识难点时，直接观看与书配套的视频讲解：
如果看完了还是不太会写代码，那就刷题！这本书提供了丰富的编程题库，每道编程题提供了对应的源码：
同学们可在京东商城或当当书店中购买这本书:https://item.jd.com/13256403.html, 感谢同学们的支持!!!
19.1.2 最具实力的小班培训

(1) Python后端工程师高薪就业班，月薪11K-18K，免费领取课程大纲
(2) Python爬虫工程师高薪就业班，年薪十五万，免费领取课程大纲
(3) Java后端开发工程师高薪就业班，月薪11K-20K, 免费领取课程大纲
(4) Python大数据分析，量化投资就业班，月薪12K-25K,免费领取课程大纲

扫码免费领取Python学习资料：

18.6节: 程序实战-封装数据库模块

Thu, 08 Dec 2022 15:04:18 +0800

广州番禺Python, Java小班周末班培训

薯条老师在广州做Python和Java的小班培训，一个班最多10人，学员的平均就业薪资有11K。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。培训的课程有Python爬虫，Python后端开发，Python办公自动化，Python大数据分析，Python量化投资，Python机器学习，Java中高级后端开发。授课详情请点击：https://my.pythoncn.com/?cate=6

18.6.1 操作数据库

一个完整的Python后端项目，其架构通常会包含一个数据访问层，利用该层提供的接口，就可以对数据库进行读写操作。在本节程序实战中，我们使用单例模式来封装一个用于操作MySQL的Python库，通过该库，即可方便地对数据库进行操作。关于MySQL的基础知识，同学们可以学习薯条老师写的这套MySQL基础教程:https://my.pythoncn.com/?cate=13。

18.6.2 安装PyMySQL

MySQL基于C-S架构，这里的C是客户端，S是服务端。在程序中连接MySQL服务器，需通过MySQL提供的客户端接口来进行操作。而PyMySQL正是实现了MySQL客户端接口的一个库。安装PyMySQL可直接使用PIP大法，很简单:

pip install pymysql

18.6.3 PyMySQl用法简介

通过以下步骤来使用PyMySQL来操作MySQL:

(1) 通过pymysql的connect方法构造一个数据库连接对象
(2) 执行数据库连接对象的cursor方法来构造一个游标对象
(3) 在游标对象中执行execute或executemany方法对mysql数据库进行增查改删以及管理，对于插入，删除，更新等操作，需要通过commit方法进行事务提交。
(4) 在游标对象中执行fetchone或fetchall方法来获取在execute或executemany方法中执行的结果

pymysql的connect方法：

pymysql.connect(host="localhost", user, passwd, db, charset="utf8")

参数解释:

host表示mysql服务器的地址，默认值为localhost, 表示本机，user为数据库的账号，passwd为数据库的密码，db为特定的数据库, charset为数据库的字符编码，chrset必需指定正确的数据库编码，否则会出现乱码。

游标对象的execute方法:

cursor.execute(query, args=None)

query表示数据库的查询语句，查询语句中可带参数，用%s来表示。args:序列类型，query中带%s参数时，必须使用args来传递实参值。假设查询商品表中id为1的记录，SQL为"select id, name, price from goods where id=%s"则args为：(1,)。execute方法的返回值是一个整型值，表示影响的行数。

游标对象的executemany方法:

cursor.executemany(query, args)

query表示数据库的查询语句，查询语句中可带参数，用%s来表示。args:序列类型，query中带%s参数时，必须使用args来传递实参值。通常使用executemany来执行数据的批量读写，假设在employee表中进行数据的批量写，SQL为"insert into employee(name) values(%s)"，此时可以将多个实参值组合到一个列表中，args为[("小旭",),("小董",)]。executemany方法的返回值是一个整型值，表示影响的行数。

游标对象的fetchone方法:

cursor.fetchone()

fetchone的返回值类型为一个元组，表示一个单行的记录，值为None时，表示没有数据。

游标对象的fetchall方法:

cursor.fetchall()

fetchall方法的返回值类型为一个元组，表示多行的记录值，值为None时，表示没有数据。

18.6.4 编写一个配置模块

为方便项目的维护，我们先编写一个配置模块，将用户的登录，密码等消息都写入配置文件，这样当配置消息发生变动时，就无需修改源代码。模块名为settings.py, 模块中的代码如下所示：

class DatabaseType:
    def __init__(self):
        pass
    MYSQL = 0
    ORACLE = 1
    REDIS = 2
    
    
DBConfig_OFFICIAL = {
    DatabaseType.MYSQL: {
        "host": "", # 配置线上环境的MySQL服务器的地址
        "port": 3306, # 配置线上环境的MySQL服务器的端口号
        "user": "", # 配置线上环境的MySQL服务器的用户名
        "password": "", # 配置线上环境的MySQL服务器的登录密码
        "database": "" # 配置要连接的线上环境的数据库
    },
}


DBConfig_TEST = {
    DatabaseType.MYSQL: {
        "host": "", # 配置测试环境的MySQL服务器的地址
        "port": 3306, # 配置测试环境的MySQL服务器的端口号
        "user": "",# 配置测试环境的MySQL服务器的用户名
        "password": "", # 配置测试环境的MySQL服务器的登录密码
        "database": "" # 配置要连接的测试环境的数据库
    },
}


DBConfig = DBConfig_OFFICIAL

18.6.5 用单例模式来进行封装

关于单例模式，可参考薯条老师写的这篇教程：https://my.pythoncn.com/?id=357。现在我们使用单例模式来封装一个对MySQL进行读写操作的Python模块database.py。模块的代码如下所示：

# __author__ = 薯条老师

import pymysql
from config.settings import DBConfig, DatabaseType


class Database:
    """
    对数据库操作进行了简单的封装
    """
    # 类属性__db__instances是一个字典类型，用来保存数据库的实例
    __db_instances = {}
    
    
    @classmethod
    def get_instance(cls, db_type=DatabaseType.MYSQL):
        """
        定义get_instance类方法，用来获取数据库对象的单例
        所谓的单例就是一个类只有一个实例，调用该方法每次获取到
        的都是同一个数据库实例,，type默认为MYSQL类型，表示
        默认获取的是mysql的数据库实例
        """
        if db_type not in cls.__db_instances:
            # 如果不存在，就构造一个Database的实例对象
            cls.__db_instances[db_type] = Database(db_type)
        return cls.__db_instances[db_type]
        
        
    def __init__(self, db_type=DatabaseType.MYSQL):
        """
        :param db_type: 数据库的类型，数据库的类型在DatabaseType中进行了定义
        默认为MYSQL类型，表示创建mysql类型的数据库实例
        """
        self.__db_type = db_type
        self.__db = self.__get_database()
        self.__cursors = {}
        
        
    def __get_database(self):
        db = None
        # 根据类型字段，来创建对应的数据库实例
        if self.__db_type == DatabaseType.MYSQL:
            try:
                db = pymysql.connect(
                                     host=DBConfig[DatabaseType.MYSQL]["host"],
                                     user=DBConfig[DatabaseType.MYSQL]["user"],
                                     password=DBConfig[DatabaseType.MYSQL]["password"],
                                     database=DBConfig[DatabaseType.MYSQL]["database"],
                                     port=DBConfig[DatabaseType.MYSQL]["port"]
                                     )
            except IOError:
                db = None
        return db
        
        
    def batch_insert(self, sql=None, args=None):
        """
        :param sql: 客户端传递的查询语句
        :param args: 查询语句对应的参数
        :param data: 批量插入的数据
        :return:True表示批量写入成功，False表示失败
        """
        status, last_rowid, error = True, -1, ""
        if not self.__db:
            return status
        if self.__db_type == DatabaseType.MYSQL:
            # 如果数据库的实例对象为MySQLdb，则执行executemany方法来进行批量写入
            if "mysql" not in self.__cursors:
                self.__cursors["mysql"] = self.__db.cursor()
            try:
                self.__cursors["mysql"].executemany(sql, args)
                last_rowid = self.__db.insert_id()
                self.__db.commit()
                pass
            except (Exception, ) as e:
                status = False
                error = e
        return status, last_rowid, error
        
        
    def create_database(self, **params):
        """
        :param params: 可变参数，
        params中的name表示数据库名，body表示创建数据库的额外参数
        :return: 返回一个状态信息，True表示创建成功，False表示创建失败
        """
        status = True
        if self.__db_type == DatabaseType.ELASTICSEARCH:
            es_index = params.get("name", None)
            mappings = params.get("body", None)
            if not self.__db.indices.exists(index =params["name"]):
                try:
                    self.__db.index(index=es_index, body=mappings)
                except(Exception, ):
                    status = False
        return status
        
        
    def query(self, ql, *args):
        """
        :param ql:表示查询语句
        :param args:表示查询的参数
        :return:
        """
        data = None
        if self.__db_type == DatabaseType.MYSQL:
            if "mysql" not in self.__cursors:
                self.__cursors["mysql"] = self.__db.cursor()
            if not args:
                self.__cursors["mysql"].execute(ql)
            else:
                self.__cursors["mysql"].execute(ql, args)
            data = self.__cursors["mysql"].fetchall()
        return data

18.6.6 数据库模块的使用

模块封装好以后，就可以将其作为数据访问层提供给其它模块进行使用。现在我们将配置模块settings.py保存在config目录中，将数据库封装模块database.py保存至dao中。这里的config作为项目的配置层，dao作为项目的数据访问层:

app.py表示项目的入口文件，我们现在在入口文件中写一个简单的测试程序, 代码如下所示:

"""
@author: 薯条老师
@desc: 对数据库模块进行测试
"""
from config.settings import DatabaseType
from dao.database import  Database


if __name__ == "__main__":
    mysql_conn = Database.get_instance(db_type=DatabaseType.MYSQL)
    sql = "select id, name from test where id=%s"
    id_ = 1
    rows = mysql_conn.query(sql, id_)
    print(rows)

18.6.7 最具实力的小班培训

(1) Python后端工程师高薪就业班，月薪11K-18K，免费领取课程大纲
(2) Python爬虫工程师高薪就业班，年薪十五万，免费领取课程大纲
(3) Java后端开发工程师高薪就业班，月薪11K-20K, 免费领取课程大纲
(4) Python大数据分析，量化投资就业班，月薪12K-25K,免费领取课程大纲

扫码免费领取Python学习资料：

17.4节: 程序实战-单例模式

Thu, 08 Dec 2022 11:08:39 +0800

广州番禺Python, Java小班周末班培训

薯条老师在广州做Python和Java的小班培训，一个班最多10人，学员的平均就业薪资有11K。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。培训的课程有Python爬虫，Python后端开发，Python办公自动化，Python大数据分析，Python量化投资，Python机器学习，Java中高级后端开发。授课详情请点击：https://my.pythoncn.com/?cate=6

17.4.1 何为单例模式?

单例模式是指一个类只对应一个实例，通过类的全局方法来访问该实例。使用单例模式可以节约系统资源(时间+空间)，避免对共享资源的重复占用，提升系统性能。在下节程序实战中，我们会封装一个操作MySQL数据库的类，届时会使用到单例模式。

17.4.2 模式的适用场景

在仅需一个实例对象就能实现需求的场景中，就应该使用单例模式，比如MySQL, Redis等数据库的连接对象，全局的计数器对象。单例模式的实现方式有饿汉式和懒汉式。饿汉式线程安全，在类加载时即被创建。懒汉式仅在需要的时候才被创建，会有线程安全的问题。

17.4.3 饿汉与懒汉

现在通过单例模式来实现一个全局的计数器对象Counter, 以下为饿汉模式的单例：

# __author__ = 薯条老师，微信公众号：薯条编程

"""
单例模式是指一个类只对应一个实例，通过类的全局方法来访问该实例
"""


"""
(1) 定义一个全局的计数器对象Counter，以饿汉模式中的单例来实现
"""


class Counter:
    __instance = None
    """
    (2) 重写__new__方法来实现饿汉模式的单例  
    """

    def __new__(cls):
        if not cls.__instance:
            cls.__instance = super().__new__(cls)
        return cls.__instance

    def __init__(self):
        self._count = 0 if "_count" not in self.__dict__ else self.__dict__["_count"]

    @property
    def count(self):
        return self._count

    @count.setter
    def count(self, value):
        self._count += value


if __name__ == "__main__":
    counter = Counter()
    counter.count = 1
    counter = Counter()
    counter.count = 1
    # 输出的结果为2，说明为同一个对象
    print(counter.count)

以下为懒汉模式的单例：

# __author__ = 薯条老师，微信公众号：薯条编程

"""
单例模式是指一个类只对应一个实例，通过类的全局方法来访问该实例
"""

"""
(1) 定义一个全局的计数器对象Counter，以懒汉模式中的单例来实现
"""


class Counter:
    __instance = None
    """
    (2) 通过类方法来实现懒汉模式中的单例  
    """
    @classmethod
    def get_instance(cls):
        if not cls.__instance:
            cls.__instance = cls()
        return cls.__instance

    def __init__(self):
        self.__count = 0

    @property
    def count(self):
        return self.__count

    @count.setter
    def count(self, value):
        self.__count += value


if __name__ == "__main__":
    counter = Counter.get_instance()
    counter.count = 1
    counter = Counter.get_instance()
    counter.count = 1
    print(counter.count)

17.4.4 最具实力的小班培训

(1) Python后端工程师高薪就业班，月薪11K-18K，免费领取课程大纲
(2) Python爬虫工程师高薪就业班，年薪十五万，免费领取课程大纲
(3) Java后端开发工程师高薪就业班，月薪11K-20K, 免费领取课程大纲
(4) Python大数据分析，量化投资就业班，月薪12K-25K,免费领取课程大纲

扫码免费领取Python学习资料：

16.11节: 程序实战-观察者模式

Thu, 08 Dec 2022 10:46:09 +0800

广州番禺Python, Java小班周末班培训

薯条老师在广州做Python和Java的小班培训，一个班最多10人，学员的平均就业薪资有11K。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。培训的课程有Python爬虫，Python后端开发，Python办公自动化，Python大数据分析，Python量化投资，Python机器学习，Java中高级后端开发。授课详情请点击：https://my.pythoncn.com/?cate=6

16.11.1 观察者模式简介

观察者模式是一种设计模式，关于Python常用的设计模式，可系统学习薯条老师写的这系列教程https://my.pythoncn.com/?cate=81。观察者模式是这样的一种模式，它定义了对象间的一种一对多的依赖关系，当一个对象(主题)的状态发生改变时，则所有依赖于它的对象(观察者)都会得到通知并被自动更新。

举个很简单的例子: 对于关注了薯条老师的微信公众号的用户来说，公众号与关注者就是多对一的依赖关系，当公众号推文成功时，所有关注者都会收到这条推文消息。

16.11.2 观察者模式与发布订阅模式

观察者模式解决了被观察者对象和观察者对象的紧耦合问题，也即，如果不使用观察者模式，通常的实现是将状态耦合在观察者对象的内部。

发布订阅模式是对观察者模式的推广，在主题和观察者之间引入了一个中间层。有了中间层以后，主题的状态一旦变更，消息被直接发送给中间层，而非观察者。在实际开发中，通常使用消息队列来做发布订阅模式中的中间层。

16.11.4 实现观察者模式

# __author__ = 薯条老师，微信公众号：薯条编程

"""
观察者模式定义了对象间的一种一对多的依赖关系。
观察者的四种角色：
(1) Subject：抽象主题类 ，用来提供添加。删除，通知观察者的抽象接口
(2) Concrete Subject：具体的主题子类，用来实现抽象主题中的抽象接口
(3) Observer：抽象观察者类 ，用来定义一个抽象的行为
(4) Concrete Observer：具体的观察者子类，实现抽象观察者的抽象接口，当主题状态变更时，
会自动调用该接口
"""

import abc
"""
(1) 定义一个名为公众号的抽象主题类,该抽象基类包含三个抽象接口：
add_user:添加已关注的用户
notify: 状态变更时，通知所有已关注的用户阅读  
"""

class OfficialAccount(abc.ABC):
    @abc.abstractmethod
    def add_user(self, user):
        pass
        
        
    @abc.abstractmethod
    def notify(self):
        pass

                
"""
(2) 定义一个名为微信公众号的主题子类
"""
class WechatOfficialAccount(OfficialAccount):
    def __init__(self):
        self.__users = []
        self.__message = None
        
        
    def add_user(self, user):
        self.__users.append(user)
        
        
    def notify(self):
        if self.__message is not None:
            [user.read(self.__message) for user in self.__users]
            
            
    def push(self, message):
        self.__message = message
        self.notify()
        self.__message = None
        
        
"""
(3) 定义一个抽象观察者类User,该抽象基类包含一个抽象接口：
read: 阅读推文
"""
class User(abc.ABC):
    @abc.abstractmethod
    def read(self, message):
        pass
        
        
"""
(4) 定义一个具体观察者子类WechatUser
"""
class WechatUser(User):
    def __init__(self, name):
        self.__name = name
        
        
    def read(self, message):
        print("{} received message:{}".format(self.__name, message))
        
        
if __name__ == "__main__":
    wechatOfficialAccount = WechatOfficialAccount()
    kitty = WechatUser("kitty")
    lisa = WechatUser("Lisa")
    wechatOfficialAccount.add_user(kitty)
    wechatOfficialAccount.add_user(lisa)
    wechatOfficialAccount.push("欢迎来到单身狗俱乐部")

16.11.4 最具实力的小班培训

(1) Python后端工程师高薪就业班，月薪11K-18K，免费领取课程大纲
(2) Python爬虫工程师高薪就业班，年薪十五万，免费领取课程大纲
(3) Java后端开发工程师高薪就业班，月薪11K-20K, 免费领取课程大纲
(4) Python大数据分析，量化投资就业班，月薪12K-25K,免费领取课程大纲

扫码免费领取Python学习资料：

15.6节: 程序实战-数据清洗CSV文件

Wed, 07 Dec 2022 11:45:31 +0800

广州番禺Python, Java小班周末班培训

薯条老师在广州做Python和Java的小班培训，一个班最多10人，学员的平均就业薪资有11K。不在广州的同学可以报名线上直播班，跟线下小班的同学们同步学习。培训的课程有Python爬虫，Python后端开发，Python办公自动化，Python大数据分析，Python量化投资，Python机器学习，Java中高级后端开发。授课详情请点击：https://my.pythoncn.com/?cate=6

15.6.1 什么是CSV文件？

CSV文件由任意数目的记录组成，记录间以换行符进行分隔。每条记录由字段组成，字段之间通常以英文逗号或水平制表符进行分隔。下图所示的即是一个CSV文件：

同学们需注意，在用wps等办公软件打开时，会自动将分隔符去掉，并将每一个字段以及数据保存在网格单元中。

15.6.2 Python内置的csv模块

使用Python内置的csv模块就可以读写csv文件，只需将文件流对象作为参数传递给csv模块对应的读写器。对于读操作，在构造好文件流对象以后，将其传递给csv模块的reader方法，然后在for循环中遍历每一条记录：

import csv
csv_file = "brand_statistics.csv"
with open(csv_file) as f:
    # 将文件流对象传递给Reader
    reader = csv.reader(f)
    for record in reader:
        # record是一个列表，通过[]+索引来访问每条记录中的字段
        print(record[0], record[1])

对于写操作，在构造好文件流对象以后，将其传递给csv模块的writer方法，然后通过writerow方法写入每一条记录或通过writerows方法批量写入所有记录：

import csv
csv_file = "data.cleaned.csv"
with open(csv_file, "w") as f:
    # 将文件流对象传递给Reader
    writer = csv.writer(f)
    # 每次写入一条记录，如需批量写入，可调用writerows方法
    writer.writerow(["", ""])

15.6.3 对csv文件进行数据清洗

我们现在来写一个非常简单的程序，将CSV文件中的数据进行去重，然后保存到一个新的csv文件。CSV文件内容如下图所示：

在以上CSV文件中，将具有相同的brand_id, category_id, sells, statistics_date值的记录视为重复值。实现去重的逻辑很简单，将这四个字段的值拼接起来然后存储在集合中。如果某条记录有重复值，那么由这四个字段拼接起来的键必然存在于集合中。

"""
@author: 薯条老师
@desc: 对csv文件进行数据清洗
"""

import csv

def clean_csv_data(csv_file_path, new_csv_file, fields_indices, ):
    """
    :param csv_file_path: csv文件的路径
    :param new_csv_file: 数据清洗后保存的csv文件
    :param fields_indices: 重复值的字段索引
    """
    def __get_value(record):
        value = ""
        for index in fields_indices:
            value += record[index]
        return value
        
    duplicate_set = set()
    rows = []
    with open(csv_file_path) as f:
        reader = csv.reader(f)
        for record in reader:
            value = __get_value(record)
            # 如果value已存在，就说明该条记录是重复值，则不添加至rows列表中
            if value in duplicate_set:
                continue
            duplicate_set.add(value)
            rows.append(record)
            
    with open(new_csv_file, "w", newline='') as f:
        writer = csv.writer(f)
        # 批量写入csv文件
        writer.writerows(rows)
        
        
if __name__ == "__main__":
    csv_file = "brand_statistics.csv"
    csv_file_cleaned = "brand_statistics.cleaned.csv"
    # brand_id, category_id, sells, statistics_date对应的索引分别为1，2，3，4
    clean_csv_data(csv_file, csv_file_cleaned, [1, 2, 3, 4])

15.6.4 最具实力的小班培训

(1) Python后端工程师高薪就业班，月薪11K-18K，免费领取课程大纲
(2) Python爬虫工程师高薪就业班，年薪十五万，免费领取课程大纲
(3) Java后端开发工程师高薪就业班，月薪11K-20K, 免费领取课程大纲
(4) Python大数据分析，量化投资就业班，月薪12K-25K,免费领取课程大纲

扫码免费领取Python学习资料：