Showing Posts From

机器学习

SVM笔记

基本 目前看来svm是逻辑回归的优化版本,优化了效果和计算量。 svm使用了另外一种cost function,他的参数放到了前面,改成了[latex] C * A + B [/latex] ,这个C就是参数,相当于以前的 [latex] \frac{1}{λ}[/latex] ,如果C很大,那么就需要让A尽可能的小,那么A要趋近于0. A是由 cost1 和 cost0 相加组成,也就是说 cost1 在y=1时,要等于0,cost0 在y=0时,要等于0,根据新的cost function,此时 z 的要求要比逻辑回归的高很多,要达到 1 和 -1的级别,而逻辑回归只需要达到 0. 所以svm比逻辑回归效果更好。 svm拥有更大的“间距”,也就是到样本之间的距离更大,这样有更大的对样本的包容性,能够容许未出现的样本有更加大的误差。这也就是有很多人叫svm为大间距分类器的原因。 核函数 就是将原有的变量进行映射的函数,将原有的多个维度的变量,映射为各种结果,例如点乘,平方,多项式等等。好处在于快速且节省空间,方便计算。 高斯核函数,可以将变量升维,升到无限维度,让数据能够在更高维度的时候达到线性可分。 分类与回归 分类使用svm的思想,是在margin中,尽可能少有点,并且距离点尽可能大,而回归问题正好相反,回归的思想是margin中的点尽可能多,相距尽可能小。

写高性能的Pandas代码

写高性能的Pandas代码 我觉得吧,python作为科学计算的最常使用语言之一,应对大量的数据计算,如果太慢了,会让需要不断试错的科学计算方法消耗过多的时间。所以我常常在思考,python到底有多慢,让大家一开始用就觉得它慢?又有多快,让大家都用它来进行上GB数据的计算? pandas是用来处理科学计算数据的最常用框架,pandas的性能怎么样呢?在一步步尝试中,我发现这取决于代码的写法。接下来就来比较一下,遍历数据集这种情景下几种写法的性能消耗是怎样的。 数据采用的是网上随便找的一个数据集: `import pandas as pd import numpy as npdata = pd.read_csv("https://vincentarelbundock.github.io/Rdatasets/csv/datasets/EuStockMarkets.csv") data.head() ` Unnamed: 0 DAX SMI CAC FTSE 0 1 1628.75 1678.1 1772.8 2443.6 1 2 1613.63 1688.5 1750.5 2460.2 2 3 1606.51 1678.6 1718.0 2448.2 3 4 1621.04 1684.1 1708.1 2470.4 4 5 1618.16 1686.6 1723.1 2484.7`data.describe() ` Unnamed: 0 DAX SMI CAC FTSE count 1860.000000 1860.000000 1860.000000 1860.000000 1860.000000 mean 930.500000 2530.656882 3376.223710 2227.828495 3565.643172 std 537.080069 1084.792740 1663.026465 580.314198 976.715540 min 1.000000 1402.340000 1587.400000 1611.000000 2281.000000 25% 465.750000 1744.102500 2165.625000 1875.150000 2843.150000 50% 930.500000 2140.565000 2796.350000 1992.300000 3246.600000 75% 1395.250000 2722.367500 3812.425000 2274.350000 3993.575000 max 1860.000000 6186.090000 8412.000000 4388.500000 6179.000000就用DAX这列,来进行测试,用来测试的函数大概就是 sin(DAX) * 1.1,并没有什么特殊的意义,就是纯粹消耗时间。 大概我们会测试下面的几种写法:朴素for循环iterrows方法循环apply方法向量方法来一一测试消耗的时间,统计时间方法统一为timeit。 先来看第一种方法吧 朴素for循环 `%%timeitresult = [np.sin(data.iloc[i]['DAX']) * 1.1 for i in range(len(data))]data['target'] = result ``422 ms ± 29.3 ms per loop (mean ± std. dev. of 7 runs, 1 loop each) `使用普通的for循环,1860次循环,耗时400+ms,这个数字在每台电脑上运行应该都不同,但是和下面几个写法的运行时间肯定是相对的。 这种写法的时间消耗很大,很python。这种写法也是很不推荐的,所以来改善一下 iterrows方法循环 pandas提供了iterrows方法,提供了类似enumerate的行为,可以拿到index和当前循环的对象。 iterrows的性能较朴素的for循环来说,性能提高了不少,使用起来也很方便。同时,pandas也提供了一个itertuples方法,能提供很高的性能,但是牺牲了方便程度,不仅没有了循环的index,而且循环的对象如其名所说,变成了一个tuple,所以取值不能通过其列的index名称来获取,只能通过tuple的index来取值。 `%%timeitresult = [np.sin(row['DAX']) * 1.1 for index,row in data.iterrows()]data['target'] = result ``103 ms ± 1.15 ms per loop (mean ± std. dev. of 7 runs, 10 loops each) ``%%timeitresult = [np.sin(row[2]) * 1.1 for row in data.itertuples()]data['target'] = result ``9.67 ms ± 649 µs per loop (mean ± std. dev. of 7 runs, 100 loops each) `除了iterrows这种方法之外,还有另外的一种方法。 apply方法 这个方法以回调方法的形式来遍历整个DataFrame,同时可以使用axis参数来指定遍历的轴(以行遍历还是以列遍历)。 apply方法的性能好于iterrows但是弱于itertuples,方便程度和iterrows不相上下。 `%%timeitdata['target'] = data.apply(lambda row: np.sin(row['DAX']) * 1.1, axis=1) ``60.7 ms ± 3.14 ms per loop (mean ± std. dev. of 7 runs, 10 loops each) `在使用itertuples的情况下,性能最高已经优化到了9ms左右,大约优化了10倍,那么还能继续加强吗 向量方法 如果进行科学计算,应该知道向量。DataFrame中的数据基本上都是向量,包括筛选条件。 所以如果用DataFrame的向量单位来进行计算,是否要更快呢? `%%timeitdata['target'] = np.sin(data['DAX']) * 1.1 ``427 µs ± 36.4 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) `可以看到,这样写更加简洁,效率也高的吓人,只需要400+us,比最初的400ms优化了1000倍,已经小于毫秒了。 思考 如果深入思考,应该能明白为什么能一步步的优化到现在的性能。 朴素的for循环携带的信息太多并且大多都是不需要使用的,而且使用的是python缓慢的循环。那么可以针对这两点来进行优化,首先优化掉python循环,使用apply函数,使用C代码来循环,这样性能就能提高一倍了;然后减少携带信息,只使用不可变的tuple,能够提高相当多的性能。 但其实tuple并不是DataFrame的原有结构,转换成tuple还是需要花费很多时间,能直接使用DataFrame的结构来计算,应该能提高很多性能。 所以直接使用向量来计算,将性能又提高了20倍。 那么,能按照这个思路继续思考,其实DataFrame的向量也带有了一些附加信息,如DataFrame的index,那么舍弃了这些信息,用最底层的计算单位来做运算,应该也能提高一部分性能。 Pandas是使用的Numpy做的基本数据单位,所以能从向量中提取出原来的Numpy数组再进行计算,就能提高一部分性能了。 `%%timeitdata['target'] = np.sin(data['DAX'].values) * 1.1 ``218 µs ± 6.34 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each) `性能又提高了将近两倍,较最开始提高了2000倍。 总结 在很多系统设计之初,就有很开始担心性能问题,我觉得是完全没有必要的。 系统设计的难点在于用最好或者更好的方式实现这个功能,系统的性能不是系统的瓶颈。Python易于试错,能快速迭代,也有很多性能优化的手段,如果这些手段并不能满足需求,还能使用Cython或者直接使用C来编写部分代码。 当然,性能从来都是Python被大家吐槽的地方,一开始就打上了慢的标签。所以也不需要太过在意性能,用几十行代码做出功能来进行实践,再重写成几千行的C代码也没有什么不可取的嘛。

从泰坦尼克项目中,学习数据处理

前言 学习机器学习也有一段时间了,在这段时间内,有很多感想,其中之一就是数据处理的重要。 在机器学习中,一般使用pandas进行数据的处理,使用matplotlib或者seaborn进行图形化数据,两者结合起来处理和分析数据,能让之后的步骤事半功倍。 用来学习的项目是kaggle上的项目,有很多人分享了对这个项目的处理方法,我认为这个项目很重要的一点就是,数据的分析和处理,比模型更加重要。 分析 拿到数据,首先可以一窥数据大概,将数据展示出来看看大概构成: `train = pd.read_csv('../input/train.csv') test = pd.read_csv('../input/test.csv') combine = [train, test] train.head() `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked 0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S 1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C 2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S 3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S 4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S 其中数据栏目分别为:id,是否获救,座位等级,姓名,性别,年龄,船上兄弟姐妹个数,船上父母子女个数,票号,票价,客舱号,登陆港口 接下来就要开始分析这些数据了。 基于个人理解,船上人员如果绅士,那么最有可能和存活相关的应该是性别,年龄。 然后考虑的应该是当时的社会等级,有可能相关的是座位等级,票价。 还有可能和当时团队力量相关,那么是否有亲人在船上也是一个可以考虑的因素。 现在就要验证之前的想法: `train[['Sex', 'Survived']].groupby(['Sex'], as_index=False).mean().sort_values(by='Survived', ascending=False) `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}Sex Survived 0 female 0.742038 1 male 0.188908 `train[['Pclass', 'Survived']].groupby(['Pclass'], as_index=False).mean().sort_values(by='Survived', ascending=False) `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}Pclass Survived 0 1 0.629630 1 2 0.472826 2 3 0.242363 `train[["SibSp", "Survived"]].groupby(['SibSp'], as_index=False).mean().sort_values(by='Survived', ascending=False) `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}SibSp Survived 1 1 0.535885 2 2 0.464286 0 0 0.345395 3 3 0.250000 4 4 0.166667 5 5 0.000000 6 8 0.000000 `train[["Parch", "Survived"]].groupby(['Parch'], as_index=False).mean().sort_values(by='Survived', ascending=False) `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}Parch Survived 3 3 0.600000 1 1 0.550847 2 2 0.500000 0 0 0.343658 5 5 0.200000 4 4 0.000000 6 6 0.000000 直接能够分析的几个数据已经看出来了,其中性别和座位等级确实对获救影响很大,亲人数量影响不是很绝对。 还有几个其他的数据,都可以像这样来分析,分析出来数据之后,可以判断出这个条件是否是决定存活与否的关键因素。 数据补充 还有几个维度的数据有缺失,需要进行数据处理,所以先进行一下数据的处理,为缺失的年龄数据补齐,补充数据的思路很多,可以随机年龄,可以平均年龄: `for dataset in combine: age_guess = dataset['Age'].dropna().median() dataset.loc[dataset.Age.isnull(), 'Age'] = age_guess dataset['Age'] = dataset['Age'].astype(int)train.head() `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked 0 1 0 3 Braund, Mr. Owen Harris male 22 1 0 A/5 21171 7.2500 NaN S 1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38 1 0 PC 17599 71.2833 C85 C 2 3 1 3 Heikkinen, Miss. Laina female 26 0 0 STON/O2. 3101282 7.9250 NaN S 3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35 1 0 113803 53.1000 C123 S 4 5 0 3 Allen, Mr. William Henry male 35 0 0 373450 8.0500 NaN S 年龄补充完整之后,分析年龄。 因为像年龄这种带跨度的数据,可以使用跨度来进行分析,用pandas的cut方法生成跨度字段,再通过跨度字段进行统计: `train['AgeBand'] = pd.cut(train['Age'], 5) train[['AgeBand', 'Survived']].groupby(['AgeBand'], as_index=False).mean().sort_values(by='AgeBand', ascending=True) `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}AgeBand Survived 0 (-0.08, 16.0] 0.550000 1 (16.0, 32.0] 0.344762 2 (32.0, 48.0] 0.403226 3 (48.0, 64.0] 0.434783 4 (64.0, 80.0] 0.090909 可以看到年龄段对生存的影响不是很绝对,但是也有将近一半的概率。 其他的数据中,也有一部分数据是缺失的,可以用上面提到的办法,或者更巧妙的办法进行补充,补充之后进行统计,更加准确。 `for dataset in combine: dataset['Embarked'] = dataset['Embarked'].fillna('S') `标准化 目前数据都已经分析好,或者说准备好,但是这些数据还不能直接用来做模型的输入。 因为模型不能处理如:male, female。这样的文字。而且Fare这一栏中,数字要远远大过其他栏的数字,这样Fare的影响可能会让模型不够准确。所以在进行模型训练之前,先要对数据进行标准化。 以年龄标准化为例: `for dataset in combine: dataset.loc[ dataset['Age'] <= 16, 'Age'] = 0 dataset.loc[(dataset['Age'] > 16) & (dataset['Age'] <= 32), 'Age'] = 1 dataset.loc[(dataset['Age'] > 32) & (dataset['Age'] <= 48), 'Age'] = 2 dataset.loc[(dataset['Age'] > 48) & (dataset['Age'] <= 64), 'Age'] = 3 dataset.loc[ dataset['Age'] > 64, 'Age'] = 4 train.head() `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand 0 1 0 3 Braund, Mr. Owen Harris male 1 1 0 A/5 21171 7.2500 NaN S (16.0, 32.0] 1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 2 1 0 PC 17599 71.2833 C85 C (32.0, 48.0] 2 3 1 3 Heikkinen, Miss. Laina female 1 0 0 STON/O2. 3101282 7.9250 NaN S (16.0, 32.0] 3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 2 1 0 113803 53.1000 C123 S (32.0, 48.0] 4 5 0 3 Allen, Mr. William Henry male 2 0 0 373450 8.0500 NaN S (32.0, 48.0] 将性别和登陆地也进行标准化,使用map函数来做比较简单: `for dataset in combine: dataset['Sex'] = dataset['Sex'].map( {'female': 1, 'male': 0} ).astype(int) dataset['Embarked'] = dataset['Embarked'].map( {'S': 0, 'C': 1, 'Q': 2} ).astype(int)train.head() `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked AgeBand 0 1 0 3 Braund, Mr. Owen Harris 0 1 1 0 A/5 21171 7.2500 NaN 0 (16.0, 32.0] 1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... 1 2 1 0 PC 17599 71.2833 C85 1 (32.0, 48.0] 2 3 1 3 Heikkinen, Miss. Laina 1 1 0 0 STON/O2. 3101282 7.9250 NaN 0 (16.0, 32.0] 3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) 1 2 1 0 113803 53.1000 C123 0 (32.0, 48.0] 4 5 0 3 Allen, Mr. William Henry 0 2 0 0 373450 8.0500 NaN 0 (32.0, 48.0] 去掉我们所不需要的数据(当然,只是我懒,不想分析其他的因素了): `train = train.drop(['Name', 'PassengerId', 'Ticket', 'Fare', 'Cabin', 'AgeBand'], axis=1) test = test.drop(['Name', 'PassengerId', 'Ticket', 'Fare', 'Cabin'], axis=1)train.head() `.dataframe tbody tr th:only-of-type { vertical-align: middle;}.dataframe tbody tr th { vertical-align: top;}.dataframe thead th { text-align: right;}Survived Pclass Sex Age SibSp Parch Embarked 0 0 3 0 1 1 0 0 1 1 1 1 2 1 0 1 2 1 3 1 1 0 0 0 3 1 1 1 2 1 0 0 4 0 3 0 2 0 0 0 总结 到这一步,就可以开始训练模型了。具体的训练模型还是不写在这里了,本文章是看了这篇文章理解之后写的,简化和更改了(因为懒),英文好的同学,可以看原版。